RAG travando quando a base passa de 500 documentos
A recuperação começa a trazer trechos irrelevantes depois que subi o volume. Alguém já passou por isso e ajustou o chunking?
Já testei algumas abordagens, mas ainda não cheguei em algo consistente o suficiente para colocar em produção. Queria entender o que tem funcionado na prática de vocês antes de fechar o desenho do fluxo.
Respostas
Ótima pergunta. Comece separando o objetivo do primeiro toque do objetivo da qualificação. No primeiro contato, o agente só precisa confirmar contexto e intenção — deixe o scoring para uma etapa dedicada, com critérios explícitos no prompt.
Aqui funcionou muito bem pedir para o agente devolver um campo estruturado de 'sinal de intenção' (alto/médio/baixo) junto da resposta. Fica fácil rotear no fluxo depois.
Complementando: eu adiciono exemplos negativos no prompt. Mostrar o que NÃO é um lead qualificado reduziu bastante os falsos positivos na nossa operação.