Veja por que a engenharia de contexto é tão importante. Acabamos de passar 2 horas debatendo quando um agente deve confiar em seu conhecimento interno versus tentar encontrar contexto relevante dentro dos dados para apenas um tipo de pergunta. Passamos por 2 casos de teste de centenas. Nem mesmo as pessoas envolvidas no brainstorm concordaram sobre o que esperariam que os humanos fizessem nessa situação. Realmente não havia uma resposta certa, e sempre depende do contexto de cada cliente. Tudo em engenharia de contexto é um equilíbrio entre vários fatores: quão rápido você quer que o agente responda a uma pergunta, quanta interação você quer exigir do usuário, quanto trabalho ele deve fazer antes de tentar responder uma pergunta, como ele sabe que tem o material de origem exaustivo para responder à pergunta, Qual é o nível de risco da resposta errada, e assim por diante. Cada decisão que você toma em uma dessas dimensões tem uma consequência do outro lado. Não existe nada de graça. É por isso que construir agentes de IA é tão louco. Também destaca o quanto há de valor acima da camada do LLM. Acertar essas decisões está diretamente relacionado à qualidade da proposta de valor.