Engenharia de contexto, claramente explicada:

Todo mundo está a falar sobre engenharia de contexto, mas ninguém te diz o que isso realmente significa. Hoje, vou explicar tudo o que precisas de saber sobre engenharia de contexto de forma passo a passo. Vamos lá! 🚀

Então, o que é engenharia de contexto? É a arte e a ciência de fornecer a informação certa, no formato certo, na hora certa, para o seu LLM. Aqui está uma citação de Andrej Karpathy sobre engenharia de contexto...👇

Para entender a engenharia de contexto, é essencial primeiro compreender o significado de contexto. Os agentes de hoje evoluíram para muito mais do que apenas chatbots. O gráfico abaixo resume os 6 tipos de contextos que um agente precisa para funcionar corretamente. Confira isto 👇

A esta altura, você deve saber que não é suficiente simplesmente "promptar" os agentes. Você deve engenheirar a entrada (contexto). Pense assim: 🧠 LLM = CPU 💾 Janela de Contexto = RAM Você está essencialmente programando a "RAM" com as instruções perfeitas para a sua IA. continuado...👇

Então, como fazemos isso? A engenharia de contexto pode ser dividida em 4 etapas fundamentais: - Escrevendo Contexto - Selecionando Contexto - Comprimindo Contexto - Isolando Contexto Vamos entender cada um, um por um...👇

1️⃣ Contexto de escrita: O contexto de escrita significa salvá-lo fora da janela de contexto para ajudar um agente a realizar uma tarefa. Você pode fazer isso escrevendo em: - Memória de longo prazo (persiste entre sessões) - Memória de curto prazo (persiste dentro da sessão) - Um objeto de estado Verifique isto👇

2️⃣ Ler contexto: Ler contexto significa trazê-lo para a janela de contexto para ajudar um agente a realizar uma tarefa. Agora, este contexto pode ser retirado de: - Uma ferramenta - Memória - Base de conhecimento (documentos, DB vetorial) Verifique isto👇

3️⃣ Comprimindo contexto Comprimir contexto significa manter apenas os tokens necessários para uma tarefa. O contexto recuperado pode conter informações duplicadas ou redundantes (chamadas de ferramentas em múltiplas etapas), levando a tokens extras e aumento de custo. A sumarização de contexto ajuda aqui. Verifique isto👇

4️⃣ Isolamento de contexto Isolar o contexto envolve dividi-lo para ajudar um agente a realizar uma tarefa. Algumas maneiras populares de fazer isso são: - Usar múltiplos agentes (ou sub-agentes), cada um com seu próprio contexto - Usar um ambiente sandbox para armazenamento e execução de código - E usar um objeto de estado Verifique isto👇