Ingénierie contextuelle, clairement expliquée (avec des visuels) : (un guide illustré ci-dessous)

Alors, qu'est-ce que l'ingénierie contextuelle ? C'est l'art et la science de fournir la bonne information, dans le bon format, au bon moment, à votre LLM. Voici une citation d'Andrej Karpathy sur l'ingénierie contextuelle...👇

Pour comprendre l'ingénierie contextuelle, il est essentiel de d'abord comprendre la signification du contexte. Les agents d'aujourd'hui ont évolué pour devenir bien plus que de simples chatbots. Le graphique ci-dessous résume les 6 types de contextes dont un agent a besoin pour fonctionner correctement. Regardez ça 👇

À ce stade, vous devriez savoir qu'il ne suffit pas de simplement "inviter" les agents. Vous devez concevoir l'entrée (le contexte). Pensez-y de cette manière : 🧠 LLM = CPU 💾 Fenêtre de Contexte = RAM Vous programmez essentiellement la "RAM" avec les instructions parfaites pour votre IA. suite...👇

Alors, comment faisons-nous ? L'ingénierie contextuelle peut être décomposée en 4 étapes fondamentales : - Rédaction du contexte - Sélection du contexte - Compression du contexte - Isolement du contexte Comprenons chacune, une par une...👇

1️⃣ Contexte d'écriture : Le contexte d'écriture signifie le sauvegarder en dehors de la fenêtre de contexte pour aider un agent à accomplir une tâche. Vous pouvez le faire en l'écrivant dans : - Mémoire à long terme (persiste à travers les sessions) - Mémoire à court terme (persiste au sein de la session) - Un objet d'état Vérifiez ceci👇

2️⃣ Lire le contexte : Lire le contexte signifie l'intégrer dans la fenêtre de contexte pour aider un agent à accomplir une tâche. Maintenant, ce contexte peut être tiré de : - Un outil - La mémoire - Une base de connaissances (docs, base de données vectorielle) Vérifiez ceci👇

3️⃣ Compression du contexte La compression du contexte signifie ne garder que les tokens nécessaires pour une tâche. Le contexte récupéré peut contenir des informations dupliquées ou redondantes (appels d'outils multi-tours), entraînant des tokens supplémentaires et un coût accru. La synthèse du contexte aide ici. Vérifiez ceci👇

4️⃣ Isolement du contexte L'isolement du contexte consiste à le diviser pour aider un agent à accomplir une tâche. Voici quelques méthodes populaires pour y parvenir : - Utiliser plusieurs agents (ou sous-agents), chacun avec son propre contexte - Utiliser un environnement sandbox pour le stockage et l'exécution de code - Et utiliser un objet d'état Vérifiez ceci👇

Pour résumer, je vous laisse avec le graphique d'ingénierie contextuelle. Voici également une pile open-source pour l'ingénierie contextuelle : - Mémoire : @zep_ai - Base de connaissances : @milvusio - Orchestration d'agents : @crewAIInc - Observabilité et traçage : @deepeval