Contextuele engineering, duidelijk uitgelegd:

Iedereen heeft het over contextengineering, maar niemand vertelt je wat het eigenlijk betekent. Vandaag zal ik alles uitleggen wat je moet weten over contextengineering op een stapsgewijze manier. Laten we gaan! 🚀

Dus, wat is context engineering? Het is de kunst en wetenschap van het leveren van de juiste informatie, in het juiste formaat, op het juiste moment, aan jouw LLM. Hier is een citaat van Andrej Karpathy over context engineering...👇

Om contextengineering te begrijpen, is het essentieel om eerst de betekenis van context te begrijpen. Agenten zijn tegenwoordig veel meer geworden dan alleen chatbots. De onderstaande grafiek vat de 6 soorten contexten samen die een agent nodig heeft om goed te functioneren. Bekijk dit 👇

Tegenwoordig zou je moeten weten dat het niet genoeg is om simpelweg de agenten te "prompten". Je moet de input (context) ontwerpen. Denk er zo over na: 🧠 LLM = CPU 💾 Context Window = RAM Je programmeert in wezen de "RAM" met de perfecte instructies voor je AI. verder...👇

Dus hoe doen we het? Contextengineering kan worden onderverdeeld in 4 fundamentele fasen: - Context schrijven - Context selecteren - Context comprimeren - Context isoleren Laten we elk van deze één voor één begrijpen...👇

1️⃣ Schrijfscontext: Schrijfscontext betekent het opslaan buiten het contextvenster om een agent te helpen een taak uit te voeren. Je kunt dit doen door het te schrijven naar: - Langetermijngeheugen (blijft bestaan over sessies) - Kortetermijngeheugen (blijft bestaan binnen sessie) - Een statusobject Bekijk dit👇

2️⃣ Lees context: Context lezen betekent het in de contextvenster trekken om een agent te helpen een taak uit te voeren. Nu kan deze context worden gehaald uit: - Een tool - Geheugen - Kennisbasis (documenten, vector DB) Bekijk dit👇

3️⃣ Context comprimeren Context comprimeren betekent alleen de tokens behouden die nodig zijn voor een taak. De opgehaalde context kan dubbele of overbodige informatie bevatten (multi-turn tool calls), wat leidt tot extra tokens en verhoogde kosten. Contextsamenvatting helpt hier. Bekijk dit👇

4️⃣ Context isoleren Context isoleren houdt in dat het wordt opgesplitst om een agent te helpen een taak uit te voeren. Enkele populaire manieren om dit te doen zijn: - Het gebruik van meerdere agents (of sub-agents), elk met zijn eigen context - Het gebruik van een sandboxomgeving voor codeopslag en uitvoering - En het gebruik van een state-object Bekijk dit👇