Kontextteknik, tydligt förklarat:

Alla pratar om kontextingenjörskonst, men ingen berättar vad det faktiskt betyder. Idag ska jag förklara allt du behöver veta om kontextingenjörskonst steg för steg. Kom så går vi! 🚀

Så, vad är kontextingenjörskonst? Det är konsten och vetenskapen att leverera rätt information, i rätt format, vid rätt tidpunkt, till din LLM. Här är ett citat av Andrej Karpathy om kontextingenjörskonst... 👇

För att förstå kontextingenjörskonst är det avgörande att först förstå betydelsen av kontext. Agenter idag har utvecklats till mycket mer än bara chatbots. Grafiken nedan sammanfattar de 6 typer av kontexter som en agent behöver för att fungera korrekt. Kolla in 👇 det här

Vid det här laget borde du veta att det inte räcker att bara "prompta" agenterna. Du måste konstruera inputen (kontexten). Tänk på det så här: 🧠 LLM = CPU 💾 Kontextfönster = RAM Du programmerar i princip "RAM" med de perfekta instruktionerna för din AI. fortsatt... 👇

Så hur gör vi det? Kontextingenjörskonst kan delas in i fyra grundläggande steg: - Skrivkontext - Att välja kontext - Komprimerande kontext - Isolerande kontext Låt oss förstå var och en, en efter en... 👇

1️⃣ Skrivkontext: Att skriva kontext innebär att spara den utanför kontextfönstret för att hjälpa en agent att utföra en uppgift. Du kan göra det genom att skriva det till: - Långtidsminne (kvarstår över sessioner) - Korttidsminne (kvarstår inom sessionen) - Ett tillståndsobjekt Kolla det här👇

2️⃣ Läs kontext: Att läsa kontext innebär att dra in den i kontextfönstret för att hjälpa en agent att utföra en uppgift. Nu kan denna kontext hämtas från: - Ett verktyg -Minne - Kunskapsbas (dokumentation, vektordatabas) Kolla det här👇

3️⃣ Komprimerar kontext Att komprimera kontext innebär att endast behålla de tokens som behövs för en uppgift. Den återhämtade kontexten kan innehålla dubbletter eller redundant information (fleromgångsanrop av verktyg), vilket leder till extra tokens och ökade kostnader. Sammanfattning av kontext hjälper här. Kolla det här👇

4️⃣ Isolerande kontext Att isolera kontext innebär att dela upp den för att hjälpa en agent att utföra en uppgift. Några populära sätt att göra detta är: - Att använda flera agenter (eller delagenter), var och en med sin egen kontext - Att använda en sandlådemiljö för kodlagring och exekvering - Och med ett tillståndsobjekt Kolla det här👇