Ingineria contextului, explicată clar:

Toată lumea vorbește despre ingineria contextului, dar nimeni nu-ți spune ce înseamnă de fapt. Astăzi, îți voi explica tot ce trebuie să știi despre ingineria contextului, pas cu pas. Să mergem! 🚀

Deci, ce este ingineria contextului? Este arta și știința de a livra informațiile potrivite, în formatul potrivit, la momentul potrivit, pentru LLM-ul tău. Iată un citat de Andrej Karpathy despre ingineria contextului... 👇

Pentru a înțelege ingineria contextului, este esențial să înțelegi mai întâi sensul contextului. Agenții de astăzi au evoluat în mult mai mult decât simple chatboți. Graficul de mai jos rezumă cele 6 tipuri de contexte de care un agent are nevoie pentru a funcționa corect. Uită-te 👇 la asta

Până acum, ar trebui să știi că nu este suficient să "provoci" pur și simplu agenții. Trebuie să proiectezi intrarea (contextul). Gândește-te așa: 🧠 LLM = CPU 💾 Fereastra de context = RAM Practic, programezi "RAM-ul" cu instrucțiunile perfecte pentru AI-ul tău. Continuat... 👇

Deci, cum facem asta? Ingineria contextului poate fi împărțită în 4 etape fundamentale: - Context de scriere - Selectarea contextului - Comprimarea contextului - Izolarea contextului Să înțelegem fiecare pe una, pe una... 👇

1️⃣ Context de scriere: Scrierea contextului înseamnă salvarea acestuia în afara ferestrei de context pentru a ajuta un agent să îndeplinească o sarcină. Poți face acest lucru scriind-o pentru: - Memorie pe termen lung (persistă între sesiuni) - Memorie pe termen scurt (persistă în timpul sesiunii) - Un obiect de stare Uită-te la asta👇

2️⃣ Citește contextul: Citirea contextului înseamnă să îl aduci în fereastra de context pentru a ajuta un agent să îndeplinească o sarcină. Acum, acest context poate fi extras din: - O unealtă -Memorie - Bază de cunoștințe (docs, baze de date vectoriale) Uită-te la asta👇

3️⃣ Comprimarea contextului Comprimarea contextului înseamnă păstrarea doar a token-urilor necesare pentru o sarcină. Contextul recuperat poate conține informații duplicate sau redundante (apeluri de unelte pe mai multe ture), ceea ce duce la tokenuri suplimentare și costuri crescute. Rezumatul contextului ajută aici. Uită-te la asta👇

4️⃣ Context izolator Izolarea contextului implică împărțirea acestuia pentru a ajuta un agent să îndeplinească o sarcină. Câteva modalități populare de a face acest lucru sunt: - Utilizarea mai multor agenți (sau sub-agenți), fiecare cu propriul context - Utilizarea unui mediu sandbox pentru stocarea și execuția codului - Și folosind un obiect de stare Uită-te la asta👇