Ingegneria del contesto, spiegata chiaramente (con immagini): (una guida illustrata qui sotto)

Quindi, cos'è l'ingegneria del contesto? È l'arte e la scienza di fornire le informazioni giuste, nel formato giusto, al momento giusto, al tuo LLM. Ecco una citazione di Andrej Karpathy sull'ingegneria del contesto...👇

Per comprendere l'ingegneria del contesto, è essenziale prima capire il significato di contesto. Gli agenti di oggi si sono evoluti in qualcosa di molto più di semplici chatbot. Il grafico qui sotto riassume i 6 tipi di contesti di cui un agente ha bisogno per funzionare correttamente. Dai un'occhiata a questo 👇

Ormai dovresti sapere che non è sufficiente semplicemente "sollecitare" gli agenti. Devi ingegnerizzare l'input (il contesto). Pensala in questo modo: 🧠 LLM = CPU 💾 Finestra di Contesto = RAM Stai essenzialmente programmando la "RAM" con le istruzioni perfette per la tua AI. continua...👇

Quindi, come lo facciamo? L'ingegneria del contesto può essere suddivisa in 4 fasi fondamentali: - Scrivere il contesto - Selezionare il contesto - Comprimere il contesto - Isolare il contesto Comprendiamo ciascuna, una per una...👇

1️⃣ Contesto di scrittura: Il contesto di scrittura significa salvarlo al di fuori della finestra di contesto per aiutare un agente a svolgere un compito. Puoi farlo scrivendolo in: - Memoria a lungo termine (persiste tra le sessioni) - Memoria a breve termine (persiste all'interno della sessione) - Un oggetto di stato Controlla questo👇

2️⃣ Leggi il contesto: Leggere il contesto significa portarlo nella finestra di contesto per aiutare un agente a svolgere un compito. Ora questo contesto può essere estratto da: - Uno strumento - Memoria - Base di conoscenza (documenti, DB vettoriale) Controlla questo👇

3️⃣ Compressione del contesto La compressione del contesto significa mantenere solo i token necessari per un compito. Il contesto recuperato può contenere informazioni duplicate o ridondanti (chiamate a strumenti multi-turno), portando a token extra e costi aumentati. La sintesi del contesto aiuta in questo. Controlla questo👇

4️⃣ Isolamento del contesto L'isolamento del contesto implica suddividerlo per aiutare un agente a svolgere un compito. Alcuni modi popolari per farlo sono: - Utilizzare più agenti (o sub-agenti), ciascuno con il proprio contesto - Utilizzare un ambiente sandbox per l'archiviazione e l'esecuzione del codice - E utilizzare un oggetto di stato Controlla questo👇

Per riassumere, vi lascio con il grafico dell'ingegneria del contesto. Inoltre, ecco uno stack open-source per l'ingegneria del contesto: - Memoria: @zep_ai - Base di conoscenza: @milvusio - Orchestrazione degli agenti: @crewAIInc - Osservabilità e tracciamento: @deepeval