Kontextengineering, klar erklärt (mit visuellen Darstellungen): (ein illustriertes Handbuch unten)

Was ist also Kontext-Engineering? Es ist die Kunst und Wissenschaft, die richtigen Informationen im richtigen Format zur richtigen Zeit an Ihr LLM zu liefern. Hier ist ein Zitat von Andrej Karpathy über Kontext-Engineering...👇

Um Kontext-Engineering zu verstehen, ist es wichtig, zunächst die Bedeutung von Kontext zu verstehen. Agenten haben sich heute zu viel mehr als nur Chatbots entwickelt. Die folgende Grafik fasst die 6 Arten von Kontexten zusammen, die ein Agent benötigt, um richtig zu funktionieren. Schau dir das an 👇

Bis jetzt solltest du wissen, dass es nicht ausreicht, die Agenten einfach nur zu "auffordern". Du musst den Input (Kontext) gestalten. Denk so darüber nach: 🧠 LLM = CPU 💾 Kontextfenster = RAM Du programmierst im Grunde den "RAM" mit den perfekten Anweisungen für deine KI. Fortsetzung...👇

Wie machen wir das also? Das Kontext-Engineering kann in 4 grundlegende Phasen unterteilt werden: - Kontext schreiben - Kontext auswählen - Kontext komprimieren - Kontext isolieren Lass uns jeden Schritt einzeln verstehen...👇

1️⃣ Schreibkontext: Der Schreibkontext bedeutet, ihn außerhalb des Kontextfensters zu speichern, um einem Agenten zu helfen, eine Aufgabe auszuführen. Sie können dies tun, indem Sie es in: - Langzeitgedächtnis (besteht über Sitzungen hinweg) - Kurzzeitgedächtnis (besteht innerhalb der Sitzung) - Ein Zustandsobjekt Überprüfen Sie dies👇

2️⃣ Kontext lesen: Kontext lesen bedeutet, ihn in das Kontextfenster zu ziehen, um einem Agenten zu helfen, eine Aufgabe zu erfüllen. Dieser Kontext kann jetzt von folgenden Quellen gezogen werden: - Einem Tool - Speicher - Wissensdatenbank (Dokumente, Vektor-DB) Überprüfe das👇

3️⃣ Kontext komprimieren Kontext komprimieren bedeutet, nur die für eine Aufgabe benötigten Tokens zu behalten. Der abgerufene Kontext kann doppelte oder redundante Informationen enthalten (mehrere Toolaufrufe), was zu zusätzlichen Tokens und erhöhten Kosten führt. Hier hilft die Kontextzusammenfassung. Überprüfen Sie das👇

4️⃣ Kontext isolieren Das Isolieren von Kontext beinhaltet das Aufteilen, um einem Agenten zu helfen, eine Aufgabe zu erfüllen. Einige beliebte Möglichkeiten, dies zu tun, sind: - Verwendung mehrerer Agenten (oder Unteragenten), jeder mit seinem eigenen Kontext - Verwendung einer Sandbox-Umgebung für die Speicherung und Ausführung von Code - Und Verwendung eines Statusobjekts Überprüfen Sie dies👇

Zusammenfassend hinterlasse ich Ihnen das Grafik zur Kontext-Engineering. Außerdem finden Sie hier einen Open-Source-Stack für Kontext-Engineering: - Speicher: @zep_ai - Wissensdatenbank: @milvusio - Agenten-Orchestrierung: @crewAIInc - Beobachtbarkeit & Nachverfolgung: @deepeval