Контекстуальна інженерія, чітко пояснена (з візуалізацією): (ілюстрований посібник нижче)

Отже, що таке контекстна інженерія? Це мистецтво і наука надання правильної інформації, у правильному форматі, у потрібний час для вашої LLM. Ось цитата Андрія Карпаті про контекстну інженерію... 👇

Щоб зрозуміти інженерію контексту, спочатку важливо зрозуміти значення контексту. Сьогодні агенти перетворилися на набагато більше, ніж просто чат-ботів. Графік нижче підсумовує 6 типів контекстів, необхідних агенту для належної роботи. Подивись 👇 на це

На цей момент ви маєте розуміти, що недостатньо просто «підказувати» агентам. Ви повинні спроектувати вхід (контекст). Подумайте про це так: 🧠 LLM = CPU 💾 Контекстне вікно = оперативна пам'ять Ви фактично програмуєте «оперативну пам'ять» з ідеальними інструкціями для вашого ШІ. Продовжував... 👇

То як ми це зробимо? Інженерію контексту можна поділити на 4 фундаментальні етапи: - Контекст написання - Вибір контексту - Стиснення контексту - Ізолюючий контекст Давайте розберемося по черзі... 👇

1️⃣ Контекст написання: Запис контексту означає збереження його поза контекстним вікном, щоб допомогти агенту виконати завдання. Ви можете зробити це, написавши його як: - Довготривала пам'ять (зберігається протягом сесій) - Короткочасна пам'ять (зберігається під час сесії) - Об'єкт стану Подивись на👇 це

2️⃣ Прочитати контекст: Читання контексту означає затягування його у контекстне вікно, щоб допомогти агенту виконати завдання. Тепер цей контекст можна взяти з: - Інструмент -Пам'ять - База знань (документація, векторна база даних) Подивись на👇 це

3️⃣ Стиснення контексту Стиснення контексту означає збереження лише тих жетонів, які потрібні для завдання. Отриманий контекст може містити дубльовану або резервну інформацію (багатоходові виклики інструментів), що призводить до додаткових токенів і збільшення вартості. Тут допомагає підсумування контексту. Подивись на👇 це

4️⃣ Ізолюючий контекст Ізоляція контексту передбачає його розділення, щоб допомогти агенту виконати завдання. Деякі популярні способи зробити це: - Використання кількох агентів (або підагентів), кожен зі своїм контекстом - Використання середовища пісочниці для зберігання та виконання коду - І використання об'єкта стану Подивись на👇 це

Підсумовуючи, залишу вам графіку контекстної інженерії. Також ось стек з відкритим кодом для контекстної інженерії: - Пам'ять: @zep_ai - База знань: @milvusio - Оркестровка агентів: @crewAIInc - Спостережуваність і трасування: @deepeval