Инженерия контекста, четко объясненная:

Все говорят о контекстной инженерии, но никто не объясняет, что это на самом деле значит. Сегодня я объясню все, что вам нужно знать о контекстной инженерии, пошагово. Поехали! 🚀

Итак, что такое контекстная инженерия? Это искусство и наука предоставления правильной информации, в правильном формате, в нужное время вашему LLM. Вот цитата Андрея Карпаты о контекстной инженерии...👇

Чтобы понять контекстное проектирование, сначала необходимо понять значение контекста. Агенты сегодня стали гораздо больше, чем просто чат-боты. График ниже обобщает 6 типов контекстов, необходимых агенту для правильного функционирования. Посмотрите на это 👇

Теперь вы должны знать, что просто "запрашивать" агентов недостаточно. Вы должны создать входные данные (контекст). Думайте об этом так: 🧠 LLM = ЦПУ 💾 Контекстное окно = ОЗУ Вы по сути программируете "ОЗУ" с идеальными инструкциями для вашего ИИ. продолжение...👇

Итак, как мы это делаем? Инженерия контекста может быть разбита на 4 основных этапа: - Написание контекста - Выбор контекста - Сжатие контекста - Изоляция контекста Давайте разберем каждый из них по порядку...👇

1️⃣ Контекст написания: Контекст написания означает сохранение его вне окна контекста, чтобы помочь агенту выполнить задачу. Вы можете сделать это, записав его в: - Долгосрочную память (сохраняется между сессиями) - Краткосрочную память (сохраняется в пределах сессии) - Объект состояния Проверьте это👇

2️⃣ Прочитайте контекст: Чтение контекста означает его извлечение в контекстное окно, чтобы помочь агенту выполнить задачу. Теперь этот контекст можно извлечь из: - Инструмента - Памяти - Базы знаний (документы, векторная БД) Проверьте это👇

3️⃣ Сжатие контекста Сжатие контекста означает сохранение только тех токенов, которые необходимы для выполнения задачи. Извлеченный контекст может содержать дублирующую или избыточную информацию (многоходовые вызовы инструментов), что приводит к лишним токенам и увеличению затрат. Суммирование контекста помогает в этом. Проверьте это👇

4️⃣ Изоляция контекста Изоляция контекста включает в себя его разделение, чтобы помочь агенту выполнить задачу. Некоторые популярные способы сделать это: - Использование нескольких агентов (или подагентов), каждый из которых имеет свой собственный контекст - Использование песочницы для хранения и выполнения кода - И использование объекта состояния Проверьте это👇