Ось чому контекстна інженерія така важлива. Ми щойно провели 2 години, обговорюючи, коли агент повинен покладатися на свої внутрішні знання, а коли намагатися знайти релевантний контекст у даних лише для одного типу питання. Ми пройшли 2 тестові випадки з сотнями. Навіть ті, хто брав участь у мозковому штурмі, не могли всі погодитися, чого вони очікують від людей у цій ситуації. Правильної відповіді не було, і це завжди залежить від конкретного контексту клієнта. Усе в контекстній інженерії — це компроміс між багатьма факторами: як швидко ви хочете, щоб агент відповів на питання, скільки внутрішньої взаємодії потрібно від користувача, скільки роботи він має виконати перед тим, як спробувати відповісти на питання, як він знає, що має вичерпний вихідний матеріал для відповіді, Який рівень ризику неправильної відповіді і так далі. Кожне рішення, яке ви приймаєте в одному з цих вимірів, має наслідки на іншому боці. Безкоштовного обіду немає. Ось чому створення агентів ШІ таке шалене. Це також підкреслює, наскільки цінним є рівень LLM. Правильне прийняття цих рішень безпосередньо залежить від якості ціннісної пропозиції.

З останнього допису Карпаті: «Додатки LLM організовуватимуть, вдосконалюють і фактично анімують команди у спеціальних професіоналів у певних вертикалях, надаючи приватні дані, сенсори, актуатори та цикли зворотного зв'язку.» Це абсолютно правильно. У світі агентів ШІ над LLM набагато товстіший шар, ніж спочатку сприймалося. Критика тонкої обгортки частково працювала у світі, де люди перепакували токени з трохи налаштованим інтерфейсом або системним запитом, що було майже все, що було можливо два роки тому. Але агенти ШІ поєднуватимуть інструменти, власні дані, дуже специфічні системні підказки, спеціалізовані інтерфейси для частин робочих процесів із людиною в циклі, передову контекстну інженерію для роботи з обмеженнями контекстних вікон та інше. Переважна більшість із них працюватимуть краще, якщо їх адаптувати до конкретної вертикалі, функції роботи чи типу завдання. Крім того, для реального впровадження в підприємстві зазвичай потрібна значна інтеграція систем і управління змінами для стимулювання змін у робочих процесах та впровадження. Ось чому компанії (або принаймні продукти), які зосереджені на конкретних можливостях, часто вимагатимуть реально підтримувати ці робочі процеси. У наступному році тут безліч можливостей.

Це ті речі, які пропускають, коли думаєш про майбутнє робочих місць. Якщо ви зможете зробити щось із відносно великим попитом (але рідкісним, бо це коштує дорого), і ви зробите цей продукт більш продуктивним, ви побачите, як попит зростає, а не знижується. Я бачив численні приклади, коли компанії наймали інженерів для вирішення проблем, які не були б позитивними для ROI або можливими до появи AI-агентів. В економіці багато роботи, яка мала б бути оснащена програмним забезпеченням, але бар'єр для запуску програмного забезпечення здається непереборним, коли проєкт виглядає так, ніби це займе рік чи два. Коли ШІ змушує це займати місяць чи два, весь аналіз змінюється. Те саме стосується охорони здоров'я, права, деяких аспектів маркетингу та багатьох інших сфер роботи з знаннями.