İşte bağlam mühendisliğinin neden bu kadar önemli olduğu. Bir ajanın ne zaman iç bilgisine güvenmesi gerektiğini, ne zaman sadece bir tür soru için veri içinde ilgili bağlam bulmaya çalışması gerektiğini 2 saat tartıştık. Yüzlerce test vakasından iki kez geçtik. Beyin fırtınasına katılanlar bile bu durumda insanlardan ne bekleyecekleri konusunda hemfikir olamıyordu. Gerçekten doğru bir cevap yoktu ve her zaman müşteri müşteri bağlama göre değişiyor. Bağlam mühendisliğindeki her şey, çeşitli faktörler arasında bir denge oluşturur: ajanın bir soruyu ne kadar hızlı yanıtlamasını istersiniz, kullanıcı için ne kadar karşılıklı etkileşim talep edersiniz, soruyu yanıtlamadan önce ne kadar iş yapmalı, soruyu yanıtlamak için kapsamlı kaynak materyale sahip olduğunu nasıl bilir, Yanlış cevabın risk seviyesi nedir ve benzeri. Bu boyutlardan birinde verdiğiniz her kararın diğer tarafta bir sonucu vardır. Her şeyin bir bedeli vardır. Bu yüzden yapay zeka ajanları inşa etmek bu kadar çılgın. Ayrıca LLM katmanının üzerinde ne kadar değer olduğunu da vurguluyor. Bu kararları doğru almak, doğrudan değer teklifinin kalitesiyle ilgilidir.