Iată de ce ingineria contextului este atât de importantă. Tocmai am petrecut 2 ore dezbătând când un agent ar trebui să se bazeze pe cunoștințele interne față de încercarea de a găsi context relevant în date pentru un singur tip de întrebare. Am trecut prin 2 cazuri de testare cu sute. Chiar și cei implicați în brainstorming nu puteau fi de acord cu ce s-ar aștepta să facă oamenii în această situație. Chiar nu exista un răspuns corect, iar totul ține de contextul specific de la fiecare client. Totul în ingineria contextului este un compromis între o varietate de factori: cât de repede vrei ca agentul să răspundă la o întrebare, câtă interacțiune vrei să necesite utilizatorului, câtă muncă ar trebui să facă înainte să încerce să răspundă la o întrebare, cum știe că are materialul sursă exhaustiv pentru a răspunde la întrebare, Care este nivelul de risc al răspunsului greșit și așa mai departe. Fiecare decizie pe care o iei pe una dintre aceste dimensiuni are o consecință la celălalt capăt. Nu există prânz gratuit. De aceea construirea agenților AI este atât de nebună. De asemenea, evidențiază câtă valoare există peste stratul LLM. Luarea corectă a acestor decizii se leagă direct de calitatea propunerii de valoare.