Her er hvorfor kontekstutvikling er så viktig. Vi brukte nettopp to timer på å diskutere når en agent bør stole på sin interne kunnskap kontra å prøve å finne relevant kontekst i dataene for bare én type spørsmål. Vi kom oss gjennom to testtilfeller med hundrevis. Selv de involverte i idémyldringen kunne ikke alle bli enige om hva de forventet at mennesker skulle gjøre i denne situasjonen. Det fantes virkelig ikke noe riktig svar, og det er alltid kontekstspesifikt fra kunde til kunde. Alt innen kontekstutvikling er en avveining mellom flere faktorer: hvor raskt vil du at agenten skal svare på et spørsmål, hvor mye frem og tilbake-interaksjon vil du kreve for brukeren, hvor mye arbeid bør den gjøre før den prøver å svare på et spørsmål, hvordan vet den at den har det omfattende kildematerialet for å svare på spørsmålet, Hva er risikoen for feil svar, og så videre. Hver beslutning du tar på én av disse dimensjonene har en konsekvens i den andre enden. Det er ingen gratis lunsj. Dette er grunnen til at det er så vilt å bygge AI-agenter. Det fremhever også hvor mye verdi det er over LLM-laget. Å ta disse beslutningene riktig henger direkte sammen med kvaliteten på verdiforslaget.