Her er hvorfor kontekstutvikling er så viktig. Vi brukte nettopp to timer på å diskutere når en agent bør stole på sin interne kunnskap kontra å prøve å finne relevant kontekst i dataene for bare én type spørsmål. Vi kom oss gjennom to testtilfeller med hundrevis. Selv de involverte i idémyldringen kunne ikke alle bli enige om hva de forventet at mennesker skulle gjøre i denne situasjonen. Det fantes virkelig ikke noe riktig svar, og det er alltid kontekstspesifikt fra kunde til kunde. Alt innen kontekstutvikling er en avveining mellom flere faktorer: hvor raskt vil du at agenten skal svare på et spørsmål, hvor mye frem og tilbake-interaksjon vil du kreve for brukeren, hvor mye arbeid bør den gjøre før den prøver å svare på et spørsmål, hvordan vet den at den har det omfattende kildematerialet for å svare på spørsmålet, Hva er risikoen for feil svar, og så videre. Hver beslutning du tar på én av disse dimensjonene har en konsekvens i den andre enden. Det er ingen gratis lunsj. Dette er grunnen til at det er så vilt å bygge AI-agenter. Det fremhever også hvor mye verdi det er over LLM-laget. Å ta disse beslutningene riktig henger direkte sammen med kvaliteten på verdiforslaget.

Fra Karpathys siste innlegg: «LLM-apper vil organisere, finjustere og faktisk animere team av dem til utplasserte fagfolk i spesifikke vertikaler ved å levere private data, sensorer, aktuatorer og tilbakemeldingssløyfer.» Dette er helt riktig. I en verden med AI-agenter finnes det et mye tykkere lag over LLM-en enn man først trodde. Kritikken av tynne innpakninger fungerte delvis i en verden der folk pakket om tokens med et lett tilpasset grensesnitt eller systemprompt, noe som stort sett var alt som var mulig for to år siden. Men AI-agenter vil kombinere verktøy, proprietære data, svært domenespesifikke systemprompter, spesialiserte grensesnitt for menneske-i-loop-delene av arbeidsflytene, avansert kontekstutvikling for å håndtere kontekstvindusbegrensninger, og mer. De aller fleste av disse vil fungere bedre når de tilpasses en bestemt vertikal, jobbfunksjon eller type oppgave. Videre, for å oppnå reell adopsjon i virksomheten, kreves det generelt en stor grad av systemintegrasjon og endringshåndtering for å drive flytendringene og adopsjonen. Dette er grunnen til at selskaper (eller i det minste produkter) som fokuserer på spesifikke muligheter ofte må drive disse arbeidsflytene. Masse muligheter her i året som kommer.

Dette er ting man overser når man tenker på jobbenes fremtid. Hvis du kan gjøre noe som er relativt etterspurt (men sjeldent fordi det koster mye å gjøre), og du får det til å produsere mer, vil du se at etterspørselen øker og ikke går ned. Jeg har sett mange eksempler på selskaper som ansetter ingeniører for problemer som ikke ville vært ROI-positive eller mulige før AI-agenter eksisterte. Det er mye arbeid i økonomien som burde være programvarebasert, men barrieren for å komme i gang med programvare føles uoverkommelig når prosjektet ser ut til å ta ett eller to år. Når AI får det til å ta en måned eller to, endres all kalkylen. Det samme gjelder innen helsevesen, jus, noen deler av markedsføring og mange andre kategorier av kunnskapsarbeid.