Hier is waarom contextengineering zo'n grote zaak is. We hebben net 2 uur gedebatteerd over wanneer een agent op zijn interne kennis moet vertrouwen versus het proberen te vinden van relevante context binnen data voor slechts één type vraag. We hebben 2 testgevallen doorlopen van de honderden. Zelfs de mensen die betrokken waren bij de brainstorm konden het er niet allemaal over eens worden wat ze zouden verwachten dat mensen in deze situatie zouden doen. Er was echt geen goed antwoord, en het is altijd contextspecifiek, klant per klant. Alles in contextengineering is een afweging tussen verschillende factoren: hoe snel wil je dat de agent een vraag beantwoordt, hoeveel interactie wil je van de gebruiker vereisen, hoeveel werk moet het doen voordat het probeert een vraag te beantwoorden, hoe weet het dat het de uitputtende bronmaterialen heeft om de vraag te beantwoorden, wat is het risiconiveau van het verkeerde antwoord, enzovoort. Elke beslissing die je neemt op een van deze dimensies heeft een gevolg aan de andere kant. Er is geen gratis lunch. Dit is waarom het bouwen van AI-agenten zo wild is. Het benadrukt ook hoeveel waarde er boven de LLM-laag is. Het goed krijgen van deze beslissingen heeft direct invloed op de kwaliteit van de waardepropositie.

Uit de laatste post van Karpathy: "LLM-apps zullen teams van hen organiseren, verfijnen en daadwerkelijk animeren tot uitgeruste professionals in specifieke sectoren door privédata, sensoren en actuatoren en feedbackloops te leveren." Dit is precies juist. In een wereld van AI-agenten is er een veel dikkere laag boven de LLM dan aanvankelijk werd waargenomen. De kritiek op de dunne wrapper werkte enigszins in een wereld waar mensen tokens herverpakten met een licht aangepaste interface of systeemprompt, wat grotendeels alles was wat mogelijk was 2 jaar geleden. Maar AI-agenten zullen tools, eigendomsdata, zeer domeinspecifieke systeemprompts, gespecialiseerde interfaces voor de menselijke-in-de-lus delen van de workflows, geavanceerde contextengineering om om te gaan met de beperkingen van de contextvensters, en meer combineren. De overgrote meerderheid hiervan zal beter presteren wanneer ze zijn afgestemd op een specifieke sector, functie of type taak. Bovendien is er om echte adoptie in de onderneming te krijgen, meestal een hoge mate van systeemintegratie en verandermanagement nodig om de workflowveranderingen en adoptie te stimuleren. Dit is waarom bedrijven (of tenminste producten) die zich richten op specifieke kansen vaak nodig zullen zijn om deze workflows daadwerkelijk aan te drijven. Er zijn hier veel kansen in het komende jaar.

Dit zijn de soorten dingen die gemist worden bij het nadenken over de toekomst van banen. Als je iets kunt doen dat relatief veel vraag heeft (maar schaars is omdat het veel kost om te doen), en je zorgt ervoor dat dat iets meer output heeft, zul je zien dat de vraag toeneemt en niet afneemt. Ik heb talloze voorbeelden gezien van bedrijven die ingenieurs inhuurde voor problemen die voorheen niet ROI-positief of mogelijk waren voordat AI-agenten bestonden. Er is veel werk in de economie dat software-ondersteund zou moeten zijn, maar de drempel om met software aan de slag te gaan voelt onoverkomelijk aan wanneer het project eruitziet alsof het een jaar of twee zal duren. Wanneer AI het mogelijk maakt om het in een maand of twee te doen, verandert alle berekening. Hetzelfde zal gelden voor de gezondheidszorg, recht, sommige delen van marketing en nog veel andere categorieën van kenniswerk.