Oto dlaczego inżynieria kontekstu jest tak ważna. Właśnie spędziliśmy 2 godziny na debacie, kiedy agent powinien polegać na swojej wewnętrznej wiedzy, a kiedy próbować znaleźć odpowiedni kontekst w danych dla tylko jednego typu pytania. Przeszliśmy przez 2 przypadki testowe z setek. Nawet osoby zaangażowane w burzę mózgów nie mogły się zgodzić, czego oczekiwałyby od ludzi w tej sytuacji. Naprawdę nie było właściwej odpowiedzi, a to zawsze zależy od kontekstu, klient po kliencie. Wszystko w inżynierii kontekstu to kompromis między różnymi czynnikami: jak szybko chcesz, aby agent odpowiedział na pytanie, ile interakcji chcesz wymagać od użytkownika, ile pracy powinien wykonać przed próbą odpowiedzi na pytanie, jak wie, że ma wyczerpujące materiały źródłowe do odpowiedzi na pytanie, jaki jest poziom ryzyka błędnej odpowiedzi itd. Każda decyzja, którą podejmujesz w jednym z tych wymiarów, ma konsekwencje na drugim końcu. Nie ma darmowego obiadu. Dlatego budowanie agentów AI jest tak szalone. Podkreśla to również, jak wiele wartości znajduje się powyżej warstwy LLM. Dokładne podejmowanie tych decyzji ma bezpośredni związek z jakością propozycji wartości.

Z najnowszego posta Karpathy’ego: "Aplikacje LLM będą organizować, dostosowywać i faktycznie animować zespoły z nich w profesjonalistów wdrożonych w określonych dziedzinach, dostarczając prywatne dane, czujniki, aktuatory i pętle sprzężenia zwrotnego." To jest dokładnie prawda. W świecie agentów AI istnieje znacznie grubsza warstwa nad LLM, niż początkowo postrzegano. Krytyka cienkiego opakowania w pewnym sensie działała w świecie, w którym ludzie przepakowywali tokeny z lekko dostosowanym interfejsem lub systemowym poleceniem, co w dużej mierze było wszystkim, co było możliwe 2 lata temu. Jednak agenci AI będą łączyć narzędzia, dane własnościowe, wysoce specyficzne dla danej dziedziny polecenia systemowe, wyspecjalizowane interfejsy dla ludzkich elementów w procesach roboczych, zaawansowane inżynierie kontekstu, aby poradzić sobie z ograniczeniami okna kontekstowego i nie tylko. Zdecydowana większość z nich będzie działać lepiej, gdy będzie dostosowana do konkretnej dziedziny, funkcji zawodowej lub rodzaju zadania. Ponadto, aby uzyskać rzeczywistą adopcję w przedsiębiorstwie, zazwyczaj potrzebny jest wysoki stopień integracji systemów i zarządzania zmianą, aby napędzać zmiany w procesach roboczych i adopcję. Dlatego firmy (lub przynajmniej produkty) skoncentrowane na konkretnych możliwościach będą często wymagane do rzeczywistego zasilania tych procesów roboczych. Mnóstwo możliwości w nadchodzącym roku.

To są rodzaje rzeczy, które są pomijane, gdy myśli się o przyszłości pracy. Jeśli potrafisz zrobić coś, co jest stosunkowo w wysokim popycie (ale rzadkie, ponieważ kosztuje dużo do zrobienia), a ty sprawisz, że to coś będzie miało większą wydajność, zobaczysz, że popyt wzrasta, a nie maleje. Widziałem liczne przykłady firm zatrudniających inżynierów do rozwiązywania problemów, które wcześniej nie byłyby opłacalne lub możliwe, zanim istniały agenci AI. Jest wiele pracy w gospodarce, która powinna być wspierana przez oprogramowanie, ale bariera do rozpoczęcia pracy z oprogramowaniem wydaje się nie do pokonania, gdy projekt wygląda na to, że zajmie rok lub dwa. Gdy AI sprawia, że zajmuje to miesiąc lub dwa, cała kalkulacja się zmienia. To samo będzie prawdziwe w opiece zdrowotnej, prawie, w niektórych częściach marketingu i w wielu innych kategoriach pracy opartej na wiedzy.