Tässä syy, miksi kontekstitekniikka on niin iso juttu. Käytimme juuri kaksi tuntia pohtien, milloin agentin tulisi luottaa sisäiseen tietämykseensä verrattuna siihen, milloin yrittää löytää relevanttia kontekstia datasta vain yhteen kysymykseen. Kävimme läpi kaksi testitapausta, joissa oli satoja kappaleita. Jopa aivoriiheeseen osallistuneet eivät kaikki voineet olla yhtä mieltä siitä, mitä he odottaisivat ihmisten tekevän tässä tilanteessa. Oikeaa vastausta ei oikeasti ollut, ja se on aina asiakaskohtaista kontekstikohtaista. Kaikki kontekstisuunnittelussa on kompromissi monien tekijöiden välillä: kuinka nopeasti haluat agentin vastaavan kysymykseen, kuinka paljon edestakaista vuorovaikutusta haluat käyttäjältä vaatia, kuinka paljon työtä sen tulisi tehdä ennen kuin yrittää vastata, miten agentti tietää, että sillä on kattava lähdemateriaali vastaamaan kysymykseen, Mikä on väärän vastauksen riskitaso, ja niin edelleen. Jokaisella päätöksellä, jonka teet yhdessä näistä ulottuvuuksista, on seuraus toisessa päässä. Mitään ei saa ilmaiseksi. Siksi tekoälyagenttien rakentaminen on niin villiä. Se korostaa myös, kuinka paljon arvoa LLM-kerroksen yläpuolella on. Näiden päätösten tekeminen oikein liittyy suoraan arvolupauksen laatuun.

Karpathyn viimeisimmästä kirjoituksesta: "LLM-sovellukset organisoivat, hienosäätävät ja jopa animoivat tiimejä ammattilaisiksi tietyillä toimialoilla tarjoamalla yksityistä dataa, antureita, toimilaitteita ja palautesilmukoita." Tämä on juuri oikein. Tekoälyagenttien maailmassa LLM:n yläpuolella on paljon paksumpi kerros kuin aluksi ajateltiin. Ohut käärekritiikki toimi jossain määrin maailmassa, jossa ihmiset pakkasivat tokeneita uudelleen kevyesti räätälöidyllä käyttöliittymällä tai järjestelmäkehotteella, mikä oli käytännössä kaikki, mitä kaksi vuotta sitten oli mahdollista. Mutta tekoälyagentit yhdistävät työkaluja, suljettua dataa, erittäin toimialakohtaisia järjestelmäkehotuksia, erikoistuneita rajapintoja työnkulkujen ihmisen silmukassa oleviin osiin, kehittyneen kontekstisuunnittelun kontekstiikkunan rajoitusten hallintaan ja paljon muuta. Suurin osa näistä toimii paremmin, kun ne räätälöidään tietylle toimialalle, työtehtävälle tai tehtävätyypille. Lisäksi todellisen käyttöönoton saavuttamiseksi yrityksessä tarvitaan yleensä laaja järjestelmäintegraatio ja muutosten hallinta, jotta työnkulun muutokset ja käyttöönotto voidaan ohjata. Siksi yritykset (tai ainakin tuotteet), jotka keskittyvät tiettyihin mahdollisuuksiin, joutuvat usein ylläpitämään näitä työnkulkuja. Täällä on valtavasti mahdollisuuksia tulevana vuonna.

Nämä ovat juuri sellaisia asioita, jotka jäävät huomaamatta, kun ajatellaan työpaikkojen tulevaisuutta. Jos pystyt tekemään jotain, joka on suhteellisen kysyttyä (mutta niukkaa, koska sen tekeminen maksaa paljon), ja saat sen tuottamaan enemmän tuotantoa, näet kysynnän nousevan eikä laskevan. Olen nähnyt lukuisia esimerkkejä yrityksistä, jotka palkkaavat insinöörejä ongelmiin, jotka eivät olisi olleet siistikohtaisia tai mahdollisia ennen tekoälyagenttien olemassaoloa. Taloudessa on paljon työtä, jonka pitäisi olla ohjelmistopohjaista, mutta ohjelmistojen kehittämisen este tuntuu ylitsepääsemättömältä, kun projekti näyttää vievän vuoden tai kaksi. Kun tekoäly tekee siitä kuukauden tai kaksi, kaikki laskenta muuttuu. Sama pätee terveydenhuoltoon, lakiin, markkinoinnin osa-alueisiin ja moniin muihin tietotyön aloihin.