Yksi asia, jota LLM-agentit eivät osaa hyvin: Mikä tahansa vanhan koulukunnan chatbot voi pysyä käsikirjoituksessa, kun taas LLM-agentit yleensä menevät omille teilleen ja johdattavat asiakkaat outoihin keskusteluihin. Mutta tietysti vanhat chatbotit tuntuvat robottimaisilta, eikä asiakkaat halua puhua niille. Ne ovat luotettavia, mutta ihmiset eivät pidä niistä, LLM-agentit ovat päinvastaisia. He ovat joustavia ja sopeutuvia, mutta voivat sanoa mitä tahansa. Olet kirjaimellisesti yhden hallusinaation päässä katastrofista. Parlantin takana olevat tekijät tekevät jotain todella fiksua uudessa versiossaan: Voit rakentaa agentin, jossa on molempien maailmojen parhaat puolet. Agentti voi dynaamisesti vaihtaa LLM-agentin ja tiukan tilan välillä sen mukaan, mitä keskustelussa tapahtuu. Riski ei ole yhtenäinen koko keskustelussa: 1. Kun asiakas esittää satunnaisen tuotteen kysymyksen, Parlant käyttää LLM:ää luodakseen joustavan ja hyödyllisen vastauksen. 2. Kun asiakas pyytää hyvitystä, Parlant ottaa käyttöön tiukkaa tilaa palauttaa vain hyväksytyt, kontekstuaalisesti ohjatut vastauspohjat. Ohjaat agentin "sommittelutilaa" luonnollisen kielen havaintojen perusteella keskustelun nykytilasta. Tämä on todella siisti idea. Sen pitäisi parantaa merkittävästi chatbottien nykyistä kehitystä. Voit tutustua siihen täältä: Liitteenä oleva kaavio näyttää, miten dynaaminen koostumistila toimii.

Yksi ensimmäisistä agenteista, jonka rakensin, oli erittäin yksinkertainen: Se haki tietoa vektorivarastosta, muotoili sen HTML:ksi ja lähetti sen käyttäjälle sähköpostitse. Yksinkertaisempaa ei voi olla, ja silti tämä agentti epäonnistui noin 1 % ajasta. Ei virhettä. Ei varoitusta. Se vain palautti roskaa. Tässä on karu totuus: Agentit epäonnistuvat usein. Ja he epäonnistuvat hiljaa. Koko ajan. Et voi luottaa LLM:ään tekemään joka kerta oikein. Tähän mennessä olen rakentanut ja ottanut käyttöön pari tusinaa agenttia, ja tässä on joitakin asioita, jotka oikeasti toimivat: 1. Havaittavuus alusta alkaen. Jos et näe, mitä agenttisi tekee, et voi debugata, parantaa tai luottaa siihen. Jokaisen agentin tulisi tuottaa jäljet, jotka näyttävät koko pyyntövirran, mallin vuorovaikutukset, tokenin käytön ja ajoituksen metatiedot. 2. Kaiteet tuloissa ja ulostuloissa. Kaikki, mikä tulee LLM:ään ja tulee sieltä, tulisi tarkistaa deterministisellä koodilla. Jopa asiat, jotka eivät todennäköisesti mene rikki, menevät lopulta rikki. 3. LLM-arviointi tuomarina. Voit rakentaa yksinkertaisen tuomarin käyttämällä LLM:ää, joka automaattisesti arvioi agenttisi tulokset. Merkitse data, kirjoita arviointikehote ja iteroi, kunnes tuomari huomaa suurimman osan epäonnistumisista. 4. Virheanalyysi. Voit kerätä epäonnistumisnäytteitä, luokitella ne ja diagnosoida yleisimmät virheet. 5. Kontekstitekniikka. Usein agentit epäonnistuvat, koska heidän kontekstinsa on meluisa, ylikuormitettu tai merkityksetön. Kontekstin merkityksen pitämisen oppiminen on valtava juttu. 6. Ihmisen palautesilmukat. Joskus paras suoja on ihminen, joka on mukana silmukassa, erityisesti korkean panoksen päätöksissä.

Insinööritaidot ovat tekoälyn voiman moninkertaistajia. Jos sinulla on testejä, tekoäly voi suorittaa ne jokaisen muutoksen jälkeen ja korjata itsensä. Jos et tee niin, toivot vain, ettei mikään mene rikki. Jos sinulla on CI/CD-putkisto, voit ottaa tekoälyn tuottaman koodin käyttöön luottavaisin mielin. Jos et tee niin, toivot vain, ettei mikään mene rikki. Jos sinulla on hyvä koodin tarkistusprosessi, voit havaita mahdolliset ongelmat tekoälyn tuottamassa koodissa. Jos et tee niin, toivot vain, ettei mikään mene rikki. Jos sinulla on vankka dokumentaatio, tekoäly ymmärtää koodipohjasi ja tuottaa paljon parempaa koodia. Jos et tee niin, toivot vain, ettei mikään mene rikki. Kuilu tiimien, joilla on vankka ohjelmistokehitysperusta, ja niiden, joita ei ole, on pian valtava.