Yksi ensimmäisistä agenteista, jonka rakensin, oli erittäin yksinkertainen: Se haki tietoa vektorivarastosta, muotoili sen HTML:ksi ja lähetti sen käyttäjälle sähköpostitse. Yksinkertaisempaa ei voi olla, ja silti tämä agentti epäonnistui noin 1 % ajasta. Ei virhettä. Ei varoitusta. Se vain palautti roskaa. Tässä on karu totuus: Agentit epäonnistuvat usein. Ja he epäonnistuvat hiljaa. Koko ajan. Et voi luottaa LLM:ään tekemään joka kerta oikein. Tähän mennessä olen rakentanut ja ottanut käyttöön pari tusinaa agenttia, ja tässä on joitakin asioita, jotka oikeasti toimivat: 1. Havaittavuus alusta alkaen. Jos et näe, mitä agenttisi tekee, et voi debugata, parantaa tai luottaa siihen. Jokaisen agentin tulisi tuottaa jäljet, jotka näyttävät koko pyyntövirran, mallin vuorovaikutukset, tokenin käytön ja ajoituksen metatiedot. 2. Kaiteet tuloissa ja ulostuloissa. Kaikki, mikä tulee LLM:ään ja tulee sieltä, tulisi tarkistaa deterministisellä koodilla. Jopa asiat, jotka eivät todennäköisesti mene rikki, menevät lopulta rikki. 3. LLM-arviointi tuomarina. Voit rakentaa yksinkertaisen tuomarin käyttämällä LLM:ää, joka automaattisesti arvioi agenttisi tulokset. Merkitse data, kirjoita arviointikehote ja iteroi, kunnes tuomari huomaa suurimman osan epäonnistumisista. 4. Virheanalyysi. Voit kerätä epäonnistumisnäytteitä, luokitella ne ja diagnosoida yleisimmät virheet. 5. Kontekstitekniikka. Usein agentit epäonnistuvat, koska heidän kontekstinsa on meluisa, ylikuormitettu tai merkityksetön. Kontekstin merkityksen pitämisen oppiminen on valtava juttu. 6. Ihmisen palautesilmukat. Joskus paras suoja on ihminen, joka on mukana silmukassa, erityisesti korkean panoksen päätöksissä.