İlk kurduğum ajanlardan biri son derece basitti: Bir vektör deposundan bilgi alır, HTML olarak biçimlendirir ve kullanıcıya e-posta ile gönderirdi. Bundan daha basit olamaz, ama bu ajan yaklaşık %1 zaman başarısız oluyor. Hata yok. Uyarı yok. Sadece çöp getirdi. İşte acı gerçek: Ajanlar çok başarısız olur. Ve sessizce başarısız oluyorlar. Her zaman. Bir LLM'ye her zaman doğru olanı yapacağına güvenemezsiniz. Şimdiye kadar birkaç düzine ajan inşa ettim ve dağıttım, işte gerçekten işe yarayan bazı şeyler: 1. İlk günden itibaren gözlemlenebilirlik. Ajanınızın ne yaptığını göremezseniz, onu hata ayıklamayın, geliştiremezsiniz veya güvenemezsiniz. Her ajan, tam istek akışını, model etkileşimlerini, token kullanımını ve zamanlama meta verilerini gösteren izler üretmelidir. 2. Giriş ve çıkışlar üzerindeki korkuluklar. LLM'e giren ve çıkan her şey deterministik kodla kontrol edilmelidir. Kırılması muhtemel olmayan şeyler bile sonunda kırılır. 3. LLM-yargıç olarak değerlendirme. Bir LLM kullanarak ajanınızın çıktılarını otomatik olarak değerlendiren basit bir yargıç oluşturabilirsiniz. Bir veri setini etiketleyin, değerlendirme sorusunu yazın ve yargıçınız çoğu başarısızlığı yakalayana kadar yineleyin. 4. Hata analizi. Başarısızlık örneklerini toplayabilir, kategorize edebilir ve en sık yapılan hataları teşhis edebilirsiniz. 5. Bağlam mühendisliği. Çoğu zaman, ajanlar bağlamlarının gürültülü, aşırı yüklü veya alakasız olması nedeniyle başarısız olur. Bağlamı güncel tutmayı öğrenmek çok önemli. 6. İnsan geri bildirim döngüleri. Bazen en iyi koruma noktası, özellikle yüksek riskli kararlar için döngüde bir insan olur.