أحد أول الوكلاء الذين بنيته كان بسيطا للغاية: كان يسترجع المعلومات من متجر متجه، ويقسمها كHTML، ويرسلها عبر البريد الإلكتروني للمستخدم. لا يمكن أن يكون الأمر أبسط من ذلك، ومع ذلك، فشل هذا العميل بنسبة 1٪ تقريبا من الوقت. لا يوجد خطأ. بدون تحذير. لقد عاد إلى القمامة. إليك الحقيقة القاسية: الوكلاء يفشلون كثيرا. وهم يفشلون بصمت. دومًا. لا يمكنك الوثوق بماجستير اللغة الكبيرة في كل مرة ليفعل الشيء الصحيح. حتى الآن، بنيت ونشرت عدة عشرات من الوكلاء، وهذه بعض الأشياء التي تعمل فعليا: 1. قابلية الملاحظة منذ اليوم الأول. إذا لم تستطع رؤية ما يفعله وكيلك، فلا يمكنك تصحيح الأخطاء، أو تحسينه، أو الوثوق به. يجب على كل وكيل إنتاج آثار تظهر تدفق الطلب الكامل، وتفاعلات النماذج، واستخدام الرموز، وبيانات التوقيت الوصفية. 2. حواجز واقية للمدخلات والمخرجات. كل ما يدخل ويخرج من نموذج اللغة الكبيرة يجب التحقق منه بواسطة كود حتمي. حتى الأشياء التي من غير المرجح أن تنكسر ستنكسر في النهاية. 3. تقييم ماجستير القانون كقاض. يمكنك بناء حكم بسيط باستخدام نموذج لغوي كبير لتقييم مخرجات وكيلك تلقائيا. ضع علامة على مجموعة بيانات، واكتب موضوع التقييم، وكرر حتى يكتشف القاضي معظم الإخفاقات. 4. تحليل الأخطاء. يمكنك جمع عينات الفشل، وتصنيفها، وتشخيص أكثر الأخطاء شيوعا. 5. هندسة السياق. غالبا ما يفشل الوكلاء لأن سياقهم صاخب أو مثقل أو غير ذي صلة. تعلم كيفية الحفاظ على السياق ذو صلة أمر كبير. 6. حلقات التغذية الراجعة البشرية. أحيانا أفضل حاجز هو وجود إنسان في الحلقة، خاصة في القرارات ذات المخاطر العالية.