أبحاث أنثروبية جديدة: قياس استقلالية وكلاء الذكاء الاصطناعي في التطبيق العملي. قمنا بتحليل ملايين التفاعلات عبر كود كلود وواجهة برمجة التطبيقات الخاصة بنا لفهم مدى الاستقلالية التي يمنحها الناس للوكلاء، وأين يتم نشرهم، وما هي المخاطر التي قد يشكلونها. اقرأ المزيد:

يتم بالفعل نشر العملاء عبر سياقات تتراوح بين فرز البريد الإلكتروني إلى أبحاث الأمن السيبراني. فهم هذا الطيف أمر حاسم للنشر الآمن، ومع ذلك نعرف القليل بشكل مفاجئ عن كيفية استخدام الناس للوكلاء فعليا في العالم الحقيقي.

معظم أدوار كود كلود قصيرة (متوسط ~45 ثانية). لكن أطول المنعطفات تظهر إلى أين تتجه الاستقلالية. في ثلاثة أشهر، تضاعفت مدة الدوران بنسبة 99.9٪ تقريبا، من أقل من 25 دقيقة إلى أكثر من 45 دقيقة. هذا النمو سلس عبر إصدارات النماذج.

مع اكتساب المستخدمين للخبرة، تتغير استراتيجيتهم الإشرافية. يوافق المستخدمون الجدد على كل إجراء بشكل فردي. بحلول 750 جلسة، أكثر من 40٪ من الجلسات معتمدة تلقائيا بالكامل.

لكن المقاطعات تزداد أيضا مع الخبرة. المستخدمون الجدد يقاطعون كود كلود في 5٪ من الأدوار، مقارنة ب 9٪ للمستخدمين الأكثر خبرة. وهذا يشير إلى تحول من الموافقة على كل إجراء إلى التفويض والمقاطعة عند الحاجة.

كما يشجع كلود كود الرقابة من خلال التوقف لطرح الأسئلة. في المهام المعقدة، يتوقف كود للتوضيح أكثر من ضعف ما يقاطعه البشر. تدريب النماذج على التعرف على عدم اليقين هو خاصية أمان مهمة لكنها غير مقدرة بشكل كاف.

معظم إجراءات الوكيل على واجهة برمجة التطبيقات لدينا منخفضة المخاطر. 73٪ من استدعاءات الأدوات تبدو وكأنها تحتوي على إنسان في الحلقة، وفقط 0.8٪ منها غير قابلة للعكس. لكن على الحدود، نرى وكلاء يعملون على أنظمة الأمان، والمعاملات المالية، وعمليات الإنتاج (رغم أن بعضها قد يكون تقييمات).

تشكل هندسة البرمجيات ~50٪ من استدعاءات الأدوات الوكائلية في واجهة برمجة التطبيقات لدينا، لكننا نرى استخداما متزايدا في صناعات أخرى. مع توسع حدود المخاطر والاستقلالية، تصبح المراقبة بعد النشر ضرورية. نشجع مطوري النماذج الآخرين على توسيع هذا البحث.

درس أساسي في هذا العمل هو أن الاستقلالية يتم بناؤها بمشاركة بين النموذج والمستخدم والمنتج. لا يمكن توصيفه بالكامل من خلال تقييمات ما قبل النشر فقط. للحصول على التفاصيل الكاملة وتوصياتنا للمطورين وصانعي السياسات، راجع المدونة: