الجميع يفكر في هذه الورقة الجديدة من AWS. نموذج أصغر بمئة مرة من GPT وكلود سحقهم في استدعاء الأدوات. قام باحثو AWS بأخذ نموذج OPT-350M من فيسبوك، وهو نموذج من عام 2022 بمعلمات أقل بمقدار 500 مرة من GPT، وقاموا بضبطه بدقة على ToolBench لعصر واحد. النتائج مذهلة: ↳ SLM لديهم: نسبة نجاح 77.55٪ ↳ ChatGPT-CoT: 26٪ ↳ ToolLLaMA: 30٪ ↳ كلود-كولود كوت: 2.73٪ إليك ما يحدث: تعاني النماذج الكبيرة من "تخفيف المعاملات". معظم سعتها محسنة للمهام اللغوية العامة، وليس أنماط إدخال الفكر-الفعل-الفعل الدقيقة التي يحتاجها استدعاء الأدوات. نموذج صغير مدرب خصيصا على استدعاء الأدوات يركز كل قدرته على ذلك الشيء الواحد. لا يوجد مشتتات. كان إعداد التدريب بسيطا بشكل مفاجئ. Hugging Face TRL، أمثلة 187K، معدل تعلم 5e-5، وقص تدرج قوي لتحقيق الاستقرار. لكن أريد أن أوضح شيئا: هذا لا يعني أن النماذج الصغيرة تفوز في كل مكان. يعترف المؤلفون بأن نموذجهم قد يواجه صعوبة في تعقيدات سياقية معقدة أو طلبات غامضة. إنه متخصص، وليس عام. ومع ذلك، إذا كنت تبني أنظمة وكالية وترغب في تقليل تكاليف الاستدلال بمراسل، فهذا يستحق الانتباه. لقد شاركت رابط الورقة في التغريدة القادمة.