Tout le monde dort sur ce nouveau document d'AWS. Un modèle 100x plus petit que GPT et Claude les a écrasés sur l'appel d'outils. Les chercheurs d'AWS ont pris l'OPT-350M de Facebook, un modèle de 2022 avec 500x moins de paramètres que GPT, et l'ont affiné sur ToolBench pendant une seule époque. Les résultats sont fous : ↳ Leur SLM : 77,55 % de taux de réussite ↳ ChatGPT-CoT : 26 % ↳ ToolLLaMA : 30 % ↳ Claude-CoT : 2,73 % Voici ce qui se passe : Les grands modèles souffrent de "dilution des paramètres". La plupart de leur capacité est optimisée pour des tâches linguistiques générales, et non pour les modèles d'entrée Prise de Pensée-Action-Action précis dont l'appel d'outils a besoin. Un petit modèle formé spécifiquement sur l'appel d'outils concentre toute sa capacité sur cette seule chose. Pas de distractions. La configuration de l'entraînement était étonnamment simple. Hugging Face TRL, 187K exemples, taux d'apprentissage de 5e-5, et un clipping de gradient agressif pour la stabilité. Mais je veux être clair sur quelque chose : Cela ne signifie pas que les petits modèles gagnent partout. Les auteurs reconnaissent que leur modèle peut avoir du mal avec des nuances contextuelles complexes ou des demandes ambiguës. C'est un spécialiste, pas un généraliste. Pourtant, si vous construisez des systèmes agentiques et souhaitez réduire les coûts d'inférence de plusieurs ordres de grandeur, cela vaut la peine d'y prêter attention. J'ai partagé le lien vers le document dans le tweet suivant.