Alla sover på den här nya artikeln från AWS. En modell som var 100 gånger mindre än GPT och Claude krossade dem på verktygsuppringning. AWS-forskare tog Facebooks OPT-350M, en modell från 2022 med 500 gånger färre parametrar än GPT, och finjusterade den på ToolBench för en enda epok. Resultaten är vilda: ↳ Deras SLM: 77,55 % godkännandefrekvens ↳ ChatGPT-CoT: 26% ↳ ToolLLaMA: 30% ↳ Claude-CoT: 2,73 % Så här händer det: Stora modeller lider av "parameterutspädning." Största delen av deras kapacitet är optimerad för allmänna språkuppgifter, inte de exakta Thought-Action-Input-mönster som verktygsanrop behöver. En liten modell som är specifikt tränad på verktygsanrop koncentrerar all sin kapacitet på just den saken. Inga distraktioner. Träningsupplägget var förvånansvärt enkelt. Hugging Face TRL, 187K exempel, inlärningshastighet 5e-5 och aggressiv gradientklippning för stabilitet. Men jag vill vara tydlig med en sak: Det betyder inte att små modeller vinner överallt. Författarna medger att deras modell kan ha svårt med komplexa kontextuella nyanser eller tvetydiga önskemål. Det är en specialist, inte en generalist. Men om du bygger agentiska system och vill minska inferenskostnaderna med storleksordningar, är detta värt att uppmärksamma. Jag har delat länken till artikeln i nästa tweet.