En modell med 24 milliarder parametere kjørte bare på en bærbar PC og valgte riktig verktøy på under et halvt sekund. Den virkelige historien er at verktøykallingsagenter endelig ble raske nok til å føles som programvare. Liquid bygde LFM2-24B-A2B med en hybridarkitektur som blander konvolusjonsblokker med gruppert spørringsoppmerksomhet i et 1:3-forhold. Kun 2,3 milliarder parametere aktiveres per token, selv om hele modellen har 24 milliarder. Det sparsomme aktiveringsmønsteret er grunnen til at det får plass i 14,5 GB minne og sender verktøy på 385 millisekunder på en M4 Max. Arkitekturen ble designet gjennom hardware-in-the-loop-søk, noe som betyr at de optimaliserte modellstrukturen ved å teste den direkte på brikkene den skulle kjøre på. Ingen sky-oversettelseslag. Ingen API rundtur. Modellen, verktøyene og dataene dine forblir på maskinen. Dette låser opp tre ting som tidligere var upraktiske: 1. Regulerte bransjer kan kjøre agenter på ansattes bærbare datamaskiner uten at data forlater enheten. 2. Utviklere kan prototype arbeidsflyter med flere verktøy uten å håndtere API-nøkler eller hastighetsgrenser. 3. Sikkerhetsteam får fullstendige revisjonsspor uten leverandørunderprosessorer involvert. Modellen oppnådde 80 % nøyaktighet på valg av enkeltstegs verktøy fordelt på 67 verktøy fordelt på 13 MCP-servere. Hvis denne ytelsen holder seg i stor skala, må to antakelser oppdateres. For det første er agenter på enheten ikke lenger et kompromiss for batterilevetid; De er en samsvarsfunksjon. For det andre skifter flaskehalsen i agentiske arbeidsflyter fra modellkapasitet til modenhet i verktøyøkosystemet.

Fantastisk arbeid fra: @liquidai @ramin_m_h