24 miljardin parametrin malli pyöri juuri kannettavalla tietokoneella ja valitsi oikean työkalun alle puolessa sekunnissa. Todellinen tarina on, että työkalujen kutsuminen agenteista tuli vihdoin tarpeeksi nopeita tuntuakseen ohjelmistolta. Liquid rakensi LFM2-24B-A2B:n hybridiarkkitehtuurilla, joka yhdistää konvoluutiolohkot ryhmiteltyihin kyselyihin 1:3-suhteessa. Vain 2,3 miljardia parametria aktivoituu per token, vaikka koko malli sisältää 24 miljardia. Tämä harva aktivointikuvio on syy siihen, miksi se mahtuu 14,5 GB muistiin ja lähettää työkalut 385 millisekunnissa M4 Maxilla. Arkkitehtuuri suunniteltiin hardware-in-the-loop -haun avulla, mikä tarkoittaa, että mallirakenne optimoitiin testaamalla sitä suoraan siruilla, joilla se toimisi. Ei pilvikäännöskerrosta. Ei API:n edestakaista matkaa. Malli, työkalut ja datasi pysyvät koneessa. Tämä avaa kolme aiemmin epäkäytännöllistä asiaa: 1. Säädellyt toimialat voivat käyttää agentteja työntekijöiden kannettavilla ilman, että data poistuu laitteesta. 2. Kehittäjät voivat prototypoitaa monityökalutyönkulkuja ilman API-avainten tai nopeusrajoitusten hallintaa. 3. Tietoturvatiimit saavat täydet auditointijäljet ilman toimittajien aliprosessoreita mukana. Malli saavutti 80 % tarkkuuden yksittäisvaiheisessa työkaluvalinnassa 67 työkalulla 13 MCP-palvelimella. Jos tämä suorituskyky pysyy mittakaavassa, kaksi oletusta täytyy päivittää. Ensinnäkin laitteessa olevat agentit eivät enää ole akun keston kompromissi; Ne ovat vaatimustenmukaisuuden ominaisuus. Toiseksi agenttien työnkulkujen pullonkaula siirtyy mallin kyvykkyydestä työkaluekosysteemin kypsyyteen.

Upeaa työtä: @liquidai @ramin_m_h