Модель з 24 мільярдами параметрів щойно працювала на ноутбуці і вибрала потрібний інструмент менш ніж за півсекунди. Справжня історія в тому, що агенти з викликом інструментів нарешті стали достатньо швидкими, щоб відчуватися як програмне забезпечення. Liquid створила LFM2-24B-A2B за допомогою гібридної архітектури, яка поєднує блоки згортки з групованою увагою запитів у співвідношенні 1:3. Активується лише 2,3 мільярда параметрів на токен, хоча повна модель містить 24 мільярди. Саме через цей рідкісний патерн активації він поміщається на 14,5 ГБ пам'яті та відправляє інструменти за 385 мілісекунд на M4 Max. Архітектура була розроблена за допомогою апаратного пошуку в циклі, тобто вони оптимізували структуру моделі, тестуючи її безпосередньо на чипах, на яких вона працювала. Жодного шару перекладу хмари. Без API туди й назад. Модель, інструменти та ваші дані залишаються на машині. Це відкриває три речі, які раніше були непрактичними: 1. Регульовані галузі можуть запускати агентів на ноутбуках працівників без виходу даних з пристрою. 2. Розробники можуть створювати прототипи багатофункціональних робочих процесів без керування ключами API чи обмеженнями швидкості. 3. Команди безпеки отримують повні аудиторські сліди без підпроцесорів постачальників. Модель досягла 80% точності при виборі інструментів за один крок у 67 інструментах на 13 MCP-серверах. Якщо ця динаміка зберігається у масштабі, потрібно уточнити два припущення. По-перше, агенти на пристрої більше не є компромісом за час роботи батареї; Це функція відповідності. По-друге, вузьке місце в агентних робочих процесах переходить від можливостей моделі до зрілості екосистеми інструментів.

Дивовижна робота від: @liquidai @ramin_m_h