Модель с 24 миллиардами параметров только что запустилась на ноутбуке и выбрала правильный инструмент менее чем за полсекунды. Истинная история заключается в том, что агенты, вызывающие инструменты, наконец стали достаточно быстрыми, чтобы ощущаться как программное обеспечение. Liquid создала LFM2-24B-A2B, используя гибридную архитектуру, которая сочетает свёрточные блоки с группированным вниманием к запросам в соотношении 1:3. Только 2,3 миллиарда параметров активируются на токен, хотя полная модель содержит 24 миллиарда. Именно этот разреженный паттерн активации позволяет ей помещаться в 14,5 ГБ памяти и отправлять инструменты за 385 миллисекунд на M4 Max. Архитектура была разработана с помощью поиска с аппаратным обеспечением в контуре, что означает, что они оптимизировали структуру модели, тестируя её непосредственно на чипах, на которых она будет работать. Никакого облачного слоя перевода. Никаких API-запросов. Модель, инструменты и ваши данные остаются на машине. Это открывает три вещи, которые раньше были непрактичными: 1. Регулируемые отрасли могут запускать агентов на ноутбуках сотрудников, не позволяя данным покидать устройство. 2. Разработчики могут прототипировать многоинструментальные рабочие процессы, не управляя ключами API или лимитами запросов. 3. Команды безопасности получают полные аудиторские следы без участия субподрядчиков поставщика в процессе. Модель достигла 80% точности в выборе инструмента за один шаг среди 67 инструментов, охватывающих 13 серверов MCP. Если эта производительность сохранится в масштабе, необходимо обновить два предположения. Во-первых, агенты на устройстве больше не являются компромиссом по времени работы от батареи; они являются функцией соблюдения норм. Во-вторых, узкое место в агентских рабочих процессах смещается от возможностей модели к зрелости экосистемы инструментов.

Удивительная работа от: @liquidai @ramin_m_h