Кто-то только что обошел нейронный процессор Apple, чтобы обучить модели. Нейронный процессор внутри каждого Mac на базе M-серии был разработан для вывода. Запускайте модели, не обучайте их. Нет публичного API, нет документации и, конечно, никакой обратной пропаганды. Тем не менее, исследователь обратного проектирования разобрал частные API и создал цикл обучения трансформеров, который выполняет прямые и обратные проходы непосредственно на аппаратном обеспечении ANE. Этот метод полностью обходит CoreML. Вместо использования официальных инструментов Apple проект строит программы на MIL (Model Intermediate Language), компилирует их в памяти с использованием не задокументированных API `_ANEClient` и передает данные через буферы общей памяти IOSurface. Весы встраиваются в скомпилированные программы как константы. Каждый шаг обучения вызывает шесть пользовательских ядер: внимание вперед, прямой проход, затем четыре обратных прохода, которые вычисляют градиенты по отношению к входным данным. Градиенты весов все еще выполняются на ЦП с использованием библиотек матриц Accelerate, но тяжелая работа (умножение матриц, softmax, функции активации) выполняется на ANE. Это делает возможным три вещи, которые раньше были невозможны: 1. Обучение небольших моделей локально, не разряжая батарею 2. Тонкая настройка на устройстве без отправки данных на сервер или запуска GPU 3. Исследование того, что на самом деле может делать аппаратное обеспечение ANE, когда вы игнорируете защитные механизмы Apple Если этот подход масштабируется, следующая волна ИИ на устройствах перестанет быть связанной с запуском замороженной модели кого-то другого.