Jemand hat gerade den Neural Engine von Apple umgangen, um Modelle zu trainieren. Der Neural Engine in jedem M-Serie Mac wurde für Inferenz entwickelt. Modelle ausführen, sie nicht trainieren. Keine öffentliche API, keine Dokumentation und sicherlich kein Backpropagation. Ein Forscher hat die privaten APIs trotzdem reverse-engineered und eine Transformer-Trainingsschleife gebaut, die Vorwärts- und Rückwärtsdurchläufe direkt auf der ANE-Hardware ausführt. Die Methode umgeht CoreML vollständig. Anstatt die offiziellen Werkzeuge von Apple zu verwenden, konstruiert das Projekt Programme in MIL (Model Intermediate Language), kompiliert sie im Speicher mit undocumented `_ANEClient` APIs und speist Daten durch IOSurface Shared Memory Buffers. Gewichte werden als Konstanten in die kompilierten Programme eingebaut. E Jeder Trainingsschritt dispatcht sechs benutzerdefinierte Kerne: Attention Vorwärts, Feedforward Vorwärts, dann vier Rückwärtsdurchläufe, die Gradienten in Bezug auf die Eingaben berechnen. Gewichtsgeschwindigkeiten laufen weiterhin auf der CPU unter Verwendung von Accelerate's Matrixbibliotheken, aber die schwere Arbeit (Matrixmultiplikationen, Softmax, Aktivierungsfunktionen) erfolgt auf der ANE. Das macht drei Dinge möglich, die vorher nicht möglich waren: 1. Training kleiner Modelle lokal, ohne den Akku zu leeren 2. Feinabstimmung auf dem Gerät, ohne Daten an einen Server zu senden oder die GPU zu aktivieren 3. Forschung darüber, was die ANE-Hardware tatsächlich leisten kann, wenn man die Sicherheitsvorkehrungen von Apple ignoriert Wenn dieser Ansatz skalierbar ist, wird die nächste Welle der On-Device-AI nicht mehr darum gehen, das gefrorene Modell eines anderen auszuführen.