Ein Full-Stack/ML-Forschungsingenieur, der hauptsächlich an AI, LLM und MLX arbeitet. @JohnMai_Dev hat am 3. März 2026 erfolgreich die Inferenz des Qwen3.5-0.8B-Modells auf dem Apple M1 Pro-Chip realisiert, und zwar direkt unter Verwendung der Apple Neural Engine (ANE). Basierend auf einem Open-Source-Projekt: Durchbrucharbeit, die die direkte Nutzung der Apple Neural Engine für Training und Inferenz ermöglicht, nachdem viele dachten, dass Apple die ANE nicht für vollständiges Training/Inferenz öffnet. Früher wurde die ANE hauptsächlich für die systeminterne CoreML-Inferenz verwendet, und es war für Dritte schwierig, sie direkt effizient zu nutzen. Jetzt kann man mit maderix/ANE die ANE direkt für die Vorwärtsinferenz moderner großer Modelle nutzen (sogar einige haben bereits mit Backprop-Training begonnen). Und basierend auf dem Qwen 0.8B-Modell bedeutet ANE = extrem niedriger Stromverbrauch, anständige Geschwindigkeit und vollständige Privatsphäre vor Ort. Der M1 Pro kann das ausführen, was bedeutet, dass viele alte Mac-Benutzer (M1/M2-Serie) plötzlich eine sehr effiziente AI-Beschleunigungsoption haben, die weniger Strom verbraucht und schneller ist als nur die Verwendung von GPU/CPU. Die Kombination mit ANE verwandelt den Mac vollständig in eine kostengünstige lokale AI-Workstation, und alte Apple-Geräte können moderne chinesische große Modelle (Qwen3.5 0.8B) für Inferenz nutzen, was die Tür zu neuen, effizienten AI-Anwendungen auf dem Mac öffnet.