Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Cineva tocmai a ocolit Neural Engine de la Apple pentru a antrena modele.
Motorul neural din fiecare Mac din seria M a fost proiectat pentru inferență.
Rulează modele, nu le antrena. Fără API public, fără documentație și cu siguranță fără backpropagation.
Un cercetător a inversat totuși ingineria inversă a API-urilor private și a construit o buclă de antrenare a transformatoarelor care rulează direct pe hardware-ul ANE.
Metoda ocolește complet CoreML.
În loc să folosească uneltele oficiale Apple, proiectul construiește programe în MIL (Model Intermediate Language), le compilează în memorie folosind API-uri "_ANEClient" nedocumentate și transmite date prin buffere de memorie partajată IOSurface.
Greutățile sunt integrate în programele compilate ca constante. E
Pasul de antrenament ACH distribuie șase nucleuri personalizate: atenție înainte, feedforward înainte, apoi patru treceri înapoi care calculează gradiente în raport cu intrările.
Gradientele de greutate rulează în continuare pe CPU folosind bibliotecile matriciale Accelerate, dar munca grea (matrice multiplică, softmax, funcții de activare) are loc pe ANE.
Acest lucru face posibile trei lucruri care nu erau posibile înainte:
1. Antrenarea modelelor mici local fără a consuma bateria
2. Ajustarea fină pe dispozitiv fără a trimite date către un server sau fără a porni GPU-ul
3. Cercetează ce poate face hardware-ul ANE atunci când ignori barierele Apple
Dacă această abordare va crește, următorul val de AI pe dispozitiv nu va mai fi despre rularea modelului înghețat al altcuiva.
Limită superioară
Clasament
Favorite
