🚨 Echipa Qwen de la Alibaba a lansat un cadru care face antrenamentul AI de 8 ori mai eficient. Se numește OPUS Rezolvă problema despre care orice laborator AI se panichează în tăcere: Zidul de date. Textul public de înaltă calitate se termină. Proiecțiile spun că a dispărut până în 2026–2028. OPUS nu găsește mai multe date. Alege datele corecte la fiecare pas de antrenament. Iată cum funcționează: → La fiecare pas al optimizatorului, OPUS evaluează un buffer candidat de eșantioane de antrenament → Proiectează actualizarea efectivă a fiecărui eșantion în geometria reală a optimizatorului (AdamW, Muon) → Măsoară cât de mult ar îmbunătăți fiecare eșantion performanța la un reper țintă → Folosește eșantionarea Boltzmann pentru a păstra diversitatea și a evita redundanța → Selectează doar tokenurile cu cea mai mare utilitate pentru actualizare Iată partea cea mai nebună: A antrenat GPT-2 XL pe jetoane 30B și a depășit modelele antrenate pe jetoane 200B. Nu e o greșeală de tipar. 30B a învins 200B. Pe Qwen3-8B, OPUS a asociat antrenamentul complet cu token-uri 3B folosind doar 0,5B tokens. Un câștig de eficiență a datelor de 6x. În pre-pregătire continuă în domeniile științifice. Și mai ciudat: au oferit intenționat OPUS datele de calitate inferioară (scor FineWeb-Edu 3), în timp ce liniile de bază s-au antrenat pe partiția de înaltă calitate (scoruri 4–5). OPUS a câștigat totuși. Datele de calitate mai scăzută, selectate dinamic, depășeau datele de calitate superioară filtrate static. Toate acestea cu doar 4,7% overhead suplimentar de calcul. ...