🚨 Alibaba's Qwen Team heeft een framework gelanceerd dat AI-training 8x efficiënter maakt. Het heet OPUS Het lost het probleem op waar elk AI-lab stilletjes in paniek over is: de Data Wall. Hoge kwaliteit openbaar tekst raakt op. Prognoses zeggen dat het er niet meer is tegen 2026–2028. OPUS vindt niet meer data. Het kiest de juiste data bij elke enkele trainingsstap. Hier is hoe het werkt: → Bij elke optimizer stap, scoort OPUS een kandidaatbuffer van trainingsmonsters → Projecteert de effectieve update van elk monster in de werkelijke geometrie van de optimizer (AdamW, Muon) → Meet hoeveel elk monster de prestaties op een doelbenchmark zou verbeteren → Gebruikt Boltzmann-sampling om diversiteit te behouden en redundantie te vermijden → Selecteert alleen de hoogste-utility tokens voor de update Hier is het wildste deel: Het trainde GPT-2 XL op 30B tokens en overtrof modellen die op 200B tokens waren getraind. Dat is geen typfout. 30B versloeg 200B. Op Qwen3-8B, evenaarde OPUS volledige training met 3B tokens met slechts 0.5B tokens. Een 6x data-efficiëntie winst. In voortgezette pre-training op wetenschappelijke domeinen. Nog gekker: ze gaven OPUS opzettelijk de lagere kwaliteit data (FineWeb-Edu score 3) terwijl baselines werden getraind op de hoge kwaliteit partition (scores 4–5). OPUS won nog steeds. Lagere kwaliteit data, dynamisch geselecteerd, versloeg hogere kwaliteit data die statisch gefilterd was. Dit alles met slechts 4.7% extra rekenoverhead. ...