🚨 Il team Qwen di Alibaba ha rilasciato un framework che rende l'addestramento dell'IA 8 volte più efficiente. Si chiama OPUS Risolve il problema di cui ogni laboratorio di IA sta silenziosamente entrando in panico: il Data Wall. Il testo pubblico di alta qualità sta finendo. Le proiezioni dicono che sarà esaurito entro il 2026–2028. OPUS non trova più dati. Seleziona i dati giusti ad ogni singolo passo di addestramento. Ecco come funziona: → Ad ogni passo dell'ottimizzatore, OPUS valuta un buffer candidato di campioni di addestramento → Proietta l'aggiornamento efficace di ciascun campione nella geometria reale dell'ottimizzatore (AdamW, Muon) → Misura quanto ciascun campione migliorerebbe le prestazioni su un benchmark target → Utilizza il campionamento di Boltzmann per preservare la diversità e evitare ridondanza → Seleziona solo i token di massima utilità per l'aggiornamento Ecco la parte più sorprendente: Ha addestrato GPT-2 XL su 30 miliardi di token e ha superato modelli addestrati su 200 miliardi di token. Non è un errore di battitura. 30 miliardi ha battuto 200 miliardi. Su Qwen3-8B, OPUS ha eguagliato l'addestramento completo con 3 miliardi di token utilizzando solo 0,5 miliardi di token. Un guadagno di efficienza dei dati di 6 volte. Nella continuazione dell'addestramento su domini scientifici. Ancora più folle: hanno deliberatamente dato a OPUS dati di qualità inferiore (punteggio FineWeb-Edu 3) mentre le baseline sono state addestrate sulla partizione di alta qualità (punteggi 4–5). OPUS ha comunque vinto. Dati di qualità inferiore, selezionati dinamicamente, hanno battuto dati di qualità superiore filtrati staticamente. Tutto questo con solo il 4,7% di sovraccarico computazionale aggiuntivo. ...