Ilya ha fatto delle chiarificazioni e aggiunte riguardo al contenuto della sua intervista: > C'è un punto nell'intervista che non ho spiegato chiaramente, aggiungo: > Continuare a scalare con il metodo attuale—accumulando potenza di calcolo, dati e ambienti di addestramento—porterà sicuramente a miglioramenti. Non ci fermeremo, continueremo a migliorare. > Tuttavia, ci sarà sempre qualcosa di importante che manca. Questo è per correggere un possibile malinteso. Durante l'intervista ha detto molte cose come "tornare all'era della ricerca" e "il metodo attuale si scontrerà con un muro", il che può far pensare che stia sminuendo la legge di scaling, facendo credere che continuare ad accumulare potenza di calcolo, dati e addestramento RL fallirà. Ha detto che non è questo il suo significato, il percorso attuale continuerà a portare miglioramenti, non si fermerà. I modelli continueranno a diventare più forti, i benchmark continueranno a salire, i prodotti continueranno a iterare, e l'azienda continuerà a guadagnare. Nota il "tuttavia" alla fine. Ci sono alcune cose che non puoi ottenere, indipendentemente da quanto scalare. È come se stessi praticando la corsa veloce. Continuando ad allenarti, i tuoi risultati miglioreranno, passando da 12 secondi a 11,5 secondi, poi a 11 secondi, fino a 10,9 secondi. Questo è un vero progresso. Ma se il tuo obiettivo è imparare a volare, non importa quanto veloce corri, non servirà, avrai bisogno di abilità completamente diverse. Cosa manca? In base al contenuto dell'intervista, questa "importante mancanza" dovrebbe riferirsi a: 1. Vera capacità di generalizzazione Non è solo essere in grado di svolgere molti compiti dopo un addestramento su enormi quantità di dati, ma è essere in grado di apprendere rapidamente cose nuove da poche esperienze e che ciò che si impara sia stabile e affidabile in nuovi scenari. 2. Apprendimento efficiente Gli esseri umani imparano a guidare in 10 ore, e imparano a programmare in pochi mesi per poter lavorare. Questa efficienza non può essere ottenuta accumulando enormi quantità di dati in pre-addestramento. L'analogia dei "due studenti" nell'intervista illustra bene il problema. Uno studente che pratica per diecimila ore può effettivamente continuare a migliorare i suoi risultati nelle competizioni, passando dal 10% al 1% fino a diventare campione, questo è un vero progresso. Ma non potrà mai diventare quello studente che mostra "intelligenza" dopo solo 100 ore di pratica.