Ilya presiserte og la til innholdet i intervjuet: > Det er ett punkt i intervjuet som jeg ikke gjorde klart, vil jeg legge til: > Å fortsette å skalere på nåværende måte – heap-datakraft, heap-data, heap-treningsmiljø – vil definitivt føre til forbedringer. Det vil ikke stagnere og vil fortsette å bli bedre. > Men det vil alltid være noe viktig som er en ulempe. Dette retter opp en mulig misforståelse. I intervjuet sa han mange ord som «å gå tilbake til forskningstiden» og «dagens metoder vil møte en vegg», noe som får folk til å tro at han synger dårlig skaleringslov og at det å fortsette å samle datakraft, data og RL-trening vil være ineffektivt. Han sa at dette ikke var det han mente, og at den nåværende veien vil fortsette å gi forbedringer og ikke stagnere. Modellen vil fortsette å bli sterkere, referanseindeksen vil fortsette å stige, produktet vil fortsette å iterere, og selskapet vil fortsette å tjene penger. Legg merke til «men» på slutten Det er noen ting du ikke får til i stor skala. Det er som om du løper en sprint. Hvis du fortsetter å trene, vil prestasjonen din forbedres, fra 12 sekunder til 11,5 sekunder, til 11 sekunder, eller til og med 10,9 sekunder. Dette er virkelig fremgang. Men hvis målet ditt er å lære å fly, spiller det ingen rolle hvor fort du løper, det krever en helt annen evne. Hva mangler? Kombinert med innholdet i intervjuet bør denne «viktige manglingen» referere til: 1. Sann generaliseringsevne Det er ikke slik at du kan gjøre mange oppgaver etter trening på enorme data, men du kan raskt lære nye ting med lite erfaring, og det du lærer er stabilt og pålitelig i nye situasjoner. 2. Effektiv læring Antropologi kan jobbe på 10 timer ved å kjøre bil og lære programmering på noen måneder. Denne effektiviteten kan ikke oppnås ved å forhåndstrene massive data. Analogien med de «to studentene» i intervjuet er veldig talende. Elever som øver på 10 000 timer med spørsmål, kan faktisk fortsette å forbedre konkurranseprestasjonene sine, fra topp 10 % til topp 1 % til mesteren, noe som er reell fremgang. Men han vil aldri bli den studenten som viser «forståelse» etter bare 100 timer med øving.