Am ascultat asta și postarea lui Gavin despre AI. Pare foarte încrezător că legile de scalare înainte de antrenament sunt valabile și eu doar... Nu ești atât de sigur? Argumentul este foarte concentrat pe progresele în procesarea de pre-antrenare a procesului de calcul, dar, din punct de vedere definitoriu, trebuie să existe creșteri corespunzătoare ale datelor pentru a se scala, nu? Deoarece știm cu toții faimoasa frază a lui Ilya despre datele pre-antrenament, întrebarea mea este, desigur, de unde provin aceste date? Se pare că oamenii indică ideea ca datele sintetice să fie reintroduse în pre-antrenament, dar această idee nu mi-a părut niciodată corectă. Am avut această intuiție că un model care își creează propriile date pentru a se antrena înainte ar trebui să ducă la un sistem dezordonat de ouroboros, incapabil să progreseze. Este învățarea izolată, neexpusă la date noi de la diferiți creatori. DAR, de fapt, nu am citit niciun articol despre beneficiile sau limitările modelelor pre-antrenament pe date sinergetice auto-generate. Mai are cineva această idee și/sau această cercetare la care să se îndrume? Și voi menționa că este specific pentru pre-training, nu SFT, post-training etc.