Prima mea lucrare academică publicată a fost despre Legea lui Moore, iar în prezent dezvoltarea AI arată similar: exponențialitatea Legii lui Moore nu a fost rezultatul unei singure tehnologii, ci mai degrabă a multor tehnologii diferite de-a lungul multor decenii, care erau pregătite când o abordare de fabricare a cipurilor a eșuat. Ritmul regulat al Legii servea ca o funcție de coordonare, astfel încât un grup mereu schimbător de concurenți era presat să creeze o profeție autoîmplinită de creștere continuă a capacităților. În mod similar, dezvoltarea AI a întâmpinat deja o serie de obstacole care au trebuit depășite prin noi tehnici și cercetări (abordări de date sintetice, raționament, noi utilizări pentru RL). Dar, dacă nu ești un insider (sau nu urmărești AI îndeaproape pe X), nu vezi acele obstacole: doar progres constant și exponențial. Având în vedere cantitatea de bani și talente din domeniu, mă aștept ca, chiar dacă pre-training sau orice altceva se lovește de un obstacol, vom vedea o tranziție rapidă a întregii industrii către una sau mai multe dintre multele alte abordări pe care oamenii le dezvoltă. Poți vedea deja asta: lucrează la modele de lume, alternative la LLM-uri, noi metode de antrenament etc. Chiar și ecosisteme alternative care pariază pe apariția unor modele mici, bine ajustate, etc. Unele dintre aceste tehnici provin de la startup-uri, altele sunt dezvoltate chiar în laboratoarele AI. Oamenii de pe X tind să intre în detalii, tratând AI-ul ca pe un sport, susținând sau contraatacând echipele și abordările. Dar, pe o perioadă rezonabilă de timp, este posibil ca dezvoltarea AI să pară o exponențială fluidă pe multe metrici pentru toți ceilalți.