Il mio primo articolo accademico pubblicato riguardava la Legge di Moore e in questo momento lo sviluppo dell'AI sembra simile: l'esponenziale della Legge di Moore non è stato il risultato di una singola tecnologia, ma piuttosto di molte tecnologie diverse nel corso di molti decenni che erano pronte quando un approccio alla produzione di chip ha vacillato. Il ritmo regolare della Legge ha svolto una funzione di coordinamento affinché un gruppo in continua evoluzione di concorrenti fosse spinto a creare una profezia che si autoavvera di crescita continua delle capacità. Allo stesso modo, lo sviluppo dell'AI ha già incontrato una serie di ostacoli che dovevano essere superati con nuove tecniche e ricerche (approcci di dati sintetici, ragionamento, nuovi usi per il RL). Ma a meno che tu non sia un insider (o segua l'AI da vicino su X), non vedi quegli ostacoli: solo un progresso esponenziale costante. Data la quantità di denaro e talento nel settore, mi aspetto che anche se il pre-addestramento o qualsiasi altra cosa dovesse incontrare un muro, vedremo una rapida transizione dell'intera industria verso uno o più degli altri approcci che le persone stanno sviluppando. Puoi già vedere questo: lavoro su modelli mondiali, alternative agli LLM, nuovi metodi di addestramento, ecc. Anche ecosistemi alternativi che scommettono sull'ascesa di modelli piccoli e ben sintonizzati, ecc. Alcune di queste tecniche provengono da startup, altre vengono sviluppate nei laboratori di AI stessi. Le persone su X tendono a entrare nei dettagli, trattando l'AI come uno sport, facendo il tifo per o contro squadre e approcci. Ma su un arco di tempo ragionevole, è possibile che lo sviluppo dell'AI appaia come un'esponenziale fluida su molte metriche per tutti gli altri.