Ero entusiasta di partecipare al keynote mattutino di PyTorchCon. Tante discussioni interessanti: RL è una delle frontiere più promettenti perché supera l'apprendimento per imitazione poiché apprende obiettivi e non dimostrazioni, scoprendo strategie oltre i dati di addestramento che l'apprendimento supervisionato non può raggiungere, come le tracce di ragionamento emergente di o1. Ma il pre-addestramento non è morto. Scoperte architettoniche come i modelli di diffusione per la codifica e DeltaNet che migliorano le prestazioni della memoria associativa sono frontiere promettenti. La mia filosofia è sostenere fondatori audaci che costruiscono alle frontiere, ad esempio Voyage AI che costruisce embedding vettoriali anni prima che la ricerca AI aziendale decollasse.