Philip Clark (@PJClark), Partner di Thrive Capital (@ThriveCapital), attinge agli investimenti in OpenAI, Cursor, Physical Intelligence e al suo background nei semiconduttori per delineare 3 grandi insegnamenti sullo stato dello sviluppo dell'AI: 1.) I progressi dell'AI non sono lineari. Arrivano in onde architettoniche, proprio come il silicio. L'analogia di Philip con i semiconduttori riformula il progresso dell'AI come una sequenza di cambiamenti di paradigma simili all'hardware. Quando un percorso raggiunge il suo limite (single-core → multi-core; pre-training → post-training), emerge una nuova architettura. L'AI non sta evolvendo attraverso una messa a punto incrementale.. sta avanzando attraverso reinvenzioni strutturali. 2.) L'apprendimento per rinforzo è la prossima era architettonica (per ora) Philip inquadra l'apprendimento per rinforzo come il successore del post-training: una nuova base, non un'ottimizzazione. Ma, in modo critico, sottolinea che non sarà l'ultima. Proprio come l'hardware ha continuato a passare da single-core a multi-core a GPU, l'AI sperimenterà molteplici onde di paradigma, ognuna delle quali sblocca nuovi limiti di prestazione. L'apprendimento per rinforzo è semplicemente la prossima onda, non l'ultima. 3.) Il vantaggio competitivo di OpenAI non sono i modelli.. è la sua capacità di continuare a scoprire il prossimo paradigma. Philip sostiene che il vantaggio principale è a monte del prodotto: ogni grande innovazione architettonica nei grandi modelli è originata da OpenAI. La loro difendibilità deriva dall'inventare ripetutamente "la prossima cosa" mentre simultaneamente operazionalizzano quella precedente.. una combinazione rara in qualsiasi settore, per non parlare di uno definito da salti discontinui. . . . Molly: "Uno degli sponsor che sponsorizza con orgoglio Sourcery è @turingcom, e quindi ho avuto esposizione al lato della ricerca sull'AI—un acceleratore di ricerca sull'AI [abbiamo intervistato il CEO, @jonsidd]. Aiutano con i modelli. E in questo momento, stanno notando un cambiamento severo nell'ultimo trimestre o due, da dati di imitazione e dati sintetici all'apprendimento per rinforzo. Quindi sono curiosa di sapere come lo stai vedendo dal lato tecnico, e poi anche dal lato applicativo?" Philip: "Penso che l'AI sia un po' come i semiconduttori in un certo senso—se mi è permesso tornare ai semiconduttori, il grande punto di riferimento. Nel senso che ci sono molte, molte onde mentre cerchiamo di ottenere prestazioni sempre migliori. Sai, con i semiconduttori, una volta avevamo semiconduttori single-core. Poi non riuscivamo praticamente a spremere nulla di più da un singolo core, e quindi siamo passati ai multi-core. E poi siamo passati alle GPU. E penso che stiamo vedendo qualcosa di molto simile con l'AI, che è che siamo partiti dal pre-training nell'era di GPT-1, GPT-2, GPT-3. Questo ci ha portato a GPT-4. Poi abbiamo iniziato a utilizzare molte tecniche di post-training per ChatGPT—fine-tuning supervisionato, apprendimento per rinforzo con feedback umano. Questo è ciò che ha permesso ai modelli di essere meno intelligenze aliene e più assistenti utili. E ora, poiché gran parte della frutta a basso costo da quei guadagni è stata spremuta (anche se probabilmente c'è ancora molto da fare), l'apprendimento per rinforzo è stato il prossimo grande cambiamento di paradigma nell'AI e dove stanno andando molte delle risorse....