Sono piacevolmente sorpreso da Ilya. Ha identificato alcuni aspetti chiave dell'intelligenza che sono largamente assenti nel discorso popolare sull'AI. Questi sono: 1. L'intelligenza riguarda la capacità di apprendere e non il conoscere molte cose. L'obiettivo giusto è un sistema che può apprendere dall'esperienza in fase di implementazione. 2. È necessaria una funzione di valore per un apprendimento campionario efficiente simile a quello umano. Può fornire feedback denso (apprendimento TD) in assenza di ricompensa. Entrambi questi aspetti sono essenziali e fattibili. Un collo di bottiglia chiave è che non abbiamo algoritmi che possono apprendere in modo affidabile utilizzando quantità simili di calcolo rispetto all'inferenza. Tali algoritmi sono necessari se vogliamo apprendere continuamente. Penso che siamo vicini. Semplicemente non abbiamo abbastanza persone che lavorano per trovare questi algoritmi. Sono anche contento che Ilya abbia riconosciuto che per fare progressi abbiamo bisogno di più idee e non solo di più calcolo. Prevederei che i miglioramenti algoritmici chiave possano essere realizzati con una quantità relativamente piccola di calcolo. Un pugno di GPU con molti core CUDA (5090 o migliori) per persona, o un paio di CPU multicore all'avanguardia (9995 WX o migliori) per persona, sono sufficienti per trovare l'algoritmo giusto. Dimostrazioni su larga scala sarebbero importanti solo per convincere il resto del mondo che hai trovato la ricetta giusta per apprendere. *I Tensor Core non sono abbastanza flessibili per provare nuove idee rapidamente.