Ich bin angenehm überrascht von Ilya. Er hat einige Schlüsselaspekte der Intelligenz identifiziert, die im populären AI-Diskurs weitgehend fehlen. Diese sind: 1. Intelligenz bedeutet die Fähigkeit zu lernen und nicht, viele Dinge zu wissen. Das richtige Ziel ist ein System, das aus Erfahrungen im Einsatz lernen kann. 2. Eine Wertfunktion ist notwendig für ein menschenähnliches, sample-effizientes Lernen. Sie kann dichte Rückmeldungen (TD-Lernen) in Abwesenheit von Belohnungen geben. Beides ist wesentlich und machbar. Ein entscheidender Engpass ist, dass wir keine Algorithmen haben, die zuverlässig lernen können, während sie ähnliche Rechenressourcen wie bei der Inferenz verwenden. Solche Algorithmen sind notwendig, wenn wir kontinuierlich lernen wollen. Ich denke, wir sind nah dran. Wir haben nur nicht genug Menschen, die daran arbeiten, diese Algorithmen zu finden. Ich freue mich auch, dass Ilya anerkannt hat, dass wir für Fortschritte mehr Ideen und nicht nur mehr Rechenleistung benötigen. Ich würde vorhersagen, dass die entscheidenden algorithmischen Verbesserungen mit einer relativ kleinen Menge an Rechenleistung erzielt werden können. Eine Handvoll GPUs mit vielen CUDA-Kernen (5090 oder besser) pro Person oder ein paar hochmoderne Multicore-CPUs (9995 WX oder besser) pro Person sind ausreichend, um den richtigen Algorithmus zu finden. Großangelegte Demonstrationen wären nur wichtig, um den Rest der Welt davon zu überzeugen, dass Sie das richtige Rezept für das Lernen gefunden haben. *Tensor-Kerne sind nicht flexibel genug, um neue Ideen schnell auszuprobieren.