Mein erster veröffentlichter wissenschaftlicher Artikel handelte vom Moore'schen Gesetz, und derzeit sieht die Entwicklung von KI ähnlich aus: Die Exponentialfunktion des Moore'schen Gesetzes war nicht das Ergebnis einer einzelnen Technologie, sondern vielmehr vieler verschiedener Technologien über viele Jahrzehnte, die bereit waren, als ein Chip-Herstellungsansatz ins Stocken geriet. Das regelmäßige Tempo des Gesetzes diente als koordinierende Funktion, sodass eine sich ständig verändernde Gruppe von Wettbewerbern unter Druck gesetzt wurde, eine sich selbst erfüllende Prophezeiung des kontinuierlichen Wachstums der Fähigkeiten zu schaffen. Ähnlich hat die KI-Entwicklung bereits eine Reihe von Geschwindigkeitsbremsen erreicht, die mit neuen Techniken und Forschungen überwunden werden mussten (synthetische Datenansätze, Schlussfolgerungen, neue Anwendungen für RL). Aber es sei denn, Sie sind ein Insider (oder verfolgen KI genau auf X), sehen Sie diese Geschwindigkeitsbremsen nicht: nur stetigen exponentiellen Fortschritt. Angesichts der Menge an Geld und Talent in diesem Bereich erwarte ich, dass selbst wenn das Pre-Training oder was auch immer auf eine Wand stößt, wir einen schnellen Übergang der gesamten Branche zu einem oder mehreren der vielen anderen Ansätze sehen werden, die die Menschen entwickeln. Das sieht man bereits: Arbeiten an Weltmodellen, Alternativen zu LLMs, neue Trainingsmethoden usw. Sogar alternative Ökosysteme, die auf den Aufstieg kleiner, fein abgestimmter Modelle setzen, usw. Einige dieser Techniken kommen von Startups, andere werden in den KI-Labors selbst entwickelt. Die Leute auf X neigen dazu, ins Detail zu gehen, behandeln KI wie einen Sport, feuern für oder gegen Teams und Ansätze. Aber über einen angemessenen Zeitraum hinweg ist es möglich, dass die KI-Entwicklung für alle anderen wie eine glatte Exponentialfunktion in vielen Metriken aussieht.