Min første publiserte akademiske artikkel handlet om Moores lov, og akkurat nå ser AI-utviklingen lik ut: eksponentialen av Moores lov var ikke resultatet av én enkelt teknologi, men mange forskjellige teknologier over mange tiår som var klare da én chip-produksjonsmetode sviktet. Lovens faste tempo fungerte som en koordinerende funksjon slik at en stadig skiftende gruppe konkurrenter ble presset til å skape en selvoppfyllende profeti om kontinuerlig kompetansevekst. På samme måte har AI-utviklingen allerede støtt på en rekke hindringer som måtte overvinnes med nye teknikker og forskning (syntetiske datatilnærminger, resonnement, nye bruksområder for RL). Men med mindre du er en insider (eller følger AI tett på X), ser du ikke disse fartsdumpene: bare jevn eksponentiell fremgang. Gitt mengden penger og talent i bransjen, forventer jeg at selv om forhåndsopplæring eller lignende støter på veggen, vil vi se en rask overgang av hele bransjen til en eller flere av de mange andre tilnærmingene folk utvikler. Du kan allerede se dette: arbeid med verdensmodeller, alternativer til LLM-er, nye treningsmetoder, osv. Selv alternative økosystemer som satser på fremveksten av små, finjusterte modeller, osv. Noen av disse teknikkene kommer fra oppstartsbedrifter, andre utvikles i AI-laboratoriene selv. Folk på X har en tendens til å gå inn i detaljene, behandler AI som en sport, heier på eller mot lag og tilnærminger. Men over en rimelig tidsperiode er det mulig at AI-utvikling fremstår som en jevn eksponentiell effekt på mange måleparametere for alle andre.