Mijn eerste gepubliceerde academische paper ging over de wet van Moore en op dit moment lijkt de ontwikkeling van AI vergelijkbaar: de exponentiële groei van de wet van Moore was niet het resultaat van een enkele technologie, maar eerder van veel verschillende technologieën over vele decennia die klaar waren toen een bepaalde chipproductiemethode faalde. Het regelmatige tempo van de wet diende als een coördinerende functie, zodat een steeds veranderende groep concurrenten onder druk stond om een zelfvervullende voorspelling van voortdurende capaciteitsgroei te creëren. Evenzo heeft de ontwikkeling van AI al een aantal hobbels moeten nemen die overwonnen moesten worden met nieuwe technieken en onderzoek (synthetische data-aanpakken, redeneren, nieuwe toepassingen voor RL). Maar tenzij je een insider bent (of AI nauwlettend volgt op X), zie je die hobbels niet: alleen een gestage exponentiële vooruitgang. Gezien de hoeveelheid geld en talent in de sector, verwacht ik dat zelfs als pre-training of wat dan ook tegen een muur aanloopt, we een snelle overgang van de hele industrie naar een of meer van de vele andere benaderingen die mensen ontwikkelen, zullen zien. Je kunt dit al zien: werk aan wereldmodellen, alternatieven voor LLM's, nieuwe trainingsmethoden, enz. Zelfs alternatieve ecosystemen die inzetten op de opkomst van kleine, fijn afgestelde modellen, enz. Sommige van deze technieken komen van startups, andere worden ontwikkeld in de AI-laboratoria zelf. Mensen op X hebben de neiging om in de details te duiken, AI als een sport te beschouwen, en te juichen voor of tegen teams en benaderingen. Maar over een redelijke tijdspanne kan het zijn dat de ontwikkeling van AI voor iedereen anders eruitziet als een soepele exponentiële groei op veel metrics.