Als je je afvraagt of het verzadigen van ARC-AGI-1 of 2 betekent dat we nu AGI hebben... verwijs ik je naar wat ik zei toen we ARC-AGI-2 vorig jaar lanceerden (wat ook hetzelfde is als wat ik zei toen we aankondigden dat ARC-AGI-2 eraan kwam, in de lente van 2022, vóór de opkomst van LLM-chatbots)... De ARC-AGI-serie is geen AGI-drempel, het is een kompas dat de onderzoeksgemeenschap wijst op de juiste vragen. ARC-AGI-1 is een minimale test van vloeibare intelligentie -- om te slagen moest je niet-nul vloeibare intelligentie tonen. Dit vereiste dat AI voorbij het klassieke deep learning / LLM-paradigma van pretraining-schaalvergroting + statische modellen bij inferentie ging, naar testtijdadaptatie. ARC-AGI-2 is hetzelfde, maar met taken die dieper niveau van redeneervaardigheid onderzoeken (vooral met betrekking tot conceptcompositie). Toch zijn dit taken die in enkele minuten door gewone mensen zonder extern hulpmiddel kunnen worden opgelost (we hebben onze testdeelnemers van de straat gehaald), dus het vertegenwoordigt niet de bovenste grens van wat menselijke vloeibare intelligentie kan bereiken (bijvoorbeeld het oplossen van een Millenniumprobleem). ARC-AGI-3 (lancering maart 2026) onderzoekt interactieve redeneervaardigheid: we evalueren hoe systemen onbekende omgevingen verkennen, deze modelleren, hun eigen doelen stellen en plannen/uitvoeren naar deze doelen, autonoom, zonder instructies. We zijn ook begonnen met het werk aan ARC-AGI-4 en ARC-AGI-5, waar ik behoorlijk enthousiast over ben!

2024: AI is de co-piloot 2025+: mensen zijn de co-piloot Co-piloot is de nieuwe engineering vaardigheid. Het is niet gemakkelijk om de bestuurdersstoel te verlaten - we moeten leren om op de AI-manier te denken en ons aan te passen aan de vreemde workflows. Help AI ons te helpen.