In AI-discours lijkt er deze eeuwige dans te zijn tussen mensen die veel nadruk leggen op processen en mensen die zich richten op uitkomsten. Het lijkt vrij zichtbaar in het debat 'is het redeneren?'. Ik denk dat beiden op verschillende manieren gelijk hebben: natuurlijk redeneert een model in zekere zin, en functioneel maakt het me niet echt uit of het mechanisme dat leidt tot de CoT en output niet analoog is aan hoe biologische hersenen het doen. Maar er zijn ook belangrijke overwegingen over de soorten redenering die worden gebruikt, de rationale voor bepaalde gekozen logische ketens, en de mate waarin deze robuust generaliseren in situaties buiten de distributie. De 'procesmensen' zijn niet altijd blinde tegenstanders, en de 'functionele equivalentie' mensen zijn ook niet fundamenteel onjuist. De procesfouten (bijv. R in aardbeien) waren vroeger gemakkelijker te vangen, en veel 'ideologische sceptici' vertrouwen op hen om allerlei ongefundeerde claims te maken, wat het verleidelijk maakt voor 'narratieve activisten' om proceszorgen volledig af te wijzen. Het is duidelijk dat de modellen in een ongelooflijk tempo verbeteren, en dat is geweldig. Maar er blijven fouten of lacunes in het proces waardoor een uitkomst wordt gegenereerd; dit is minder een probleem in codering, wiskunde, formele logica of gebieden waar verificatie gemakkelijk is, maar meer in vager domeinen waar we diversiteit van processen waarderen precies omdat we de 'juiste manier' niet weten, voor zover er zelfs maar één is. Bij mensen had je deze culturele en wetenschappelijke evolutie die in de loop van de tijd heuristieken en mechanismen verfijnt; ik denk dat het belangrijk is dat we een zekere mate van modelmultipliciteit en cognitieve diversiteit met modellen behouden. Als je hard genoeg optimaliseert op alleen uitkomsten, kun je gemakkelijk convergeren op redeneringsmonoculturen die goed presteren binnen de distributie maar falen in precies de situaties waarin diverse redeneringsbenaderingen nuttige signalen zouden hebben gegenereerd. Daarom ben ik zo enthousiast over de 'laat duizend bloemen bloeien'-benadering voor normatieve afstemming, en over het algemeen volhardend dat een veel bredere set mensen en groepen in staat moet zijn om modellen aan te passen en af te stemmen, voorbij wie er toevallig in staat is om dat te doen in de laboratoria. Natuurlijk kan veel menselijke cognitieve diversiteit ook ruis zijn, zoals gemotiveerd redeneren, systematische vooroordelen en culturele padafhankelijkheden die de waarheid niet volgen, dus je wilt niet alleen diversiteit om de diversiteit. Je hebt verificatiemechanismen nodig die daadwerkelijk redenering onder druk zetten: bijv. adversariale samenwerkingen worden te weinig gebruikt. Je hebt instellingen nodig die zijn ontworpen om waarheidszoekend gedrag te bevorderen, wat oprecht moeilijk te bouwen is, evenals sterke culturele en juridische bescherming voor de ideeënmarkt, die steeds meer onder druk staat. En je hebt bredere epistemische infrastructuur nodig: er is een enorme hoeveelheid die we zouden kunnen doen om te verbeteren hoe wetenschap wordt gedaan.