Dario Amodei zei op het WEF dat hij op het punt stond de sequel van Machines of Loving Grace te publiceren. Het zal vandaag worden uitgebracht, en Axios kreeg een vroege blik van Anthropic. Het is getiteld 'De Adolescentie van Technologie: De Risico's van Krachtige AI Confronteren en Overwinnen.'

Enkele citaten: ' Ik geloof dat we een overgangsritueel binnengaan, zowel turbulent als onvermijdelijk, dat zal testen wie we zijn als soort. De mensheid staat op het punt bijna onvoorstelbare macht te krijgen, en het is diep onduidelijk of onze sociale, politieke en technologische systemen de volwassenheid bezitten om het te hanteren.'

'We zijn nu op het punt waar AI-modellen beginnen vooruitgang te boeken in het oplossen van onopgeloste wiskundige problemen, en goed genoeg zijn in coderen dat sommige van de sterkste ingenieurs die ik ooit heb ontmoet nu bijna al hun codering aan AI overdragen. Drie jaar geleden had AI moeite met elementaire rekenproblemen en was het nauwelijks in staat om een enkele regel code te schrijven. Vergelijkbare verbeteringspercentages vinden plaats in de biologische wetenschap, financiën, natuurkunde en een verscheidenheid aan agentische taken. Als de exponentiële groei doorgaat—wat niet zeker is, maar nu een tienjarige staat van dienst heeft die het ondersteunt—dan kan het onmogelijk meer dan een paar jaar duren voordat AI beter is dan mensen in essentie alles. In feite onderschat die afbeelding waarschijnlijk de waarschijnlijke snelheid van vooruitgang. Omdat AI nu een groot deel van de code bij Anthropic schrijft, versnelt het al aanzienlijk de snelheid van onze vooruitgang in het bouwen van de volgende generatie AI-systemen. Deze feedbacklus wint maand na maand aan kracht, en kan slechts 1–2 jaar verwijderd zijn van een punt waarop de huidige generatie AI autonoom de volgende bouwt. Deze lus is al begonnen, en zal snel versnellen in de komende maanden en jaren. Terwijl ik de afgelopen 5 jaar van vooruitgang van binnenuit Anthropic heb bekeken, en kijk naar hoe zelfs de komende maanden van modellen zich vormen, kan ik het tempo van vooruitgang voelen, en de klok die aftelt.'

'Het is enigszins ongemakkelijk om dit te zeggen als de CEO van een AI-bedrijf, maar ik denk dat de volgende laag van risico eigenlijk de AI-bedrijven zelf zijn. AI-bedrijven beheren grote datacenters, trainen geavanceerde modellen, hebben de grootste expertise in het gebruik van die modellen en hebben in sommige gevallen dagelijks contact met en de mogelijkheid om invloed uit te oefenen op tientallen of honderden miljoenen gebruikers. Het belangrijkste dat ze missen, is de legitimiteit en infrastructuur van een staat, dus veel van wat nodig zou zijn om de tools van een AI-autocratie te bouwen, zou illegaal zijn voor een AI-bedrijf om te doen, of op zijn minst uiterst verdacht. Maar sommige dingen zijn niet onmogelijk: ze zouden bijvoorbeeld hun AI-producten kunnen gebruiken om hun enorme consumentenbasis te hersenspoelen, en het publiek moet alert zijn op het risico dat dit met zich meebrengt. Ik denk dat het bestuur van AI-bedrijven veel aandacht verdient.'

'Zoals gesuggereerd door de uitdrukking “land van genieën in een datacenter,” zal AI in staat zijn tot een zeer breed scala aan menselijke cognitieve vermogens—misschien zelfs alle. Dit is heel anders dan eerdere technologieën zoals gem mechaniseerde landbouw, transport of zelfs computers. Dit zal het moeilijker maken voor mensen om gemakkelijk over te schakelen van banen die worden verdrongen naar vergelijkbare banen waarvoor ze goed geschikt zouden zijn. Bijvoorbeeld, de algemene intellectuele vaardigheden die vereist zijn voor instapbanen in, laten we zeggen, financiën, consulting en recht zijn vrij vergelijkbaar, ook al is de specifieke kennis behoorlijk verschillend. Een technologie die slechts één van deze drie verstoort, zou werknemers in staat stellen om over te schakelen naar de twee andere nauwe substituten (of voor studenten om van major te wisselen). Maar het verstoren van alle drie tegelijk (samen met veel andere vergelijkbare banen) kan moeilijker zijn voor mensen om zich aan te passen. Bovendien is het niet alleen zo dat de meeste bestaande banen zullen worden verstoord. Dat deel is eerder gebeurd—denk eraan dat landbouw een enorm percentage van de werkgelegenheid was. Maar boeren konden overstappen naar het relatief vergelijkbare werk van het bedienen van fabrieksmachines, ook al was dat werk daarvoor niet gebruikelijk. In tegenstelling tot dat, komt AI steeds meer overeen met het algemene cognitieve profiel van mensen, wat betekent dat het ook goed zal zijn in de nieuwe banen die normaal gesproken zouden worden gecreëerd als reactie op het automatiseren van de oude. Een andere manier om het te zeggen is dat AI geen vervanging is voor specifieke menselijke banen, maar eerder een algemene arbeidsvervanger voor mensen.'

'Bijvoorbeeld, in het coderen zijn onze modellen geëvolueerd van het niveau van “een middelmatige coder” naar “een sterke coder” naar “een zeer sterke coder.” We beginnen nu dezelfde vooruitgang te zien in de witteboordenarbeid in het algemeen. We lopen dus het risico op een situatie waarin, in plaats van mensen met specifieke vaardigheden of in specifieke beroepen te beïnvloeden (die zich kunnen aanpassen door bijscholing), AI mensen met bepaalde intrinsieke cognitieve eigenschappen beïnvloedt, namelijk een lagere intellectuele capaciteit (wat moeilijker te veranderen is). Het is niet duidelijk waar deze mensen naartoe zullen gaan of wat ze zullen doen, en ik maak me zorgen dat ze een werkloze of zeer laagbetaalde “onderklasse” zouden kunnen vormen.'

Anthropic is van plan om werknemers aan te houden, zelfs nadat ze 'geen economische waarde meer bieden in de traditionele zin.' 'Derde, bedrijven zouden moeten nadenken over hoe ze voor hun werknemers kunnen zorgen. Op korte termijn kan creatief zijn over manieren om werknemers binnen bedrijven opnieuw in te zetten een veelbelovende manier zijn om de noodzaak voor ontslagen te vermijden. Op lange termijn, in een wereld met enorme totale rijkdom, waarin veel bedrijven enorm in waarde toenemen door verhoogde productiviteit en kapitaalconcentratie, kan het haalbaar zijn om menselijke werknemers zelfs lang nadat ze geen economische waarde meer bieden in de traditionele zin, te betalen. Anthropic overweegt momenteel een reeks mogelijke paden voor onze eigen werknemers die we in de nabije toekomst zullen delen.'

'Alle medeoprichters van Anthropic hebben beloofd 80% van onze rijkdom te doneren.'

Sommige zware waarheden, ik ben het hier volledig mee eens en heb soortgelijke dingen vaak gezegd. 'Bovendien zouden de afgelopen jaren duidelijk moeten maken dat het idee om de technologie te stoppen of zelfs aanzienlijk te vertragen fundamenteel onhoudbaar is. De formule voor het bouwen van krachtige AI-systemen is ongelooflijk eenvoudig, zozeer zelfs dat het bijna gezegd kan worden dat het spontaan voortkomt uit de juiste combinatie van gegevens en ruwe berekeningen. De creatie ervan was waarschijnlijk onvermijdelijk op het moment dat de mensheid de transistor uitvond, of misschien zelfs eerder toen we voor het eerst leerden vuur te beheersen. Als één bedrijf het niet bouwt, zullen anderen dat bijna net zo snel doen. Als alle bedrijven in democratische landen zouden stoppen of de ontwikkeling zouden vertragen, door wederzijdse overeenstemming of regelgevende decreten, zouden autoritaire landen gewoon doorgaan. Gezien de ongelooflijke economische en militaire waarde van de technologie, samen met het gebrek aan enige betekenisvolle handhavingsmechanisme, zie ik niet in hoe we hen ooit zouden kunnen overtuigen om te stoppen.'

Geweldige dingen, het is zeker de moeite waard om het hele stuk te lezen. "De jaren die voor ons liggen zullen onvoorstelbaar moeilijk zijn, en vragen meer van ons dan we denken te kunnen geven. Maar in mijn tijd als onderzoeker, leider en burger, heb ik genoeg moed en nobelheid gezien om te geloven dat we kunnen winnen - dat wanneer we in de donkerste omstandigheden worden geplaatst, de mensheid op de een of andere manier, schijnbaar op het laatste moment, de kracht en wijsheid weet te verzamelen die nodig is om te overwinnen. We hebben geen tijd te verliezen."