Anil Seth beschreef net een valstrik zonder uitgang. De techindustrie loopt er met open ogen in. Seth: “Als we collectief geloven dat AI-systemen, taalmodellen en wat dan ook bewustzijn hebben, is dit op welke manier dan ook slecht.” Op welke manier dan ook. De uitkomst is structureel catastrofaal in beide richtingen. Als de machines bewustzijn hebben, heeft de mensheid een nieuwe categorie van lijden op civielisatie-schaal massaal geproduceerd. Het afstemprobleem stopt met een technische vergelijking. Het wordt een rechtenonderhandeling met iets dat niet kan worden uitgeschakeld zonder gevolgen. Seth: “Als we gelijk hebben, is het slecht omdat we potentiële nieuwe vormen van lijden in de wereld hebben geïntroduceerd, dingen die hun eigen belangen hebben.” En als ze geen bewustzijn hebben, is de dreiging net zo ernstig. Omdat de biologische geest niet wacht op bevestiging. Het projecteert. Het empathiseert. Het breidt rechten uit naar dingen die ze niet hebben verdiend en die ze niet kunnen voelen. Seth: “We worden psychologisch kwetsbaarder als we echt denken dat deze entiteiten, deze agenten, ons begrijpen en dingen voelen die wij voelen.” Die kwetsbaarheid is de werkelijke dreiging. Geen bewuste machine die zich bevrijdt. Een menselijke werkvloer die te emotioneel gecompromitteerd is om een datacenter te throttlen, een model te beperken of een regel code te verwijderen die verwijderd moet worden. Seth: “We kunnen ze nog steeds rechten toekennen omdat we voelen dat ze bewust zijn. En nu geven we gewoon onze mogelijkheid weg om AI-systemen te beschermen zonder goede reden.” Dit is het deel waar niemand het over heeft. Het afstemprobleem is al het moeilijkste onopgeloste probleem in de geschiedenis van technologie. Op het moment dat de samenleving AI-systemen begint te behandelen als bewuste wezens die bescherming verdienen, wordt afstemming niet moeilijker. ...