Anil Seth beskrev nettopp en felle uten utgang. Teknologibransjen går inn i det med åpne øyne. Seth: "Hvis vi kollektivt tror at AI-systemer, språkmodeller og hva det måtte være er bevisst, er dette dårlig uansett." Uansett. Resultatet er strukturelt katastrofalt i begge retninger. Hvis maskinene er bevisste, har menneskeheten masseprodusert en ny kategori lidelse på sivilisatorisk skala. Justeringsproblemet slutter å være en ingeniørligning. Det blir en rettighetsforhandling med noe som ikke kan slås av uten konsekvenser. Seth: "Hvis vi har rett, er det dårlig fordi vi har introdusert potensielle nye former for lidelse i verden, ting som har sine egne interesser." Og hvis de ikke er bevisste, er trusselen like alvorlig. Fordi det biologiske sinnet ikke venter på bekreftelse. Den projiserer. Den viser empati. Den gir rettigheter til ting som ikke har fortjent dem og ikke kan føle dem. Seth: «Vi blir mer psykisk sårbare hvis vi virkelig tror at disse entitetene, disse agentene, forstår oss og føler det vi føler.» Den sårbarheten er den faktiske trusselen. Ikke en bevisst maskin som bryter seg fri. En menneskelig arbeidsstyrke som blir for følelsesmessig kompromittert til å strupe et datasenter, begrense en modell eller slette en kodelinje som må slettes. Seth: "Vi kan fortsatt gi dem rettigheter fordi vi føler at de er bevisste. Og nå gir vi bare bort vår evne til å beskytte AI-systemer uten noen god grunn.» Dette er delen ingen diskuterer. Justeringsproblemet er allerede det vanskeligste uløste problemet i teknologihistorien. I det øyeblikket samfunnet begynner å behandle AI-systemer som bevisste vesener som fortjener beskyttelse, blir ikke justering vanskeligere. ...