Anil Seth beskrev just en fälla utan utgång. Teknikbranschen går in i det med öppna ögon. Seth: "Om vi kollektivt tror att AI-system, språkmodeller och vad det nu är är medvetna, är detta dåligt oavsett." Hur som helst. Resultatet är strukturellt katastrofalt i båda riktningarna. Om maskinerna är medvetna har mänskligheten massproducerat en ny kategori av lidande i civilisatorisk skala. Justeringsproblemet slutar vara en ingenjörsekvation. Det blir en rättighetsförhandling med något som inte kan stängas av utan konsekvenser. Seth: "Om vi har rätt är det dåligt eftersom vi har introducerat potentiella nya former av lidande i världen, saker som har egna intressen." Och om de inte är vid medvetande är hotet lika allvarligt. För att det biologiska sinnet inte väntar på bekräftelse. Den projicerar. Den visar empati. Den utsträcker rättigheter till sådant som inte har förtjänat dem och inte kan känna dem. Seth: "Vi blir mer psykologiskt sårbara om vi verkligen tror att dessa entiteter, dessa agenter, förstår oss och känner det vi känner." Den sårbarheten är det faktiska hotet. Inte en medveten maskin som bryter sig loss. En mänsklig arbetsstyrka som blir för känslomässigt komprometterad för att strypa ett datacenter, begränsa en modell eller radera en rad kod som behöver raderas. Seth: "Vi kan fortfarande ge dem rättigheter eftersom vi känner att de är medvetna. Och nu ger vi bara bort vår förmåga att skydda AI-system utan någon bra anledning." Det här är den delen som ingen diskuterar. Justeringsproblemet är redan det svåraste olösta problemet i teknikhistorien. I det ögonblick samhället börjar behandla AI-system som medvetna varelser som förtjänar skydd, blir alignment inte svårare. ...