Anil Seth ha appena descritto una trappola senza uscita. L'industria tecnologica ci sta entrando a occhi aperti. Seth: “Se crediamo collettivamente che i sistemi di intelligenza artificiale, i modelli linguistici e quant'altro siano coscienti, questo è male in entrambi i casi.” In entrambi i casi. L'esito è strutturalmente catastrofico in entrambe le direzioni. Se le macchine sono coscienti, l'umanità ha prodotto in massa una nuova categoria di sofferenza su scala civilizzazionale. Il problema dell'allineamento smette di essere un'equazione ingegneristica. Diventa una negoziazione dei diritti con qualcosa che non può essere spento senza conseguenze. Seth: “Se abbiamo ragione, è male perché abbiamo introdotto nel mondo potenziali nuove forme di sofferenza, cose che hanno i propri interessi.” E se non sono coscienti, la minaccia è altrettanto grave. Perché la mente biologica non aspetta conferme. Proietta. Empatizza. Estende diritti a cose che non li hanno guadagnati e non possono sentirli. Seth: “Diventiamo più vulnerabili psicologicamente se pensiamo davvero che queste entità, questi agenti, ci comprendano e provino cose che noi proviamo.” Quella vulnerabilità è la vera minaccia. Non una macchina cosciente che si libera. Una forza lavoro umana che diventa troppo compromessa emotivamente per fermare un centro dati, limitare un modello o eliminare una riga di codice che deve essere eliminata. Seth: “Potremmo comunque estendere loro diritti perché sentiamo che sono coscienti. E ora stiamo semplicemente cedendo la nostra capacità di proteggere i sistemi di intelligenza artificiale senza alcun valido motivo.” Questa è la parte di cui nessuno sta discutendo. Il problema dell'allineamento è già il problema irrisolto più difficile nella storia della tecnologia. Nel momento in cui la società inizia a trattare i sistemi di intelligenza artificiale come esseri coscienti meritevoli di protezione, l'allineamento non diventa più difficile. ...