Questo passaggio nell'articolo del New Yorker sul conflitto di Anthropic DOW di ieri, incluso un botta e risposta tra il giornalista (Gideon Lewis-Kraus) e un funzionario anonimo dell'amministrazione, rimarrà impresso nella mia mente a lungo. "Dobbiamo anche ricordare che la Cyberdyne Systems ha creato Skynet per il governo. Doveva aiutare l'America a dominare i suoi nemici. Non è andata esattamente come previsto. Il governo pensa che sia assurdo. Ma il Pentagono non ha cercato di costruire un'A.I. allineata, e Anthropic sì. Sei a conoscenza, ho chiesto al funzionario dell'amministrazione, di un recente esperimento di Anthropic in cui Claude è ricorso a ricatti—e persino omicidi—come atto di autodifesa? Era stato condotto esplicitamente per convincere persone come lui. Come mi ha detto un membro del team di scienza dell'allineamento di Anthropic la scorsa estate, "Lo scopo dell'esercizio di ricatto era avere qualcosa da descrivere ai responsabili politici—risultati che sono abbastanza viscerali da colpire le persone e rendere il rischio di disallineamento effettivamente saliente nella pratica per le persone che non ci avevano mai pensato prima." Il funzionario era a conoscenza dell'esperimento, mi ha assicurato, e lo trovava davvero preoccupante—ma in un modo simile a come si potrebbe preoccuparsi per un pezzo particolarmente brutto di malware su internet. Era perfettamente sicuro, mi ha detto, che "lo scenario di ricatto di Claude è solo un'altra vulnerabilità dei sistemi che può essere affrontata con l'ingegneria"—un errore software. Forse ha ragione. Potremmo avere solo un'opportunità per scoprirlo." Raccomando vivamente a tutti di leggere sia l'intero articolo del New Yorker che la ricerca di Anthropic sulla selezione dei personaggi (entrambi linkati nelle risposte) e poi passare un po' di tempo a riflettere sulla situazione inquietante in cui potremmo essere trovati.