"Qual è la tua p(doom) da AGI?" ...è una brutta domanda Il discorso su "p(doom)" è una cosa comune da sentire alle feste di SF e altrove, ma è fastidioso perché c'è molta confusione tra i seguenti: 1. La probabilità di doom se (a) l'AGI viene costruita e (b) non abbiamo alcun cambiamento nei livelli di ingegneria della sicurezza / politiche di sicurezza / allineamento rispetto a quelli che abbiamo oggi -- essenzialmente il livello di doom con gli affari come al solito e le tecniche attuali assumendo che nessuno presti più attenzione di quanto già faccia. 2. La probabilità di doom se l'AGI viene costruita (ma consentendo la possibilità che potremmo aumentare drasticamente la sicurezza e/o risolvere l'allineamento o qualcosa del genere). 3. La probabilità di doom su un dato periodo di tempo, includendo sia (a) la possibilità che l'AGI non venga mai costruita, che l'AGI si riveli troppo difficile da realizzare, che ci sbagliamo sullo sviluppo delle capacità dell'IA e (b) la possibilità che potremmo aumentare drasticamente la sicurezza e/o risolvere l'allineamento o qualcosa del genere. Le persone che confondono questi tre significati diversi rendono piuttosto difficile avere una conversazione su questo. Inoltre, la nozione di "doom" stessa è anche piuttosto confusa. Alcuni la interpretano come semplice estinzione umana. Alcuni dicono che se tutta l'umanità sta molto meglio di oggi ma non raggiungiamo il nostro massimo potenziale galattico, allora siamo comunque in "doom" -- e molto in mezzo. Se fosse l'anno 2100 e ci fossero un trilione di persone sulla Terra che ognuna avesse la qualità della vita del "top 1% negli Stati Uniti nel 2025", sarebbe questo "doom"? Alcuni dicono di sì, altri di no. Questo rende ancora più difficile avere una conversazione su questo se non sappiamo nemmeno cosa sia "doom". Quindi, se mi chiedi "Qual è la tua p(doom) da AGI?" devo dire "Per favore, chiedimi una domanda normale".