Più ci penso, più sembra un monologo da cattivo dei cartoni animati? "Quindi, no. Non penso che valga la pena trovare una cura per il cancro più velocemente se questo significa che non possiamo mai più fare scienza." Ero vagamente a conoscenza di Julian, lo rispettavo vagamente come ricercatore, potremmo aver parlato una volta qualche anno fa. Questo è... sorprendente. In generale, credo che la maggior parte delle persone sia allineata su principi morali molto fondamentali ("L'omicidio è sbagliato"), e differisca nei dettagli e nelle sfumature e su come arrivarci. Ma questo indica un disallineamento di valori molto raro e profondo, dove i bambini che muoiono di cancro sono apparentemente superati da nerd che si divertono con la scienza? E guarda, anch'io sono un nerd, ho sentimenti molto contrastanti riguardo alla costruzione di macchine che mi superano in quella cosa in cui sto costruendo una carriera (cioè l'intelligenza). Se costruiamo un superintelligenza che può fare letteralmente tutto meglio di me, spero che almeno mi darà enigmi ben congegnati per tenere intrattenuta la mia misera esistenza umana. Ma alla fine, è genuinamente e profondamente malvagio costruire un mondo in cui i bambini muoiono di cancro, se invece potremmo semplicemente costruire un mondo in cui non succede. Spero davvero che questo sia solo un malinteso, ma i commenti di follow-up non vanno in quella direzione. Altrimenti è solo qualcuno con una moralità drasticamente aliena alla mia. In tal caso, spero che non si trovi mai in una posizione di potere. È un imperativo morale costruire AI potenti e allineati, il prima possibile, e farli migliorare tutto ciò che è sbagliato nel nostro mondo. Se non lo costruiamo, tutti muoiono.