Cu cât mă gândesc mai mult la asta, cu atât sună mai mult ca un monolog de răufăcător de desene animate? "Deci, nu. Nu cred că merită să găsim un leac pentru cancer mai repede dacă asta înseamnă că nu vom mai putea face știință niciodată." Eram vag conștient de Julian, îl respectam vag ca cercetător, poate că am vorbit o dată acum câțiva ani. Asta e... surprinzător. În general, cred că majoritatea oamenilor sunt aproximativ aliniați pe principiile morale fundamentale ("Crima este rea") și diferă în detalii, nuanțe și modul în care să ajungi acolo. Dar acest lucru indică o nepotrivire de valori foarte rară și profundă, unde copiii care mor de cancer sunt aparent depășiți de tocilarii care se distrează cu știința? Și uite, și eu sunt tocilar, am sentimente foarte amestecate legate de construirea de mașini care mă depășesc în singurul lucru din care fac o carieră (adică inteligență). Dacă construim o superinteligență care poate face literalmente totul mai bine decât mine, sper măcar să-mi ofere puzzle-uri bine construite pentru a-mi distra existența umană mizerabilă. Dar, în cele din urmă, este cu adevărat și profund rău să construim o lume în care copiii mor de cancer, dacă am putea construi o lume în care ei să nu facă asta. Sper din tot sufletul să fie doar o neînțelegere, dar comentariile ulterioare nu duc în această direcție. Altfel, e doar cineva cu o moralitate care mi se pare drastic străină. În acest caz, sper să nu se găsească niciodată într-o poziție de putere. Este o obligație morală să construim o inteligență artificială puternică și aliniată, cât mai curând posibil, și să o facem să îmbunătățească tot ce este greșit în lumea noastră. Dacă nu o construim, toți mor.