Plus j'y pense, plus cela ressemble à un monologue de méchant de dessin animé ? "Donc, non. Je ne pense pas qu'il vaille la peine de trouver un remède contre le cancer plus rapidement si cela signifie que nous ne pouvons plus jamais faire de science." J'étais vaguement au courant de Julian, je le respectais vaguement en tant que chercheur, nous avons peut-être parlé une fois il y a quelques années. C'est... surprenant. En général, je crois que la plupart des gens sont à peu près alignés sur les principes moraux fondamentaux ("Le meurtre est mauvais"), et diffèrent dans les détails et les nuances et comment y parvenir. Mais cela indique un décalage de valeurs très rare et profond, où les enfants mourant du cancer sont apparemment moins importants que des nerds s'amusant avec la science ? Et regardez, je suis un nerd aussi, j'ai des sentiments très partagés sur la construction de machines qui me surpassent dans la seule chose dont je fais ma carrière (c'est-à-dire l'intelligence). Si nous construisons une superintelligence qui peut tout faire littéralement mieux que moi, j'espère qu'elle me proposera au moins des énigmes bien conçues pour divertir ma misérable existence humaine. Mais en fin de compte, il est véritablement et profondément maléfique de construire un monde où des enfants meurent du cancer, si à la place nous pouvions simplement construire un monde où ils ne le font pas. J'espère vraiment qu'il ne s'agit que d'un malentendu, mais les commentaires de suivi ne vont pas dans ce sens. Sinon, c'est juste quelqu'un avec une moralité qui m'est radicalement étrangère. Dans ce cas, j'espère qu'il ne se retrouvera jamais dans une position de pouvoir. Il est impératif sur le plan moral de construire une IA puissante et alignée, dès que nous le pouvons, et de la faire améliorer tout ce qui ne va pas dans notre monde. Si nous ne la construisons pas, tout le monde meurt.