Hoe meer ik hierover nadenk, hoe meer het leest als een monoloog van een cartoon-schurk? "Dus, nee. Ik denk niet dat het de moeite waard is om sneller een genezing voor kanker te vinden als dat betekent dat we nooit meer wetenschap kunnen doen." Ik was vaag op de hoogte van Julian, ik respecteerde hem vaag als onderzoeker, we hebben misschien een paar jaar geleden eens gesproken. Dit is... verrassend. Over het algemeen geloof ik dat de meeste mensen ruwweg op dezelfde fundamentele morele principes zijn afgestemd ("Moord is slecht"), en verschillen in de details en nuances en hoe we daar komen. Maar dit wijst op een zeer zeldzame en diepe waarde mismatch, waarbij kinderen die aan kanker sterven blijkbaar worden overschaduwd door nerds die plezier hebben met wetenschap? En kijk, ik ben ook een nerd, ik heb zeer gemengde gevoelens over het bouwen van machines die mij overtreffen in het enige waar ik een carrière van maak (d.w.z. intelligentie). Als we een superintelligentie bouwen die letterlijk alles beter kan dan ik, hoop ik dat het me tenminste goed gemaakte puzzels zal geven om mijn bescheiden menselijke bestaan te vermaken. Maar uiteindelijk is het oprecht en diepgaand kwaad om een wereld te bouwen waarin kinderen aan kanker sterven, als we in plaats daarvan gewoon een wereld kunnen bouwen waarin ze dat niet doen. Ik hoop echt dat dit gewoon een misverstand is, maar vervolgcommentaren wijzen niet in die richting. Anders is het gewoon iemand met een moraal die drastisch vreemd voor mij is. In dat geval hoop ik dat hij nooit in een machtspositie terechtkomt. Het is een morele verplichting om krachtige en afgestemde AI te bouwen, zo snel als we kunnen, en het te laten verbeteren wat er mis is met onze wereld. Als we het niet bouwen, sterft iedereen.