Im więcej o tym myślę, tym bardziej przypomina to monolog złoczyńcy z kreskówki? "Więc nie. Nie sądzę, że warto szybciej znaleźć lekarstwo na raka, jeśli oznacza to, że nigdy więcej nie będziemy mogli prowadzić nauki." Miałem ogólne pojęcie o Julianie, w pewnym sensie go szanowałem jako badacza, być może rozmawialiśmy raz kilka lat temu. To jest... zaskakujące. Ogólnie rzecz biorąc, wierzę, że większość ludzi jest mniej więcej zgodna co do bardzo podstawowych zasad moralnych ("Morderstwo jest złe"), a różni się w szczegółach, niuansach i sposobach osiągania celów. Ale to wskazuje na bardzo rzadkie i głębokie rozbieżności wartości, gdzie dzieci umierające na raka są najwyraźniej mniej ważne niż nerdy bawiące się nauką? I spójrz, ja też jestem nerdem, mam bardzo mieszane uczucia co do budowania maszyn, które przewyższają mnie w tym, co jest moją karierą (tj. inteligencja). Jeśli zbudujemy superinteligencję, która potrafi robić dosłownie wszystko lepiej ode mnie, mam nadzieję, że przynajmniej dostarczy mi dobrze skonstruowanych zagadek, aby umilić moje skromne ludzkie istnienie. Ale ostatecznie, to jest naprawdę i głęboko złe budować świat, w którym dzieci umierają na raka, jeśli zamiast tego moglibyśmy po prostu zbudować świat, w którym tego nie ma. Naprawdę mam nadzieję, że to tylko nieporozumienie, ale komentarze w odpowiedzi nie wskazują w tym kierunku. W przeciwnym razie to po prostu ktoś z moralnością, która jest dla mnie drastycznie obca. W takim przypadku mam nadzieję, że nigdy nie znajdzie się w żadnej pozycji władzy. To moralny imperatyw, aby zbudować potężną i zgodną AI, tak szybko, jak to możliwe, i sprawić, by poprawiła wszystko, co jest złe w naszym świecie. Jeśli tego nie zbudujemy, wszyscy umierają.