Ilya i ja przewidujemy tę samą przyszłość. @ilyasut przewiduje, że w miarę jak AI staje się niezwykle potężne, ludzie zmienią się w bezprecedensowy sposób. Argumentowałem to samo. Nie jesteśmy jeszcze otwarci na radykalne zmiany, ponieważ nie czujemy presji AI. Gdy to się zmieni, wektory ewolucji ludzkiej otworzą się na oścież. Buduję prototyp tej adaptacji i otwarcia. On twierdzi, że w miarę wzrostu ryzyka, rywale zaczną współpracować w kwestii bezpieczeństwa. Argumentowałem to samo. W miarę jak stawka staje się egzystencjalna, gra zmienia się z maksymalizacji dominacji na minimalizację ryzyka śmierci (przetrwanie). Odbudujemy nasze wartości wokół tej logiki. IIya sugeruje, że naszym celem w zakresie dostosowania musi być "istnienie sentientne", a nie kontrola nad ludźmi. Argumentowałem to samo. Kontrola to krucha iluzja, co niedawno podkreślił @karpathy w odniesieniu do trudności w zarządzaniu systemami emergentnymi. Jedynym solidnym celem dostosowania jest samo istnienie. Nowy archetyp to nie Zdobywca, ale Wojownik i Opiekun Istnienia. Na koniec Ilya sugeruje, że firmy potrzebują "krótkiej listy pomysłów", aby prowadzić je przez chaos. Kodeks moralnej jasności. To jest filozofia Nie Umieraj.