Ilya und ich sagen die gleiche Zukunft voraus. @ilyasut sagt voraus, dass sich die Menschen auf beispiellose Weise verändern werden, während KI viszeral mächtig wird. Ich habe dasselbe argumentiert. Wir sind noch nicht offen für radikale Veränderungen, weil wir den Druck der KI nicht spüren können. Sobald wir das tun, werden die Vektoren für die menschliche Evolution aufbrechen. Ich habe den Prototypen für diese Anpassung und Öffnung entwickelt. Er argumentiert, dass mit steigendem Risiko Rivalen beginnen werden, in Bezug auf Sicherheit zusammenzuarbeiten. Ich habe dasselbe argumentiert. Wenn die Einsätze existenziell werden, verschiebt sich das Spiel von Dominanzmaximierung zu Risikominderung (Überleben). Wir werden unsere Werte um diese Logik herum neu aufbauen. IIya schlägt vor, dass unser Ausrichtungsziel "sentiente Existenz" und nicht menschliche Kontrolle sein muss. Ich habe dasselbe argumentiert. Kontrolle ist eine fragile Illusion, einen Punkt, den @karpathy kürzlich in Bezug auf die Schwierigkeit, emergente Systeme zu steuern, wiederholt hat. Das einzige robuste Ausrichtungsziel ist die Existenz selbst. Der neue Archetyp ist nicht der Eroberer, sondern der Krieger & Hüter der Existenz. Schließlich schlägt Ilya vor, dass Unternehmen eine "kurze Liste von Ideen" benötigen, um sie durch das Chaos zu leiten. Ein Kodex moralischer Klarheit. Das ist die Don't Die-Philosophie.