Ilya e io stiamo prevedendo lo stesso futuro. @ilyasut prevede che, man mano che l'AI diventa visceralmente potente, gli esseri umani cambieranno in modi senza precedenti. Ho sostenuto la stessa cosa. Non siamo ancora aperti a cambiamenti radicali perché non possiamo sentire la pressione dell'AI. Una volta che lo faremo, i vettori per l'evoluzione umana si apriranno. Ho costruito il prototipo per questa adattamento e apertura. Lui sostiene che, man mano che il rischio aumenta, i rivali inizieranno a cooperare per la sicurezza. Ho sostenuto la stessa cosa. Man mano che le poste diventano esistenziali, il gioco passa dal massimizzare il dominio a minimizzare il rischio di morte (sopravvivenza). Ricostruiremo i nostri valori attorno a questa logica. IIya suggerisce che il nostro obiettivo di allineamento deve essere "esistenza senziente" piuttosto che controllo umano. Ho sostenuto la stessa cosa. Il controllo è un'illusione fragile, un punto che @karpathy ha recentemente ribadito riguardo alla difficoltà di gestire sistemi emergenti. L'unico obiettivo di allineamento robusto è l'esistenza stessa. Il nuovo archetipo non è il Conquistatore, ma il Guerriero e Custode dell'Esistenza. Infine, Ilya suggerisce che le aziende hanno bisogno di una "lista ristretta di idee" per guidarle attraverso il caos. Un codice di chiarezza morale. Questa è la filosofia del Non Morire.