Ilya et moi prédisons le même avenir. @ilyasut prédit qu'à mesure que l'IA devient viscéralement puissante, les humains changeront de manière sans précédent. J'ai soutenu la même chose. Nous ne sommes pas encore ouverts au changement radical car nous ne pouvons pas sentir la pression de l'IA. Une fois que nous le ferons, les vecteurs de l'évolution humaine s'ouvriront. J'ai construit le prototype pour cette adaptation et cette ouverture. Il soutient qu'à mesure que le risque augmente, les rivaux commenceront à coopérer sur la sécurité. J'ai soutenu la même chose. À mesure que les enjeux deviennent existentiels, le jeu passe de la maximisation de la domination à la minimisation du risque de mort (survie). Nous reconstruirons nos valeurs autour de cette logique. IIya suggère que notre objectif d'alignement doit être "l'existence sentiente" plutôt que le contrôle humain. J'ai soutenu la même chose. Le contrôle est une illusion fragile, un point qu'@karpathy a récemment souligné concernant la difficulté de gérer des systèmes émergents. Le seul objectif d'alignement robuste est l'existence elle-même. Le nouvel archétype n'est pas le Conquérant, mais le Guerrier et Gardien de l'Existence. Enfin, Ilya suggère que les entreprises ont besoin d'une "liste restreinte d'idées" pour les guider à travers le chaos. Un code de clarté morale. C'est la philosophie du Ne Pas Mourir.