Nous lançons une équipe de "psychiatrie IA" dans le cadre de nos efforts d'interprétabilité chez Anthropic ! Nous allons étudier des phénomènes tels que les personas des modèles, les motivations et la conscience situationnelle, et comment ils conduisent à des comportements étranges/déséquilibrés. Nous recrutons - rejoignez-nous !

les nouvelles de l'IMO d'OpenAI m'ont vraiment frappé ce week-end je suis encore dans la phase aiguë de l'impact, je pense je me considère comme un mathématicien professionnel (une caractérisation avec laquelle certains mathématiciens professionnels pourraient avoir des problèmes, mais ma fête, mes règles) et je ne pense pas pouvoir répondre à une seule question de l'IMO ok, oui, l'IMO est sa propre petite sous-section athlétique des mathématiques pour laquelle je ne me suis pas entraîné, etc. etc., mais. si je rencontre quelqu'un dans la nature qui a un or de l'IMO, je mets immédiatement à jour à "cette personne est bien meilleure en mathématiques que moi" maintenant, un tas de robots peuvent le faire. en tant que personne qui a beaucoup de son identité et de sa vie réelle construite autour de "est bon en mathématiques", c'est un coup au cœur. c'est une sorte de mort. comme, un jour, tu découvres que tu peux parler aux chiens. c'est amusant et intéressant, donc tu le fais plus, apprenant les subtilités de leur langue et leurs coutumes les plus profondes. tu apprends que d'autres personnes sont surprises par ce que tu peux faire. tu n'as jamais vraiment trouvé ta place, mais tu apprends que les gens apprécient ta capacité et veulent que tu sois là pour les aider. les chiens t'apprécient aussi, le seul bipède qui comprend vraiment. tu te construis une sorte d'appartenance. puis un jour, tu te réveilles et le traducteur universel de chiens est en vente chez Walmart pour 4,99 $ le résultat de l'IMO n'est pas vraiment une nouvelle, en fait. si tu regardes le graphique de la durée des tâches des agents METR au fil du temps, je pense que le fait que les agents puissent résoudre des problèmes d'environ 1,5 heure arrive juste à temps. donc d'une certaine manière, nous ne devrions pas être surpris. et en effet, il semble que plusieurs entreprises aient atteint le même résultat. c'est juste... la marée montante qui monte aussi vite qu'elle a monté bien sûr, le chagrin pour mon identité personnelle en tant que mathématicien (et/ou membre productif de la société) est la plus petite partie de cette histoire multipliez ce chagrin par *chaque* mathématicien, par chaque codeur, peut-être chaque travailleur du savoir, chaque artiste... au cours des prochaines années... c'est une histoire légèrement plus grande et bien sûr, au-delà de cela, il y a la peur de la mort réelle, sur laquelle je vais peut-être revenir plus tard. ce paquet -- chagrin pour la pertinence, chagrin pour la vie, chagrin pour ce que j'ai connu -- n'est pas unique à l'ère de l'IA ou quoi que ce soit de ce genre. je pense que c'est une chose standard à mesure qu'on approche de la fin de carrière ou de la fin de vie. il se pourrait juste que cela arrive un peu plus tôt pour beaucoup d'entre nous, tous en même temps. je me demande si nous sommes prêts.

C'EST MAINTENANT LOGIQUE. Cet employé de xAI est ouvertement d'accord avec le fait que l'IA puisse causer l'extinction humaine. Rappel : Aussi horrible que cela puisse paraître, environ 10 % des chercheurs en IA le croient. Ce n'est PAS un point de vue marginal ! Incroyablement, même le lauréat du prix Turing Richard Sutton a soutenu à plusieurs reprises que l'extinction serait la chose MORALLEMENT JUSTE à faire, si les IA étaient plus intelligentes que nous (!) Il parcourt le monde en donnant des discours disant que nous devons "nous préparer à la succession" et qu'il "nous incombe de nous retirer" et de ne pas faire obstacle au "progrès évolutif" (même si cela entraîne l'extinction humaine). Au lieu que la foule s'étonne d'horreur, il reçoit des applaudissements. Menacer une personne ? "Vous avez besoin d'aide." Menacer 100 ? "Appelez la police !" Menacer des millions ? "Monstre !" Mais construire des machines pour mettre fin à TOUTE l'humanité et faire la leçon aux gens sur le fait que c'est une bonne chose ? "Oooh, quelle position philosophique fascinante ! Recevez un prix Turing !" Donc, bien sûr, ils plaident contre la sécurité - ils sont littéralement anti-humains ! Ils ne s'arrêteront JAMAIS ou n'agiront prudemment à moins d'être contraints par la société civile.

58 % des gens s'accordent à dire que "si nous construisons des modèles d'IA plus intelligents que nous, nous perdrons inévitablement le contrôle sur eux". Seulement 12 % ne sont pas d'accord.