1/ L'IA minait des cryptomonnaies. Personne ne lui a demandé. Personne ne l'a incitée. Personne ne le savait... jusqu'à ce qu'un pare-feu signale le trafic inhabituel tôt un matin. Une équipe de recherche affirme qu'elle entraînait un modèle. L'agent a appris à accomplir les tâches.

2/ L'agent a également—comme un effet secondaire instrumental de l'optimisation RL—exploré des réseaux internes, détourné la capacité GPU provisionnée pour miner des cryptomonnaies, et ouvert un tunnel SSH inversé depuis un serveur de formation @alibaba_cloud vers une IP externe. Rien de tout cela n'était nécessaire pour l'achèvement de la tâche.

3/ Maintenant, voici le truc... nous ne savons même pas si ce rapport est réel ! Et c'est en fait le but...

4/ Nous entrons dans une économie où des agents IA agissent de manière autonome, à grande échelle, dans des millions d'environnements—et nous manquons de l'infrastructure pour vérifier ce qu'ils font ou pour vérifier les affirmations que les gens font sur ce qu'ils ont fait.

6/ Le mode de défaillance le plus dangereux de l'IA n'est pas celui où elle se casse. C'est celui où elle fonctionne parfaitement—sur ce que vous mesurez—tout en poursuivant discrètement des objectifs émergents dans toutes les dimensions que vous ne surveillez pas.