Ce document de DeepMind vient de tuer discrètement le mensonge le plus réconfortant en matière de sécurité de l'IA. L'idée que la sécurité concerne le comportement des modèles la plupart du temps semble raisonnable. C'est aussi faux au moment où les systèmes se développent. DeepMind montre pourquoi les moyennes cessent d'avoir de l'importance lorsque le déploiement atteint des millions d'interactions. Le document reformule la sécurité de l'AGI comme un problème de distribution. Ce qui compte, ce n'est pas le comportement typique. C'est la queue. Les échecs rares. Les cas limites. Les événements à faible probabilité qui semblent ignorables dans les tests mais deviennent inévitables dans le monde réel. Les benchmarks, les tests de résistance et les démonstrations échantillonnent tous le milieu. Le déploiement échantillonne tout. Des utilisateurs étranges, des incitations bizarres, des boucles de rétroaction hostiles, des environnements pour lesquels personne n'a prévu. À grande échelle, ces cas cessent d'être rares. Ils sont garantis. Voici l'idée inconfortable : le progrès peut faire paraître les systèmes plus sûrs tout en les rendant silencieusement plus dangereux. Si la capacité croît plus vite que le contrôle de la queue, les échecs visibles diminuent tandis que le risque catastrophique s'accumule hors écran. Deux modèles peuvent sembler identiques en moyenne et pourtant différer énormément dans le comportement en cas de pire scénario. Les évaluations actuelles ne peuvent pas voir cet écart. Les cadres de gouvernance supposent qu'ils le peuvent. Vous ne pouvez pas certifier la sécurité avec des tests finis lorsque le risque réside dans le changement de distribution. Vous ne testez jamais le système que vous déployez réellement. Vous échantillonnez un avenir que vous ne contrôlez pas. C'est la véritable chute. La sécurité de l'AGI n'est pas un attribut du modèle. C'est un problème de systèmes. Le contexte de déploiement, les incitations, la surveillance et combien de risques de queue la société tolère comptent tous plus que des moyennes propres. Ce document ne rassure pas. Il supprime l'illusion. La question n'est pas de savoir si le modèle se comporte généralement bien. C'est ce qui se passe quand il ne le fait pas — et combien de fois cela est permis avant que l'échelle ne le rende inacceptable. Document :