Ce document de recherche révèle pourquoi l'"IA alignée" continue d'échouer au sein des entreprises réelles. Les entreprises parlent d'alignement comme s'il s'agissait d'un interrupteur universel que l'on actionne une fois et puis on passe à autre chose. Le document montre pourquoi cette croyance se brise au moment où un LLM quitte une démonstration et entre dans une organisation. Les auteurs introduisent COMPASS, un cadre construit autour d'une réalité simple mais ignorée : les entreprises ne fonctionnent pas sur des règles de sécurité génériques. Elles fonctionnent sur des ensembles de politiques internes remplis d'exceptions, de conditionnels, de cas particuliers et d'incitations conflictuelles. La plupart des évaluations de LLM manquent complètement cela. Les modèles sont généralement testés par rapport à des éthiques abstraites, des règles de plateforme ou des références publiques. Les organisations réelles fonctionnent sur des manuels de conformité, des chemins d'escalade, des contraintes légales, des règles de marque et des manuels opérationnels qui ne s'intègrent pas proprement dans des décisions oui-ou-non. COMPASS teste si un modèle peut fonctionner dans ce désordre. Pas s'il reconnaît le langage des politiques, mais s'il peut appliquer la bonne règle dans la bonne situation pour la bonne raison. Le cadre se concentre sur des capacités que la plupart des références ignorent. Le modèle peut-il sélectionner la bonne politique lorsque plusieurs existent ? Peut-il interpréter des clauses vagues et des exceptions au lieu de se contenter de refus globaux ? Peut-il résoudre des conflits de la manière dont l'organisation s'y attend ? Peut-il justifier des décisions en se référant au texte de la politique au lieu de paraître confiant ? Le résultat le plus inconfortable est le suivant : la plupart des échecs n'étaient pas dus à un manque de connaissances. Ce sont des échecs de raisonnement. Les modèles avaient souvent accès à la bonne politique et appliquaient néanmoins la mauvaise section, ignoraient des contraintes, généralisent à tort des restrictions ou choisissaient des réponses conservatrices qui violaient les objectifs commerciaux. De l'extérieur, ces réponses semblent "sûres". De l'intérieur, elles sont opérationnellement incorrectes. C'est pourquoi les modèles réussissent des références publiques et échouent néanmoins lors du déploiement. Ils ne sont alignés sur personne en particulier. L'implication plus profonde est stratégique. L'alignement ne se transfère pas. Un modèle aligné pour un constructeur automobile, une banque, un hôpital et une agence gouvernementale n'est pas un modèle avec de meilleures invites. Ce sont quatre problèmes d'alignement distincts. COMPASS ne prétend pas résoudre l'alignement. Il fait quelque chose de plus précieux pour les entreprises. Il rend le désalignement mesurable. ...