Questo documento di ricerca rivela perché l'"AI allineata" continua a fallire all'interno delle aziende reali. Le imprese parlano di allineamento come se fosse un interruttore universale da attivare una volta e poi andare avanti. Il documento mostra perché quella convinzione si rompe nel momento in cui un LLM lascia una demo e entra in un'organizzazione. Gli autori introducono COMPASS, un framework costruito attorno a una semplice ma ignorata realtà: le aziende non operano su regole di sicurezza generiche. Operano su stack di politiche interne pieni di eccezioni, condizioni, casi limite e incentivi conflittuali. La maggior parte delle valutazioni LLM ignora completamente questo aspetto. I modelli vengono solitamente testati contro etiche astratte, regole della piattaforma o benchmark pubblici. Le organizzazioni reali si basano su manuali di conformità, percorsi di escalation, vincoli legali, regole di marca e playbook operativi che non si adattano facilmente a decisioni di sì o no. COMPASS verifica se un modello può funzionare all'interno di quel caos. Non se riconosce il linguaggio delle politiche, ma se può applicare la regola giusta nella situazione giusta per il motivo giusto. Il framework si concentra su capacità che la maggior parte dei benchmark ignora. Può il modello selezionare la politica corretta quando ne esistono diverse? Può interpretare clausole e eccezioni vaghe invece di ricorrere a rifiuti generali? Può risolvere conflitti nel modo in cui l'organizzazione si aspetta? Può giustificare le decisioni facendo riferimento al testo della politica invece di sembrare sicuro? Il risultato più scomodo è questo: la maggior parte dei fallimenti non riguardava la mancanza di conoscenza. Erano fallimenti di ragionamento. I modelli spesso avevano accesso alla politica corretta e applicavano comunque la sezione sbagliata, ignoravano i vincoli, generalizzavano eccessivamente le restrizioni o sceglievano risposte conservative che violavano gli obiettivi aziendali. Dall'esterno, quelle risposte sembrano "sicure". Dall'interno, sono operativamente sbagliate. Ecco perché i modelli superano i benchmark pubblici e falliscono comunque nel deployment. Non sono allineati a nessuno in particolare. L'implicazione più profonda è strategica. L'allineamento non si trasferisce. Un modello allineato per un produttore di automobili, una banca, un ospedale e un'agenzia governativa non è un modello con prompt migliori. Sono quattro problemi di allineamento separati. COMPASS non pretende di risolvere l'allineamento. Fa qualcosa di più prezioso per le imprese. Rende misurabile il disallineamento. ...