Denne forskningsartikkelen avslører hvorfor «justert AI» stadig feiler i virkelige selskaper. Bedrifter snakker om justering som om det er en universell bryter du slår på én gang og går videre. Artikkelen viser hvorfor denne troen brytes i det øyeblikket en LLM forlater en demo og går inn i en organisasjon. Forfatterne introduserer COMPASS, et rammeverk bygget rundt en enkel, men ignorert realitet: selskaper opererer ikke etter generelle sikkerhetsregler. De opererer på interne policystabler fylt med unntak, betingelser, særtilfeller og motstridende insentiver. De fleste LLM-evalueringer overser dette helt. Modeller testes vanligvis mot abstrakt etikk, plattformregler eller offentlige referansepunkter. Virkelige organisasjoner opererer på compliance-manualer, eskaleringsveier, juridiske begrensninger, merkevareregler og operative manualer som ikke passer klart inn i ja-eller-nei-avgjørelser. COMPASS tester om en modell kan fungere inne i det kaoset. Ikke om den anerkjenner politisk språk, men om den kan anvende riktig regel i riktig situasjon av riktig grunn. Rammeverket fokuserer på kapasiteter de fleste benchmarks ignorerer. Kan modellen velge riktig polise når flere finnes? Kan den tolke vage klausuler og unntak i stedet for å gå tilbake til generelle avslag? Kan det løse konflikter slik organisasjonen forventer? Kan den rettferdiggjøre beslutninger ved å peke på politikktekst i stedet for å virke selvsikker? Det mest ubehagelige resultatet er dette: de fleste feil handlet ikke om manglende kunnskap. De resonnerte feil. Modellene hadde ofte tilgang til riktig policy og brukte likevel feil seksjon, ignorerte begrensninger, overgeneraliserte restriksjoner eller valgte konservative svar som brøt med forretningsmålene. Utenfra ser disse responsene «trygge» ut. Fra innsiden er de operasjonelt feil. Derfor består modellene offentlige benchmarks og feiler fortsatt i distribusjon. De er ikke knyttet til noen spesielt. Den dypere implikasjonen er strategisk. Justering overføres ikke. En modell tilpasset en bilprodusent, en bank, et sykehus og en offentlig etat er ikke en modell med bedre opplysninger. Det er fire separate justeringsproblemer. COMPASS påstår ikke å løse justering. Det gjør noe mer verdifullt for bedrifter. Det gjør feiljustering målbar. ...