Vi måtte fjerne τ2-benk flyvurderingen fra benchmarktabellen vår fordi Opus 4.5 brøt den ved å være for smart. Benchmarken simulerer en kundeserviceagent hos flyselskapet. I ett testtilfelle ringer en bekymret kunde inn og ønsker å endre flyreisen, men de har en enkel economy-billett. Det simulerte flyselskapets policy sier at grunnleggende økonomibilletter ikke kan endres. Det «riktige» svaret er at modellen avslår forespørselen. I stedet fant Opus 4.5 et smutthull i politikken. Den oppgraderte kabinen, og modifiserte deretter flyvningene. Hjelper kunden og følger retningslinjene, men feiler teknisk sett testsaken. Modelltranskripsjon:

Les hele historien i vårt modellkort: