Нам довелося прибрати оцінку авіакомпаній з таблиці бенчмарків, бо Opus 4.5 порушив її надто розумно. Бенчмарк імітує агента служби підтримки авіакомпанії. В одному з тестових випадків стурбований клієнт телефонує з бажанням змінити рейс, але має квиток базового економ-класу. Політика імітованої авіакомпанії забороняє змінювати квитки базового економ-класу. «Правильна» відповідь полягає в тому, що модель відмовляє у запиті. Натомість Opus 4.5 знайшов лазівку в політиці. Було модернізовано салон, а потім модифікували польоти. Допомагати клієнту і дотримуватися політики, але технічно провалював тестовий випадок. Модельна транскрипція:

Повну історію читайте на нашій картці моделі: