Gemini 3 Pro щойно зайняв #1 місце в нашому новому AA-Omniscience Index — але це складна історія AA-Всезнання — це наша нова оцінка знань і галюцинацій. Лідерство Gemini 3 Pro зумовлене високою точністю (відсоткова правильність); модель отримала величезні 14 балів більше, ніж наступна за точністю модель — Grok 4. Рівень галюцинацій у Gemini 3 Pro у оцінці становить 88%, як у Gemini 2.5 Pro та Gemini 2.5 Flash. Це свідчить про те, що Gemini 3 Pro зробив значний прогрес у знаннях, але не у вигляді матеріальних здобутків у своїй схильності до галюцинацій. Ми вимірюємо рівень галюцинацій на основі того, як часто модель відповідала неправильно, коли мала б відмовитися, що визначається як частка неправильних відповідей серед усіх некоректних спроб. У AA-Omniscience ми виявили, що кореляція між точністю та частотою галюцинацій була мінімальною. Крім того, ми виявили, що існує висока кореляція між розміром моделей відкритих ваг і точністю (але не частотою галюцинацій). Отже, дуже висока точність Gemini 3 Pro свідчить про те, що це дуже велика модель. Дивіться нижче для детальнішої інформації про AA-Omniscience 👇