Я покинув Google DeepMind через 8 років. Стільки приємних спогадів — від ранніх фундаментальних статей у Google Brain (з @noamshazeer @ashvaswani @lukaszkaiser на Image Transformer, Tensor2Tensor, Mesh TensorFlow) до того, що Gemini після тренування змогли надолужити згаяне та запуститися за 100 днів, потім привела команду до стрибка до LMArena #1 (і залишилася там більше року!), і, нарешті, роботи над неймовірними інноваціями для золотих медалей Gemini IMO та ICPC (з @HengTze @quocleix). Gemini пройшли дику подорож від однієї парадигми до іншої: по-перше, переосмислення нашої моделі LaMDA (перший чат-бот на кшталт інструкцій!) від справжнього чат-бота до довгих змістовних відповідей з RLHF; Потім міркування і глибоке мислення шляхом тренування довгих ланцюжків мислення, нових середовищ і винагороджувати голови. Коли ми тільки починали, суспільні настрої були поганими. Всі думали, що Google приречений на провал через свою пошукову спадщину та організаційну політику. Зараз Gemini незмінно займає #1 місце в уподобаннях користувачів і очолює нові наукові досягнення, і всі думають, що перемога Google очевидна. 😂 (Також раніше OpenAI перестрибувала в цикл новин про штучний інтелект, оголошуючи перед нами про запас ідей для кожного нового релізу Google; можна з упевненістю сказати, що відставання порожнє.) З тих пір я приєднався до xAI. Рецепт загальновідомий. Обчислення, дані та O(100) блискучі, працьовиті люди – це все, що потрібно для отримання LLM на рівні кордону. xAI *дуже* в це вірить. Що стосується обчислень, то навіть у Google я ніколи не відчував цього # чіпів на душу населення (& 100K+ GB200/300K надходять з Colossus 2). Що стосується даних, то Grok 4 зробив найбільшу ставку на масштабування RL & посттренування. xAI робить нові ставки на масштабування даних, глибоке мислення та рецепт навчання. І команда швидка. Жодна компанія не досягла того рівня, де xAI є сьогодні в можливостях штучного інтелекту за такий короткий час. Як каже @elonmusk, похідні першого та другого порядку компанії є найважливішими: прискорення xAI є найвищим. Я радий повідомити, що в перші кілька тижнів ми запустили Grok 4 Fast. Grok 4 – це дивовижна модель міркувань, яка все ще очолює ARC-AGI та нові тести, такі як FinSearchComp. Але він повільний і ніколи не був націлений на загальні потреби користувачів. Grok 4 Fast є найкращою моделлю міні-класу — на LMArena вона #8 (Gemini 2.5 Flash — #18!), а за основними міркуваннями, такими як AIME, вона знаходиться на одному рівні з Grok 4, хоча в 15 разів дешевша. З / о до @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_