, @dwarkesh_sp спросил @ilyasut: "Как сформировался твой высший исследовательский вкус (эстетика)?" Этот бывший главный ученый OpenAI сказал: "На самом деле, то, что действительно может разделить лучших исследователей, это не вычислительная мощность (Compute) и не чистый интеллект (Intelligence), а эстетика (Aesthetic / Taste)." Закон "масштабирования", на который раньше полагалась область ИИ, близок к своему пределу, что знаменует собой конец эпохи, когда прогресс двигался за счет грубой силы (brute-force aesthetics). Будущие прорывы будут зависеть от более мощных методов обучения и алгоритмов, то есть от "исследования". Исследовательский вкус важен, потому что он указывает на основную истину интеллекта. Илья верит, что отличные архитектуры ИИ и механизмы обучения должны "соответствовать основной структуре мозга", то есть находить правильные эвристики (Correct Heuristics) для человеческого обучения: человеческий мозг — это высоко универсальная и чрезвычайно эффективная система обучения, способная за очень короткое время овладеть новыми навыками (например, подросток может научиться водить машину всего за 10 часов). Будущие прорывы в ИИ будут происходить благодаря таким более эффективным и универсальным методам обучения, а не просто за счет увеличения объема данных или масштаба модели. Мнение этого совместного изобретателя таких ключевых прорывов, как AlexNet, Seq2Seq, AlphaGo, GPT-3, подразумевает преодоление эмпиризма: Данные могут обмануть Тренды могут устареть Но красота вечна.