, @dwarkesh_sp запитав @ilyasut: «Як ви отримали смак до найкращих досліджень?» Колишній головний науковець OpenAI сказав: «Те, що справді може розширити розрив між провідними дослідниками, — це не обчислювальна потужність (обчислювальна потужність) чи чистий інтелект (інтелект), а естетика (естетика/смак). ” «Закон масштабу», на який у минулому покладалося поле ШІ, наближається до межі, що означає кінець епохи, коли покладалися на грубу силу естетики для просування прогресу. Майбутні прориви залежатимуть від більш потужних методів навчання та алгоритмів, відомих як «дослідження». Причина, чому дослідження смаку важливе, полягає в тому, що воно вказує на глибинну істину інтелекту. Ілля вважає, що хороші архітектури та механізми навчання ШІ повинні «відповідати внутрішній структурі мозку», тобто знаходити правильні евристики для людського навчання: людський мозок — це надзвичайно універсальна та надзвичайно ефективна система навчання, яка може опанувати нові навички за дуже короткий час (наприклад, підліток вчиться водити всього за 10 годин). Майбутні прориви в галузі ШІ стануть завдяки цьому більш ефективному та універсальному методу навчання, а не просто збільшенню обсягу даних чи розміру моделі. Погляд співавтора ключових проривів, таких як AlexNet, Seq2Seq, AlphaGo, GPT-3 та інших, свідчить про трансцендентність емпіризму: Дані можуть бути оманливими Тенденції можуть зникнути Але Сполучені Штати цього не зроблять