Філіп Кларк (@PJClark), партнер Thrive Capital (@ThriveCapital), спирається на інвестиції в OpenAI, Cursor, фізичний інтелект та свій досвід у напівпровідниковій галузі, щоб окреслити три основні висновки щодо стану розвитку ШІ: 1.) Прориви ШІ не є лінійними. Вони з'являються архітектурними хвилями, як і кремній. Аналогія Філіпа з напівпровідником переосмислює прогрес ШІ як послідовність апаратних парадигмальних змін. Коли один шлях досягає межі (одноядерний → багатоядерний; переднавчання → післянавчання), виникає нова архітектура. ШІ не розвивається через поступове налаштування... Він розвивається через структурні переосмислиння. 2.) Підкріплене навчання — наступна архітектурна епоха (поки що) Філіп подає навчання з підкріпленням як наступник посттренінгу: нову основу, а не оптимізацію. Але головне — він підкреслює, що це не буде останнім. Як апаратне забезпечення постійно стрибало від одноядерного до багатоядерного і GPU, штучний інтелект переживатиме кілька парадигмальних хвиль, кожна з яких відкриває нові межі продуктивності. Навчання з підкріпленням — це просто наступна хвиля, а не остання. 3.) Рів OpenAI — це не моделі... це здатність постійно відкривати наступну парадигму. Філіп стверджує, що основна перевага полягає у верхній частині продукту: кожен великий архітектурний прорив у великих моделях виник саме з OpenAI. Їхня оборонність полягає в тому, що вони багаторазово вигадують «наступну річ», одночасно впроваджуючи попереднє... рідкісне поєднання в будь-якій галузі, не кажучи вже про таку, що визначається розривчастими стрибками. . . . Моллі: «Один із спонсорів, який з гордістю підтримує Sourcery, — це @turingcom, тому я отримала досвід у сфері досліджень ШІ — акселератор досліджень ШІ [ми @jonsidd брали інтерв'ю у CEO]. Вони допомагають із моделями. І зараз вони помічають різкий зсув у останньому кварталі-другій половині — від імітації та синтетичних даних до підкріплюючого навчання. Тож мені цікаво, як ти бачиш це з технічного боку, а також з боку застосування?» Філіп: «Я вважаю, що ШІ трохи схожий на напівпровідники в певному сенсі — якщо мені дозволять повернутися до напівпровідників, до великого орієнтиру. У цьому сенсі, що існує безліч хвиль, коли ми намагаємося досягати все кращої продуктивності. Знаєте, у напівпровідниках раніше були напівпровідники з одним ядром. Потім ми вже не могли витиснути нічого більше з одного ядра, тому перейшли на багатоядерну систему. А потім ми перейшли до GPU. І я думаю, що ми бачимо щось дуже схоже з ШІ — ми почали з попереднього навчання ще в епоху GPT-1, GPT-2, GPT-3. Це привело нас до GPT-4. Потім ми почали використовувати багато технік після навчання для ChatGPT — контрольоване тонке налаштування, навчання з підкріпленням з людським зворотним зв'язком. Саме це дозволило моделям бути менш інопланетними інтелектами і більш корисними помічниками. І тепер, коли багато легких результатів цих здобутків було витіснено (хоча, ймовірно, ще багато чого треба зробити), навчання через підкріплення стало наступним великим зрушенням парадигми в ШІ і куди йде багато ресурсів....