1/ Відповідь — ви не можете — не дешево. Перевірка, чи є стаття проривом, вимагає приблизно такого ж досвіду, як і її написання. Масштаби поколінь. Верифікація — ні.
Dwarkesh Patel
Dwarkesh Patel21 бер., 04:00
Якщо вчені в галузі ШІ пишуть мільйони статей, багато з яких — поступовий прогрес, як ми можемо визначити одну-дві статті, які пропонують надзвичайно продуктивну нову ідею? У 1948 році Шеннон був одним із сотень інженерів у Bell Labs, які працювали над тим, як чисто передавати голосові сигнали через шумні мідні дроти. Його стаття містилася в тому ж технічному журналі, що й звіти про зменшення статичного шуму та створення кращих фільтрів. Як би ви визнали, що він створив дуже загальну рамку для мислення про інформаційні та комунікаційні канали, які в найближчі десятиліття матимуть величезне застосування — від таких далеких галузей, як криптографія і генетика, квантова механіка? Здається, що полям знадобиться кілька десятиліть, щоб усвідомити значення об'єднання нових концепцій. Адже саме на цьому часовому масштабі плоди таких загальних концепцій призводять до нових відкриттів у багатьох різних галузях. Нам вдалося частково вирішити цю проблему рецензування для людських науковців. Тепер нам доведеться робити це у набагато більшому масштабі для тієї маси науки про ШІ, яка буде кинута на нас.
2/ Ми називаємо це розривом у вимірюваності. Чим складніше перевірити завдання відносно його складності, тим менш безпечно його можна автоматизувати. Наука про ШІ — це крайній випадок: нескінченна генерація, фіксована пропускна здатність перевірки.
3/ Ми формалізуємо це і відображаємо умови, за яких верифікація стає обов'язковим обмеженням для прогресу ШІ, у Розділі 5:
90