1/ Ответ в том, что вы не можете — не дешево. Проверка того, является ли статья прорывом, требует примерно таких же знаний, как и ее написание. Масштаб генерации. Проверка не масштабируется.
Dwarkesh Patel
Dwarkesh Patel21 мар., 04:00
Если ученые в области ИИ пишут миллионы статей, многие из которых некачественные, а некоторые представляют собой постепенный прогресс, как мы могли бы определить одну или две, которые предлагают крайне продуктивную новую идею? В 1948 году Шеннон был одним из сотен инженеров в Bell Labs, работающих над тем, как чисто передавать голосовые сигналы по шумным медным проводам. Его статья была опубликована в том же техническом журнале, что и отчеты о снижении статического электричества и создании лучших фильтров. Как бы вы узнали, что он предложил эту очень общую концепцию для размышлений о информации и каналах связи, которая в последующие десятилетия будет иметь огромное значение в таких областях, как криптография, генетика и квантовая механика? Кажется, что полям может потребоваться несколько десятилетий, чтобы признать значимость объединяющих новых концепций. Потому что именно на этом временном масштабе плоды таких общих концепций приводят к новым открытиям в самых разных областях. Нам удалось решить эту проблему рецензирования для человеческих ученых (по крайней мере, отчасти). Теперь нам нужно будет сделать это в гораздо большем масштабе для массы научных исследований в области ИИ, которые будут нам предложены.
2/ Мы называем это разрывом измеримости. Чем сложнее задачу проверить по сравнению с тем, насколько сложно ее выполнить, тем менее безопасно вы можете ее автоматизировать. Научные исследования в области ИИ — это крайний случай: бесконечная генерация, фиксированная полоса пропускания для проверки.
3/ Мы формализуем это и определяем условия, при которых верификация становится ограничивающим фактором для прогресса AI, в Разделе 5:
74