В дискурсе об ИИ, похоже, существует вечный танец между людьми, которые придают большое значение процессу, и людьми, которые сосредоточены на результатах. Это довольно заметно в дебатах о том, является ли это рассуждением? Я думаю, что оба правы по-разному: конечно, модель рассуждает в каком-то смысле, и функционально мне не так важно, если механизм, который приводит к CoT и результату, не аналогичен тому, как это делают биологические мозги. Но также есть важные соображения о типах рассуждений, о рационале для определенных выбранных логических цепочек и о степени, в которой они обобщаются надежно в ситуациях вне распределения. "Люди процесса" не всегда слепые скептики, и "люди функционального эквивалента" тоже не являются принципиально неверными. Тем не менее, ошибки в процессе (например, R в клубнике) раньше было легче поймать, и многие "идеологические скептики" полагаются на них, чтобы делать всевозможные неподтвержденные утверждения, что делает соблазнительным для "активистов нарратива" полностью отвергать проблемы процесса. Ясно, что модели улучшаются с невероятной скоростью, и это здорово. Но остаются ошибки или лакуны в процессе, с помощью которого генерируется результат; это менее проблематично в кодировании, математике, формальной логике или областях, где проверка проста, но больше в более размытых областях, где мы ценим разнообразие процессов именно потому, что не знаем "правильного способа", в той степени, в которой он вообще существует. У людей была эта культурная и научная эволюция, которая со временем уточняет эвристики и механизмы; я думаю, что важно, чтобы мы поддерживали степень множественности моделей и когнитивного разнообразия с моделями тоже. Если вы достаточно сильно оптимизируете только на результатах, вы можете легко прийти к монокультурам рассуждений, которые хорошо работают в распределении, но терпят неудачу именно в тех ситуациях, где разнообразные подходы к рассуждению могли бы сгенерировать полезный сигнал. Вот почему я так стремлюсь к подходу "пусть цветут тысячи цветов" к нормативному выравниванию и в целом настаиваю на том, чтобы гораздо более широкий круг людей и групп мог настраивать и выравнивать модели, помимо тех, кто оказывается в позиции делать это в лабораториях. Конечно, много человеческого когнитивного разнообразия также может быть шумом, таким как мотивированное рассуждение, систематические предвзятости и культурные зависимости, которые не отслеживают истину, поэтому вы не хотите просто разнообразия ради него. Вам нужны механизмы проверки, которые действительно подвергают стресс-тестированию рассуждение: например, антагонистические сотрудничества используются недостаточно. Вам нужны учреждения, созданные для содействия поиску истины, которые действительно трудно построить, а также сильные культурные и правовые защиты для рынка идей, которые все больше находятся под давлением. И вам нужна лучшая эпистемическая инфраструктура в целом: есть огромное количество того, что мы могли бы сделать, чтобы улучшить, как ведется наука.