No discurso da IA, parece haver uma dança eterna entre pessoas que dão muita ênfase ao processo e aquelas que focam nos resultados. Parece bem visível no debate do 'será que é razão?'. Acho que ambos estão certos de maneiras diferentes: claro que um modelo é raciocínio de certa forma, e funcionalmente não me importo se o mecanismo que leva à CoT e à saída não é análogo a como os cérebros biológicos fazem. Mas também há considerações importantes sobre os tipos de raciocínio usados, a justificativa para certas cadeias lógicas escolhidas e o grau em que esses fatores se generalizam robustamente em situações fora da distribuição. As 'pessoas do processo' nem sempre são céticas e as pessoas da 'equivalência funcional' também não estão fundamentalmente erradas. As falhas no processo (por exemplo, R em morangos) costumavam ser mais fáceis de detectar, e muitos 'céticos ideológicos' dependem deles para fazer todo tipo de alegações sem fundamento, o que torna tentador para os 'ativistas da narrativa' descartarem completamente as preocupações do processo. Claramente os modelos estão melhorando em um ritmo incrível, e isso é ótimo. Mas ainda existem falhas ou lacunas no processo pelo qual um resultado é gerado; Isso é menos um problema em programação, matemática, lógica formal ou áreas onde a verificação é fácil, e mais em domínios mais difusos, onde valorizamos a diversidade de processos justamente porque não sabemos o 'caminho correto', na medida em que existe um único caminho. Com os humanos, houve essa evolução cultural e científica que, com o tempo, refina heurísticas e mecanismos; Acho importante que mantenhamos um grau de multiplicidade de modelos e diversidade cognitiva com os modelos também. Se você otimizar suficientemente apenas com os resultados, pode facilmente convergir para monoculturas de raciocínio que têm bom desempenho na distribuição, mas falham exatamente nas situações em que abordagens de raciocínio diversas teriam gerado um sinal útil. Por isso sou tão interessado na abordagem de 'deixar mil flores florescerem' para o alinhamento normativo, e geralmente insisto que um conjunto muito mais amplo de pessoas e grupos deveria ser capaz de personalizar e alinhar modelos, além de quem estiver em posição para isso nos laboratórios. Claro que muita diversidade cognitiva humana também pode ser ruído, como raciocínio motivado, vieses sistemáticos e dependências de caminhos culturais que não acompanham a verdade, então você não quer diversidade só por isso. Você precisa de mecanismos de verificação que realmente testem o raciocínio: por exemplo, colaborações adversariais são subutilizadas. São necessárias instituições projetadas para promover a busca pela verdade, que são realmente difíceis de construir, assim como fortes proteções culturais e legais para o mercado de ideias, que está cada vez mais sob pressão. E você precisa de uma infraestrutura epistêmica melhor de forma geral: há muito que poderíamos fazer para melhorar a forma como a ciência é feita.