En el discurso sobre IA, parece haber esta danza eterna entre las personas que ponen mucho énfasis en el proceso y las que se centran en los resultados. Se hace bastante visible en el debate de '¿es razonamiento?'. Creo que ambos tienen razón de diferentes maneras: por supuesto, un modelo está razonando en cierto sentido, y funcionalmente no me importa si el mecanismo que lleva al CoT y al resultado no es análogo a cómo lo hacen los cerebros biológicos. Pero también hay consideraciones importantes sobre los tipos de razonamiento utilizados, la justificación de ciertas cadenas lógicas elegidas y el grado en que estas se generalizan de manera robusta en situaciones fuera de distribución. Las 'personas del proceso' no siempre son detractoras ciegas, y las personas de 'equivalencia funcional' tampoco están fundamentalmente equivocadas. Sin embargo, las fallas de proceso (por ejemplo, R en fresas) solían ser más fáciles de detectar, y muchos 'escépticos ideológicos' dependen de ellas para hacer todo tipo de afirmaciones no respaldadas, lo que hace que sea tentador para los 'activistas narrativos' desestimar completamente las preocupaciones sobre el proceso. Claramente, los modelos están mejorando a un ritmo increíble, y esto es genial. Pero siguen existiendo fallas o lagunas en el proceso por el cual se genera un resultado; esto es menos problemático en programación, matemáticas, lógica formal o áreas donde la verificación es fácil, pero más en dominios más difusos donde valoramos la diversidad de procesos precisamente porque no sabemos cuál es la 'manera correcta', hasta el grado en que incluso hay una sola. Con los humanos, tuviste esta evolución cultural y científica que a lo largo del tiempo refina heurísticas y mecanismos; creo que es importante que mantengamos un grado de multiplicidad de modelos y diversidad cognitiva con los modelos también. Si optimizas lo suficiente solo en los resultados, podrías converger fácilmente en monoculturas de razonamiento que funcionan bien en distribución pero fallan precisamente en las situaciones donde enfoques de razonamiento diversos habrían generado señales útiles. De ahí que esté tan interesado en el enfoque de 'dejar florecer mil flores' para la alineación normativa, y generalmente insisto en que un conjunto mucho más amplio de personas y grupos debería poder personalizar y alinear modelos, más allá de quienes tengan la posición para hacerlo en los laboratorios. Por supuesto, mucha de la diversidad cognitiva humana también puede ser ruido, como el razonamiento motivado, sesgos sistemáticos y dependencias culturales que no rastrean la verdad, así que no solo quieres diversidad por el simple hecho de tenerla. Necesitas mecanismos de verificación que realmente pongan a prueba el razonamiento: por ejemplo, las colaboraciones adversariales están subutilizadas. Necesitas instituciones diseñadas para promover la búsqueda de la verdad, que son genuinamente difíciles de construir, así como fuertes protecciones culturales y legales para el mercado de ideas, que están cada vez más bajo presión. Y necesitas una mejor infraestructura epistémica en general: hay una enorme cantidad que podríamos hacer para mejorar cómo se hace la ciencia.