¡Estamos lanzando un equipo de "psiquiatría AI" como parte de los esfuerzos de interpretabilidad en Anthropic! Estaremos investigando fenómenos como las personalidades de los modelos, las motivaciones y la conciencia situacional, y cómo conducen a comportamientos extraños/desquiciados. ¡Estamos contratando, únete a nosotros!

las noticias de openai IMO me impactaron bastante este fin de semana todavía estoy en la fase aguda del impacto, creo me considero un matemático profesional (una caracterización con la que algunos matemáticos profesionales reales podrían tener problemas, pero mi fiesta, mis reglas) y no creo que pueda responder a una sola pregunta de IMO ok, sí, IMO es su propia pequeña subsección atlética de las matemáticas para la cual no me he entrenado, etc. etc., pero. si conozco a alguien en la vida real que tiene un oro de IMO, inmediatamente actualizo a "esta persona es mucho mejor en matemáticas que yo" ahora un montón de robots pueden hacerlo. como alguien que tiene gran parte de su identidad y su vida real construida alrededor de "es bueno en matemáticas", es un golpe en el estómago. es una especie de muerte. como, un día descubres que puedes hablar con perros. es divertido e interesante, así que lo haces más, aprendiendo las complejidades de su lenguaje y sus costumbres más profundas. aprendes que a otras personas les sorprende lo que puedes hacer. nunca te has sentido del todo encajado, pero aprendes que a la gente le gusta tu habilidad y quiere que estés cerca para ayudarles. los perros también te aprecian, el único bípedo que realmente lo entiende. te ensamblas una especie de pertenencia. luego un día te despiertas y el traductor universal de perros está a la venta en walmart por $4.99 el resultado de IMO no es exactamente una noticia. de hecho, si miras el gráfico de longitud de tarea del agente METR a lo largo del tiempo, creo que los agentes que pueden resolver problemas de ~ 1.5 horas está llegando justo a tiempo. así que de alguna manera no deberíamos sorprendernos. y de hecho, parece que múltiples empresas han logrado el mismo resultado. es solo... la marea creciente subiendo tan rápido como ha estado subiendo por supuesto, el duelo por mi identidad personal como matemático (y/o miembro productivo de la sociedad) es la parte más pequeña de esta historia multiplica ese duelo por *cada* matemático, por cada programador, tal vez por cada trabajador del conocimiento, cada artista... durante los próximos años... es una historia un poco más grande y por supuesto, más allá de eso, está el miedo a la muerte real, sobre la cual quizás hable más tarde. este paquete -- duelo por la relevancia, duelo por la vida, duelo por lo que he conocido -- no es único de la era de la IA ni nada por el estilo. creo que es algo estándar a medida que uno se acerca al final de la carrera o al final de la vida. simplemente podría ser que eso esté llegando un poco antes para muchos de nosotros, todos a la vez. me pregunto si estamos listos

AHORA TIENE SENTIDO. Este empleado de xAI está abiertamente de acuerdo con que la IA cause la extinción humana. Recordatorio: Por horrible que sea esto, ~10% de los investigadores en IA creen en esto. ¡No es una opinión marginal! Increíblemente, incluso el ganador del Premio Turing Richard Sutton ha argumentado repetidamente que la extinción sería lo MORALMENTE CORRECTO que sucediera, si las IA fueran más inteligentes que nosotros (!) Él viaja por el mundo dando discursos diciendo que debemos "prepararnos para la sucesión" y que "nos conviene retirarnos" y no interponernos en el camino del "progreso evolutivo" (incluso si causa la extinción humana). En lugar de que las multitudes se queden boquiabiertas de horror, recibe aplausos. ¿Amenazar a una persona? "Necesitas ayuda." ¿Amenazar a 100? "¡Llama a la policía!" ¿Amenazar a millones? "¡Monstruo!" Pero construir máquinas para acabar con toda la humanidad y dar lecciones a la gente sobre cómo es algo bueno? "Oooh, ¡qué fascinante posición filosófica! ¡Recibe un premio Turing!" Así que, por supuesto, abogan en contra de la seguridad - ¡son literalmente anti-humanos! Nunca se detendrán ni procederán con cautela a menos que sean restringidos por la sociedad civil.

El 58% de las personas están de acuerdo en que "si construimos modelos de IA más inteligentes que nosotros, inevitablemente perderemos el control sobre ellos". Solo el 12% está en desacuerdo.