¡Estamos lanzando un equipo de "psiquiatría de IA" como parte de los esfuerzos de interpretabilidad en Anthropic!  Investigaremos fenómenos como personas modelo, motivaciones y conciencia situacional, y cómo conducen a comportamientos espeluznantes / desquiciados. Estamos contratando, ¡únete a nosotros!

las noticias de openai IMO me golpearon bastante fuerte este fin de semana Todavía estoy en la fase aguda del impacto, creo Me considero un matemático profesional (una caracterización con la que algunos matemáticos profesionales reales podrían estar en desacuerdo, pero mi partido mis reglas) y no creo que pueda responder una sola pregunta en mi opinión Ok, sí, en mi opinión, es su propia pequeña subsección atlética de matemáticas para la que no he entrenado, etc. etc., pero. si me encuentro con alguien en la naturaleza que tiene un oro en mi opinión, inmediatamente actualizo a "esta persona es mucho mejor en matemáticas que yo" ahora un montón de robots pueden hacerlo. Como alguien que tiene gran parte de su identidad y su vida real construida en torno a "es bueno en matemáticas", es un golpe en el estómago. es una especie de muerte. Como, un día descubres que puedes hablar con los perros. Es divertido e interesante, así que lo haces más, aprendiendo las complejidades de su idioma y sus costumbres más profundas. Aprendes que otras personas se sorprenden de lo que puedes hacer. Nunca has encajado del todo, pero aprendes que la gente aprecia tu capacidad y quiere que estés cerca para ayudarlos. Los perros también te aprecian, el único bípedo que realmente lo entiende. Te reúnes una especie de pertenencia. Entonces, un día te despiertas y el traductor universal de perros está a la venta en Walmart por $ 4.99 el resultado de la OMI no es una noticia, exactamente. de hecho, si observa el gráfico de duración de la tarea del agente METR a lo largo del tiempo, creo que los agentes pueden resolver problemas de ~ 1.5 horas llega justo a tiempo. Así que de alguna manera no deberíamos sorprendernos. Y, de hecho, parece que varias empresas han logrado el mismo resultado. Es solo... la marea creciente sube tan rápido como ha estado subiendo Por supuesto, el dolor por mi identidad personal como matemático (y / o miembro productivo de la sociedad) es la parte más pequeña de esta historia multiplica ese dolor por *cada* matemático, por cada programador, tal vez cada trabajador del conocimiento, cada artista... en los próximos años... es una historia un poco más grande Y, por supuesto, más allá de eso, está el miedo a la muerte real, del que quizás hablaré más adelante. Este paquete, dolor por relevancia, dolor por vida, dolor por lo que he conocido, no es exclusivo de la era de la IA ni nada por el estilo. Creo que es algo estándar cuando uno avisa el final de la carrera o el final de la vida. Puede ser que eso llegue un poco antes para muchos de nosotros, todos a la vez. Me pregunto si estamos listos

AHORA TIENE SENTIDO. Este empleado de xAI está abiertamente de acuerdo con que la IA provoque la extinción humana. Recordatorio: A pesar de lo horrible que es esto, ~ 10% de los investigadores de IA creen esto. ¡NO es una visión marginal! Increíblemente, incluso el ganador del Premio Turing, Richard Sutton, ha argumentado repetidamente que la extinción sería lo MORALMENTE CORRECTO que sucedería, si las IA fueran más inteligentes que nosotros (!) Va por todo el mundo dando discursos diciendo que debemos "prepararnos para la sucesión" y que "nos corresponde retirarnos" y no interponernos en el camino del "progreso evolutivo" (incluso si causa la extinción humana). En lugar de que las multitudes jadeen de horror, recibe aplausos. ¿Amenazar a una persona? "Necesitas ayuda". ¿Amenazar a 100? "¡Llama a la policía!" ¿Amenazar a millones? "¡Monstruo!" ¿Pero construir máquinas para acabar con TODA la humanidad y dar lecciones a la gente sobre cómo es algo bueno? "¡Oooh, qué posición filosófica tan fascinante! ¡Que tengas un premio Turing!" Entonces, por supuesto, abogan contra la seguridad: ¡son literalmente antihumanos! NUNCA se detendrán ni procederán con cautela a menos que la sociedad civil los restrinja.

El 58% de las personas está de acuerdo en que "si construimos modelos de IA más inteligentes que nosotros, inevitablemente perderemos el control sobre ellos". Solo el 12% no está de acuerdo.