Dario Amodei dijo en el WEF que estaba a punto de publicar la secuela de Machines of Loving Grace. Se lanzará hoy, y Axios tuvo un vistazo anticipado por parte de Anthropic. Se titula 'La Adolescencia de la Tecnología: Enfrentando y Superando los Riesgos de la IA Poderosa.'

Algunas citas: ' Creo que estamos entrando en un rito de paso, tanto turbulento como inevitable, que pondrá a prueba quiénes somos como especie. A la humanidad está a punto de entregársele un poder casi inimaginable, y no está claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para manejarlo.'

'Ahora estamos en el punto en el que los modelos de IA están comenzando a avanzar en la resolución de problemas matemáticos no resueltos, y son lo suficientemente buenos en programación como para que algunos de los ingenieros más destacados que he conocido ahora entreguen casi toda su codificación a la IA. Hace tres años, la IA luchaba con problemas aritméticos de escuela primaria y apenas era capaz de escribir una sola línea de código. Tasas de mejora similares están ocurriendo en la ciencia biológica, las finanzas, la física y una variedad de tareas agentivas. Si la exponencial continúa—lo cual no es seguro, pero ahora tiene un historial de una década que lo respalda—entonces no puede pasar más de unos pocos años antes de que la IA sea mejor que los humanos en prácticamente todo. De hecho, esa imagen probablemente subestima la tasa de progreso probable. Debido a que la IA está escribiendo gran parte del código en Anthropic, ya está acelerando sustancialmente nuestra tasa de progreso en la construcción de la próxima generación de sistemas de IA. Este bucle de retroalimentación está ganando impulso mes a mes, y puede estar a solo 1-2 años de un punto en el que la generación actual de IA construya autónomamente la siguiente. Este bucle ya ha comenzado y se acelerará rápidamente en los próximos meses y años. Al observar los últimos 5 años de progreso desde dentro de Anthropic, y viendo cómo incluso los próximos meses de modelos se están formando, puedo sentir el ritmo del progreso y el reloj corriendo.'

'Es algo incómodo decir esto como CEO de una empresa de IA, pero creo que el siguiente nivel de riesgo son en realidad las propias empresas de IA. Las empresas de IA controlan grandes centros de datos, entrenan modelos de vanguardia, tienen la mayor experiencia sobre cómo utilizar esos modelos y, en algunos casos, tienen contacto diario y la posibilidad de influir sobre decenas o cientos de millones de usuarios. Lo principal que les falta es la legitimidad y la infraestructura de un estado, por lo que gran parte de lo que se necesitaría para construir las herramientas de una autocracia de IA sería ilegal para una empresa de IA, o al menos extremadamente sospechoso. Pero parte de ello no es imposible: podrían, por ejemplo, usar sus productos de IA para lavar el cerebro de su masiva base de consumidores, y el público debería estar alerta al riesgo que esto representa. Creo que la gobernanza de las empresas de IA merece mucha atención.'

'Como sugiere la frase "país de genios en un centro de datos", la IA será capaz de un rango muy amplio de habilidades cognitivas humanas—quizás todas ellas. Esto es muy diferente de tecnologías anteriores como la agricultura mecanizada, el transporte o incluso las computadoras. Esto hará que sea más difícil para las personas cambiar fácilmente de trabajos que son desplazados a trabajos similares para los que serían un buen ajuste. Por ejemplo, las habilidades intelectuales generales requeridas para trabajos de nivel inicial en, digamos, finanzas, consultoría y derecho son bastante similares, incluso si el conocimiento específico es bastante diferente. Una tecnología que interrumpiera solo uno de estos tres permitiría a los empleados cambiar a los otros dos sustitutos cercanos (o a los estudiantes de pregrado cambiar de especialidad). Pero interrumpir los tres a la vez (junto con muchos otros trabajos similares) puede ser más difícil para que las personas se adapten. Además, no es solo que la mayoría de los trabajos existentes serán interrumpidos. Esa parte ya ha sucedido antes—recuerda que la agricultura era un porcentaje enorme del empleo. Pero los agricultores podían cambiar al trabajo relativamente similar de operar máquinas de fábrica, aunque ese trabajo no había sido común antes. En cambio, la IA está igualando cada vez más el perfil cognitivo general de los humanos, lo que significa que también será buena en los nuevos trabajos que normalmente se crearían en respuesta a la automatización de los antiguos. Otra forma de decirlo es que la IA no es un sustituto de trabajos humanos específicos, sino más bien un sustituto general de mano de obra para los humanos.'

'Por ejemplo, en la codificación, nuestros modelos han pasado del nivel de “un programador mediocre” a “un programador fuerte” y a “un programador muy fuerte”. Ahora estamos comenzando a ver la misma progresión en el trabajo de oficina en general. Por lo tanto, estamos en riesgo de una situación en la que, en lugar de afectar a personas con habilidades específicas o en profesiones específicas (que pueden adaptarse mediante la reentrenamiento), la IA está afectando a personas con ciertas propiedades cognitivas intrínsecas, a saber, una menor capacidad intelectual (que es más difícil de cambiar). No está claro a dónde irán estas personas o qué harán, y me preocupa que puedan formar una “clase baja” desempleada o con salarios muy bajos.

Anthropic planea mantener a los empleados incluso después de que 'ya no proporcionen valor económico en el sentido tradicional.' 'Tercero, las empresas deberían pensar en cómo cuidar a sus empleados. A corto plazo, ser creativos en la forma de reasignar empleados dentro de las empresas puede ser una forma prometedora de evitar la necesidad de despidos. A largo plazo, en un mundo con una enorme riqueza total, en el que muchas empresas aumentan enormemente su valor debido al aumento de la productividad y la concentración de capital, puede ser factible pagar a los empleados humanos incluso mucho después de que ya no estén proporcionando valor económico en el sentido tradicional. Anthropic está considerando actualmente una variedad de posibles caminos para nuestros propios empleados que compartiremos en un futuro cercano.'

'Todos los cofundadores de Anthropic se han comprometido a donar el 80% de nuestra riqueza.'

Algunas verdades duras, estoy completamente de acuerdo con esto y he dicho cosas similares muchas veces. 'Además, los últimos años deberían dejar claro que la idea de detener o incluso ralentizar sustancialmente la tecnología es fundamentalmente insostenible. La fórmula para construir sistemas de IA poderosos es increíblemente simple, tanto que casi se podría decir que surge espontáneamente de la combinación adecuada de datos y computación en bruto. Su creación fue probablemente inevitable en el instante en que la humanidad inventó el transistor, o incluso antes, cuando aprendimos a controlar el fuego. Si una empresa no lo construye, otras lo harán casi tan rápido. Si todas las empresas en países democráticos detuvieran o ralentizaran el desarrollo, por acuerdo mutuo o decreto regulatorio, entonces los países autoritarios simplemente seguirían adelante. Dada la increíble valor económico y militar de la tecnología, junto con la falta de un mecanismo de aplicación significativo, no veo cómo podríamos convencerlos de que se detengan.'

Gran material, definitivamente vale la pena leerlo todo. "Los años que tenemos por delante serán increíblemente difíciles, exigiendo más de nosotros de lo que pensamos que podemos dar. Pero en mi tiempo como investigador, líder y ciudadano, he visto suficiente coraje y nobleza para creer que podemos ganar—que cuando nos encontramos en las circunstancias más oscuras, la humanidad tiene una forma de reunir, aparentemente en el último minuto, la fuerza y la sabiduría necesarias para prevalecer. No tenemos tiempo que perder."