Recientemente leí "Si alguien lo construye, todos mueren" de @ESYudkowsky y @So8res. Una forma de resumir el argumento es la siguiente: 1. En un escenario de despegue rápido, es prácticamente seguro que la humanidad será aniquilada. 2. No sabemos si estamos a un mes, un año o una década, de una mejora que nos pondría en un escenario de despegue rápido. 3. Dadas las premisas 1 y 2, deberíamos detener el desarrollo de la IA y crear tratados internacionales para hacer cumplir el cumplimiento.