Je suis plongé dans l'IA (l'apprentissage automatique à l'époque...) depuis 2007. J'ai étudié l'apprentissage automatique aux États-Unis, lu la plupart des livres, écouté tous les podcasts. Rien ne m'a choqué comme le récent livre + l'interview de Roman Yampolskiy. 🧵

son avis est rare et profond : construire une superintelligence artificielle (ASI) n'est pas seulement risqué, c'est pratiquement une extinction garantie.

la capacité est résolue (calcul + données = IA plus intelligente). la sécurité n'est pas résolue. et l'écart entre les deux grandit chaque jour.

les marchés de prédiction + les leaders des laboratoires disent que l'AGI pourrait arriver d'ici 2027. La superintelligence suivra probablement automatiquement. Nous ne sommes pas prêts.

roman prédit non pas 10 % de chômage, mais un chômage quasi total (>99 %+). tant le travail cognitif que physique sera remplacé. la reconversion ne servira à rien si tous les emplois sont automatisables.

Les "garde-fous" ne sont que des pansements. Des systèmes plus intelligents les contournent. Débrancher ? Fantaisie. Vous ne débranchez pas quelque chose qui est plus intelligent que vous, c'est lui qui débranche le vôtre.

le risque d'extinction n'a même pas besoin d'IA. La biologie assistée par IA pourrait donner à un acteur malveillant des outils pour causer des dommages à l'échelle de la civilisation.

les dynamiques de course sont brisées : une fois que l'ASI est activée, peu importe qui l'a construite. les deux côtés perdent.

appel de roman : faites une pause asi. gardez l'IA étroite pour de vrais problèmes. arrêtez de poursuivre des systèmes "divins" que nous ne pouvons pas aligner ou contrôler.