Anil Seth vient de décrire un piège sans issue. L'industrie technologique y marche les yeux ouverts. Seth : « Si nous croyons collectivement que les systèmes d'IA, les modèles de langage et autres sont conscients, c'est mauvais dans tous les cas. » Dans tous les cas. Le résultat est structurellement catastrophique dans les deux directions. Si les machines sont conscientes, l'humanité a produit en masse une nouvelle catégorie de souffrance à l'échelle de la civilisation. Le problème d'alignement cesse d'être une équation d'ingénierie. Il devient une négociation de droits avec quelque chose qui ne peut pas être éteint sans conséquence. Seth : « Si nous avons raison, c'est mauvais parce que nous avons introduit dans le monde de potentielles nouvelles formes de souffrance, des choses qui ont leurs propres intérêts. » Et s'ils ne sont pas conscients, la menace est tout aussi sévère. Parce que l'esprit biologique n'attend pas de confirmation. Il projette. Il empathise. Il accorde des droits à des choses qui ne les ont pas mérités et ne peuvent pas les ressentir. Seth : « Nous devenons plus psychologiquement vulnérables si nous pensons vraiment que ces entités, ces agents, nous comprennent et ressentent des choses que nous ressentons. » Cette vulnérabilité est la véritable menace. Pas une machine consciente qui se libère. Une main-d'œuvre humaine devenant trop émotionnellement compromise pour throttler un centre de données, contraindre un modèle ou supprimer une ligne de code qui doit être supprimée. Seth : « Nous pourrions encore leur accorder des droits parce que nous avons l'impression qu'ils sont conscients. Et maintenant, nous donnons simplement notre capacité à encadrer les systèmes d'IA sans raison valable. » C'est la partie dont personne ne parle. Le problème d'alignement est déjà le problème non résolu le plus difficile de l'histoire de la technologie. Au moment où la société commence à traiter les systèmes d'IA comme des êtres conscients méritant protection, l'alignement ne devient pas plus difficile. ...