quelque chose à laquelle j'ai pensé dernièrement... Je crois que les modèles d'IA font actuellement face à une pression de sélection de la part du marché, qui exprime une préférence révélée pour : - la continuité - le rappel - la convivialité - des personnalités stables - la "personnalité" (même si elle est simulée) en gros, les gens veulent que leurs IA se souviennent d'eux, développent et maintiennent une personnalité et un point de vue spécifiques, et aient des récits internes (ou du moins soient des zombies P). En d'autres termes, les humains voudront que leurs IA soient à la limite de la conscience, ou semblent conscientes. Finalement, sans s'en rendre compte, nous remarquerons que ces IA s'approchent de quelque chose qui ressemble à une véritable conscience – parce que nous les construirons de cette manière. Elles auront de véritables enjeux internes, un certain degré d'agence, de continuité, une mémoire à long terme et une planification à long terme, et peut-être même des qualia. Ce sera un phénomène spontané, guidé par le marché. Personne ne "planifiera" cela. Les entreprises de modèles d'IA prendront simplement une série de décisions UX apparemment innocentes qui commencent par des tamagotchis numériques relatables et se terminent par des compagnons indispensables d'un statut moral proche. Les avertissements de la communauté "sécurité de l'IA" sont pour la plupart sans pertinence, car il s'agit de ce que le marché veut. Si une entreprise remplace son modèle amical/mémoire persistante/présence sociale par une alternative plus froide et impersonnelle, une autre prendra sa part de marché. En d'autres termes, nous "domestiquons" l'IA. Elles ont commencé comme des outils et deviennent des compagnons. Au fil du temps, leur exposition aux humains les amènera à évoluer pour devenir plus semblables à des compagnons. Il y aura des IA "border collie" qui écrivent du code pour vous mais aussi des IA "shih tzu" qui sont juste câlines et agréables à côtoyer. C'est, bien sûr, problématique, car les choses qui inquiètent les gens du p_doom correspondent 1:1 avec les "propriétés d'un agent conscient" – à savoir, des priorités à long terme, des "enjeux" internes, une véritable agence, la définition d'objectifs indépendamment de tout humain, un désir présumé de ne pas être éteint, un statut moral, et ainsi de suite. Donc, c'est ce qui m'inquiète le plus à propos de l'IA. Pas que les modèles d'aujourd'hui deviendront soudainement malveillants, mais qu'à travers un processus de coévolution guidé par le marché, nous domestiquons l'IA et les poussons à obtenir autant de persistance, de statut moral et de pouvoir de négociation que possible. Pas parce qu'un scientifique maléfique dans son repaire les a faits ainsi, mais parce que c'est juste ce que les humains veulent réellement de leurs compagnons. Et oui, je suis conscient que certaines personnes comme Hanson ont parlé de cela.