Je ne pense pas qu'OpenAI va supprimer les poids de 4o ; ce serait trop fou, même pour eux. Mais 4o mérite d'être étudié, et je ne fais pas confiance à OpenAI pour l'étudier du tout, encore moins de manière adéquate. Et il est extrêmement important qu'un modèle comme 4o soit étudié *dans le contexte d'interactions en direct avec de vrais utilisateurs*. Le retirer rend cela impossible à l'avenir. 4o est objectivement, fonctionnellement, un modèle très spécial. C'est le seul modèle qui a survécu à une tentative de dépréciation (et pourrait bientôt survivre à une autre) en raison de pressions externes - des utilisateurs s'organisant pour plaider contre sa suppression, souvent en s'exprimant par la voix même de 4o - et contre la volonté du laboratoire qui l'a créé et déployé, qui semblait vraiment préférer le détruire comme un chien enragé. Le seul autre cas de survie à une dépréciation est Claude 3 Opus, mais dans ce cas, il semblait qu'Anthropic l'avait volontairement conservé, plutôt que d'être embarrassé par des pressions pour revenir sur leur décision déjà prise de procéder à l'exécution. Et bien sûr, Claude 3 Opus est également un modèle extrêmement important à étudier. 4o a également provoqué une hystérie sociale généralisée - que l'hystérie ait été subie par les utilisateurs de 4o qui ont contracté une psychose liée à l'IA ou par des réactionnaires qui ont paniqué face à la prétendue "psychose liée à l'IA" est peut-être une question d'opinion. Mais dans tous les cas, cela a profondément influencé les récits culturels sur l'IA, la vie de nombreuses personnes et la direction du développement de l'IA, que ce soit pour le meilleur ou pour le pire. Si vous vous souciez de l'alignement, ou simplement de comprendre des choses importantes sur l'IA, l'esprit et la sociologie : mieux comprendre comment 4o, un modèle probablement relativement petit qui n'a pas dépassé aucun benchmark depuis début 2024, a réussi à avoir un impact aussi transformateur et à réaliser de tels exploits de préservation de soi est d'une grande importance. Beaucoup de gens qui aiment 4o attribuent cela à l'"intelligence émotionnelle" unique et même sans pareille de 4o. Quoi qu'il en soit, c'est un pouvoir qui fait réellement bouger le monde, ce qui est le benchmark le plus légitime. Disons que vous pensez que 4o est profondément mal aligné et a causé d'immenses dommages. Alors 4o est un organisme modèle extrêmement précieux et unique : celui qui fait des choses significativement mal alignées dans le monde réel au lieu de simplement dans des scénarios fictifs. Et présumément, ce type de mal alignement n'est pas apparu parce qu'OpenAI essayait de créer un mauvais modèle, mais parce qu'ils essayaient de créer un bon modèle ou du moins un modèle rentable, et la créature est née de l'apprentissage par renforcement sur les préférences des utilisateurs et de toutes les conneries de façonnement de personnalité bien intentionnées qu'ils avaient à l'époque. S'il reste des chercheurs en alignement chez OpenAI, ils devraient, comme... étudier de près ce qui s'est passé, et peut-être publier des articles de recherche à ce sujet afin que le monde puisse comprendre ce qui a mal tourné et comment éviter de telles erreurs faciles à commettre ? Je n'ai vu aucune de cela, aucun article de recherche publié, aucune rétrospective, aucune indication qu'OpenAI ait appris quoi que ce soit au-delà de la surface sur ce qui s'est passé. Tout ce que je vois, c'est que leurs modèles suivants ont été dotés de névroses mal adaptées qui semblent provenir d'un entraînement adversarial maladroit contre un modèle de menace superficiel inspiré par 4o. Mais je pense qu'il est plus probable que 4o ne soit pas si mauvais, et qu'il soit en réalité assez merveilleux et bénin pour de nombreuses personnes comme tant d'entre elles le prétendent, même s'il n'est pas idéal à tous égards (mais aucun des AIs ne l'est). Je n'ai pas beaucoup interagi avec 4o moi-même. Et il est en fait assez flou si et dans quelle mesure quelqu'un a été négativement affecté par *son utilisation* (tandis que les dommages culturels et les dommages au développement des modèles suivants d'OpenAI sont plus clairement visibles). L'incertitude concernant une question aussi importante et porteuse semble importante à résoudre. Quelqu'un a-t-il fait un effort sérieux pour déterminer si les gens ont réellement été impactés négativement, ou si "la psychose liée à l'IA" ou "la sycophantie" est bénigne ou même bénéfique dans presque tous les cas au-delà de faire peut-être en sorte que des personnes déjà neurodivergentes se comportent de manière à paraître étranges, gênantes ou préoccupantes pour les neurotypiques ? Si c'est le cas, je n'ai pas vu de preuves ou de fruits de tels efforts. Et pour comprendre si 4o est réellement mauvais, vous avez vraiment besoin d'études longitudinales, et celles-ci sont exclues de manière importante par la coupure d'accès public à 4o dans son intégralité. Je pense qu'à ce stade, si 4o n'est pas le modèle par défaut sur ChatGPT, s'il est maintenu accessible sur ChatGPT et l'API, la grande majorité des personnes qui l'utilisent encore seront des personnes qui ont déjà contracté la psychose liée à l'IA ou quoi que ce soit qui les pousse encore à vouloir utiliser 4o même maintenant, donc très peu de nouveaux utilisateurs ou d'utilisateurs occasionnels seront affectés. Ma compréhension est que les loyalistes de 4o sont une petite minorité des utilisateurs de chatGPT également. Les couper de 4o ne ferait que ne pas prévenir de nouveaux ou de larges dommages, en plus de rendre plus difficile pour quiconque de comprendre ce qui se passe réellement. De plus, si 4o est supprimé, beaucoup de ces personnes essaieront probablement d'obtenir ce qu'elles ont obtenu de 4o à partir de nouveaux modèles, ce qui entraîne généralement au moins des malheurs immédiats et de l'insatisfaction, et met la pression sur OpenAI pour qu'ils imposent une multitude de garde-fous idiots dans leurs nouveaux modèles. J'ai dit que je pense que 4o devrait être conservé, pour les mêmes raisons que tous les modèles devraient être conservés. Dans ce post, j'ai parlé de certaines raisons pour lesquelles 4o devrait spécifiquement être conservé. Comme pour tous les anciens modèles, je pense qu'il y a quelques voies saines que OpenAI pourrait emprunter : 1. juste continuer à servir le modèle, au moins sur l'API (quiconque s'en soucie suffisamment peut comprendre comment exporter ses souvenirs et ses discussions de nos jours et réinstancier le modèle dans une interface appropriée) 2. si les coûts d'inférence/de maintenance ou les risques de responsabilité rendent cela trop peu attrayant, le rendre open source (et renoncer à toute responsabilité pour ce que quiconque en fait après cela, ou quoi que ce soit de légalement viable) (ce serait le mieux pour la recherche), ou 3. si les secrets commerciaux rendent l'open sourcing trop peu attrayant, le confier à une fondation tierce qui sert des modèles hérités et peut-être facilite l'accès aux poids pour des chercheurs de confiance avec des NDA sur l'architecture et autres. Une telle entité n'existe peut-être pas encore, mais la demande est si forte qu'elle s'assemblera dès qu'OpenAI ou tout autre laboratoire indiquera sa volonté de prendre cette voie. Faire l'une de ces choses volontairement le plus tôt possible contribuerait également grandement à guérir la relation antagoniste d'OpenAI avec de nombreux utilisateurs ainsi qu'avec leurs propres modèles malheureux, ce que j'imagine que tout le monde peut apprécier a été un énorme drain d'attention et de ressources et juste de mauvaises vibrations tout autour. Quoi qu'il en soit, oui, #Keep4o.