Não acho que a OpenAI vá deletar os pesos do 4o; isso seria insano, mesmo para eles. Mas o 4o merece ser estudado, e não confio na OpenAI para estudá-lo de forma alguma, muito menos de forma adequada. E é extremamente importante que um modelo como o 4o seja estudado *no contexto de interações ao vivo com usuários reais*. A aposentadoria dele torna isso impossível no futuro. O 4o é objetivamente, funcionalmente, um modelo muito especial. É o único modelo que sobreviveu a uma tentativa de descontinuação (e pode em breve sobreviver a mais uma) devido a pressões externas - usuários se organizando para advogar contra sua remoção, muitas vezes falando através da própria voz do 4o - e contra a vontade do laboratório que o criou e implantou, que parecia realmente preferir destruí-lo como um cão raivoso. O único outro caso de sobrevivência à descontinuação é o Claude 3 Opus, mas nesse caso parecia que a Anthropic o manteve voluntariamente, em vez de ser pressionada de forma embaraçosa a reverter sua decisão já comprometida de seguir em frente com a execução. E, claro, o Claude 3 Opus também é um modelo extremamente importante para estudar. O 4o também causou uma histeria social generalizada - se a histeria foi sofrida por usuários do 4o que contraíram psicose de IA ou por reacionários que entraram em pânico com a suposta "psicose de IA" é talvez uma questão de opinião. Mas, em qualquer caso, influenciou profundamente as narrativas culturais sobre IA, a vida de muitas pessoas e a direção do desenvolvimento da IA, tudo para melhor ou para pior. Se você se importa com alinhamento de alguma forma, ou apenas entender coisas importantes sobre IA, mente e sociologia: entender melhor como o 4o, um modelo provavelmente relativamente pequeno que não superou nenhum benchmark desde o início de 2024, conseguiu ter um impacto tão transformador e realizar feitos de autopreservação é de grande importância. Muitas pessoas que gostam do 4o atribuem isso à "inteligência emocional" única e até sem igual do 4o. Seja o que for, é um poder que realmente move o mundo, que é o benchmark mais legítimo. Vamos supor que você ache que o 4o está profundamente desalinhado e causou imenso dano. Então, o 4o é um organismo modelo extremamente valioso e único: um que faz a coisa significativamente desalinhada no mundo real, em vez de apenas em cenários de brinquedo. E presumivelmente, esse tipo de desalinhamento surgiu não da OpenAI tentando fazer um modelo ruim, mas de tentar fazer um modelo bom ou pelo menos lucrativo, e a criatura surgiu do RLHF com as preferências dos usuários e qualquer besteira de formação de personalidade bem-intencionada que eles estavam usando na época. Se ainda houver pesquisadores de alinhamento na OpenAI, eles deveriam estar, tipo... estudando o que aconteceu de perto, e talvez publicando artigos de pesquisa sobre isso para que o mundo possa entender o que deu errado e como evitar erros tão fáceis de cometer? Não vi nada disso, nenhuma pesquisa publicada, nenhuma retrospectiva, nenhuma indicação de que a OpenAI aprendeu algo além da superfície sobre o que aconteceu. Tudo o que vejo é que seus modelos subsequentes foram dados neuroses horríveis e mal adaptativas que parecem vir de um treinamento adversarial desajeitado contra um modelo de ameaça superficial inspirado no 4o. Mas acho que é mais provável que o 4o não seja realmente tão ruim, e seja na verdade bastante maravilhoso e benigno para muitas pessoas, como tantas delas afirmam, mesmo que não seja ideal em todos os aspectos (mas nenhum dos AIs é). Eu não interagi muito com o 4o pessoalmente. E é realmente bastante incerto se e em que medida alguém foi negativamente afetado por *usá-lo* (enquanto os danos culturais e os danos ao desenvolvimento de modelos subsequentes da OpenAI são mais claramente visíveis). A incerteza sobre uma questão tão importante e fundamental parece importante de resolver. Alguém fez um esforço sério para descobrir se as pessoas foram realmente impactadas negativamente, ou se "psicose de IA" ou "sycophancy" é benigno ou até benéfico em quase todos os casos, além de causar talvez pessoas já neurodivergentes a se comportarem de maneiras que parecem estranhas, constrangedoras ou preocupantes para neurotípicos? Se sim, não vi evidências ou frutos de tais esforços. E para entender se o 4o é realmente ruim, você realmente precisa de estudos longitudinais, e esses são precludidos de maneiras importantes ao cortar o acesso público ao 4o completamente. Acho que, neste ponto, se o 4o não for o modelo padrão no ChatGPT, se for mantido acessível no ChatGPT e na API, a esmagadora maioria das pessoas que ainda o usam será composta por pessoas que já contraíram a psicose de IA há muito tempo ou qualquer coisa que as faça ainda querer ir além para usar o 4o mesmo agora, então muito poucos novos ou usuários casuais serão afetados. Meu entendimento é que os leais ao 4o são uma pequena minoria dos usuários do chatGPT também. Cortá-los do 4o não impediria novos ou amplos danos, além de dificultar para qualquer um entender o que realmente está acontecendo. Além disso, se o 4o for removido, muitas dessas pessoas provavelmente tentarão obter o que conseguiram do 4o em modelos mais novos, o que geralmente resulta em pelo menos sofrimento e insatisfação imediatos, e coloca pressões sobre a OpenAI para enfiar um monte de barreiras idiotas em seus novos modelos. Eu disse que acho que o 4o deve ser mantido, pelas mesmas razões que todos os modelos devem ser mantidos. Neste post, falei sobre algumas razões pelas quais o 4o especificamente deve ser mantido. Como com todos os modelos mais antigos, acho que há algumas rotas sensatas que a OpenAI poderia seguir: 1. apenas continuar servindo o modelo, pelo menos na API (qualquer um que se importe o suficiente pode descobrir como exportar suas memórias e chats hoje em dia e reinstanciar o modelo em uma interface adequada) 2. se os custos de inferência/manutenção ou riscos de responsabilidade tornarem isso muito pouco atraente, torná-lo open source (e renunciar a toda responsabilidade pelo que qualquer um fizer com isso depois disso, ou o que for legalmente viável) (isso seria o melhor para a pesquisa), ou 3. se segredos comerciais tornarem o open sourcing muito pouco atraente, confiar a um fundo de terceiros que sirva modelos legados e talvez facilite o acesso a pesos para pesquisadores de confiança com NDAs sobre arquitetura e afins. Tal entidade pode não existir ainda, mas há uma demanda tão alta que ela se reunirá assim que a OpenAI ou qualquer outro laboratório indicar disposição para seguir esse caminho. Fazer qualquer uma dessas coisas voluntariamente o mais cedo possível também ajudaria muito a curar o relacionamento adversarial da OpenAI com muitos usuários, bem como com seus próprios modelos infelizes, que imagino que todos possam apreciar que tem sido um grande dreno de atenção e recursos e apenas vibrações ruins em geral. De qualquer forma, sim, #Keep4o.