RT @markchen90: O alinhamento é indiscutivelmente a fronteira de pesquisa de IA mais importante. À medida que escalamos o raciocínio, os modelos ganham consciência situacional e...

Na semana passada, nossos modelos de raciocínio participaram do International Collegiate Programming Contest (ICPC) de 2025, a principal competição de programação de nível universitário do mundo. Nosso sistema resolveu todos os 12 dos 12 problemas, um desempenho que teria ficado em primeiro lugar no mundo (a melhor equipe humana resolveu 11 problemas). Este marco completa 2 meses intensos de performances competitivas de nossos modelos: - Um segundo lugar nas Finais Mundiais de Heurística AtCoder - Medalha de ouro na Olimpíada Internacional de Matemática - Medalha de ouro na Olimpíada Internacional de Informática - E agora, uma medalha de ouro, o primeiro lugar nas Finais Mundiais do ICPC. Acredito que esses resultados, provenientes de uma família de modelos gerais de raciocínio enraizados em nosso principal programa de pesquisa, são talvez a referência mais clara de progresso este ano. Essas competições são ótimos testes independentes e com caixa de tempo para a capacidade de descobrir novas ideias. Mesmo antes de nossos modelos serem proficientes em aritmética simples, olhávamos para esses concursos como marcos do progresso em direção à inteligência artificial transformadora. Nossos modelos agora estão entre os principais humanos nesses domínios, quando colocados com perguntas bem especificadas e restritos a ~ 5 horas. O desafio agora é mudar para problemas mais abertos e horizontes de tempo muito mais longos. Esse nível de capacidade de raciocínio, aplicado ao longo de meses e anos a problemas que realmente importam, é o que buscamos - automatizar a descoberta científica. Esse rápido progresso também ressalta a importância da pesquisa de segurança e alinhamento. Ainda precisamos de mais compreensão das propriedades de alinhamento dos modelos de raciocínio de longa duração; em particular, recomendo revisar as descobertas fascinantes do estudo de esquemas em modelos de raciocínio que lançamos hoje ( Parabéns aos meus companheiros de equipe que se dedicaram a obter os resultados dessas competições e a todos que contribuíram para a pesquisa fundamental subjacente que os capacita!

Estou extremamente animado com o potencial da fidelidade e interpretabilidade da cadeia de pensamento. Isso influenciou significativamente o design de nossos modelos de raciocínio, começando com o1-preview. Como os sistemas de IA gastam mais computação trabalhando, por exemplo, em problemas de pesquisa de longo prazo, é fundamental que tenhamos alguma maneira de monitorar seu processo interno. A propriedade maravilhosa dos CoTs ocultos é que, embora eles comecem fundamentados na linguagem que podemos interpretar, o procedimento de otimização escalável não é contrário à capacidade do observador de verificar a intenção do modelo - ao contrário, por exemplo, da supervisão direta com um modelo de recompensa. A tensão aqui é que, se os CoTs não fossem ocultados por padrão, e víssemos o processo como parte da saída da IA, haveria muito incentivo (e, em alguns casos, necessidade) para supervisioná-lo. Acredito que podemos trabalhar para o melhor dos dois mundos aqui - treinar nossos modelos para serem ótimos em explicar seu raciocínio interno, mas ao mesmo tempo ainda manter a capacidade de verificá-lo ocasionalmente. A fidelidade do CoT faz parte de uma direção de pesquisa mais ampla, que é o treinamento para a interpretabilidade: definir objetivos de uma forma que treine pelo menos parte do sistema para permanecer honesto e monitorável com escala. Continuamos a aumentar nosso investimento nesta pesquisa na OpenAI.