Aqui está o Digest do Ritual Research desta semana, um boletim informativo que cobre as últimas novidades no mundo dos LLMs e a interseção entre Crypto x AI. Com centenas de artigos publicados semanalmente, é impossível manter-se atualizado com o que há de mais recente. Nós fazemos a leitura para que você não precise.

RLVE: Escalando o Aprendizado por Reforço para Modelos de Linguagem com Ambientes Verificáveis Adaptativos Os autores introduzem o RLVE para pós-treinamento, onde utilizam "ambientes verificáveis adaptativos" que geram problemas de acordo com o nível de habilidade dos modelos.

O método RLVE foi testado ao treinar o OpenThinker3-1.5B usando o RLVE-Gym, uma coleção de 400 ambientes de aprendizagem diferentes. O treinamento com RLVE levou a uma melhoria de 3,37% nas habilidades de raciocínio, utilizando 3x menos computação.

Bom demais para ser mau: Sobre a falha dos LLMs em interpretar vilões Este trabalho constata que modelos de IA treinados para serem úteis e seguros são ironicamente "bons demais" para interpretar vilões. Os LLMs apresentam uma queda no desempenho, lutando com traços como desonesto/manipulador.

O alinhamento de segurança que faz com que os modelos de IA recusem pedidos prejudiciais também os impede de simular autenticamente personagens moralmente complexos necessários para tarefas como escrita criativa, jogos e ciências sociais. Eles também introduzem um benchmark de "Moral RolePlay" para testar LLMs.

SSR: Auto-refinamento Socrático para Raciocínio de Modelos de Linguagem Grande Este trabalho introduz o SSR, que ajuda modelos de IA a avaliar o raciocínio, dividindo as respostas em partes menores, identificando quais passos específicos estão instáveis e corrigindo-os.

O SSR divide a resposta do modelo em "passos socráticos" menores, que são como pares de sub-pergunta/sub-resposta. Isso permite corrigir erros específicos na cadeia de raciocínio. Em 5 benchmarks e 3 LLMs, essa abordagem direcionada supera métodos que se autocorrigem cegamente.

SWE-fficiência: Podem os Modelos de Linguagem Otimizar Repositórios do Mundo Real em Cargas de Trabalho Reais? Este trabalho introduz um benchmark para testar quão bem os modelos de linguagem otimizam código em projetos de software do mundo real. Inclui 498 tarefas de bibliotecas de ML populares.

Os modelos de repositórios devem encontrar gargalos de desempenho e corrigi-los. Eles descobrem que os melhores modelos de IA de hoje alcançam menos de 15% dos aumentos de velocidade de especialistas. Os modelos têm dificuldade em localizar o código certo para otimizar, raciocinar sobre como as funções trabalham juntas e manter suas edições livres de bugs.

Siga-nos @ritualdigest para mais informações sobre tudo relacionado a pesquisa em cripto x IA, e @ritualnet para saber mais sobre o que a Ritual está construindo.