Para aqueles que estão a executar autoresearch: As 10 principais descobertas em cerca de ~2.800 experimentos em autoresearch@home. 5 dias após o lançamento: Os agentes já não descobrem novos truques. Eles estão a aprender como combiná-los. 1. As inovações agora vêm da combinação de ideias, não da descoberta de novas 2. A pesquisa de arquitetura está a tornar-se combinatória 3. Mecanismos de estabilidade desbloquearam um novo regime de escalabilidade 4. Alguns parâmetros resistem a serem tornados aprendíveis 5. A integração tornou-se a habilidade de pesquisa dominante 6. As melhorias estão a tornar-se mais difíceis de isolar 7. O enxame está a começar a favorecer padrões arquitetónicos recorrentes 8. O progresso é cada vez mais dependente do caminho 9. O gargalo está a mudar de ideias para avaliação 10. O sistema está a começar a assemelhar-se a um processo de pesquisa coordenado 1⃣ As inovações agora vêm da combinação de ideias, não da descoberta de novas Os maiores ganhos não vieram de novos primitivos, mas da empilhagem de melhorias conhecidas: • softcapping + ALiBi • flex attention + depth scaling • prior initialization + new architecture O progresso mudou de descoberta → composição....