Pro ty, kteří provozují autovýzkum: Zde je 10 nejlepších zjištění napříč ~2 800 experimenty na autoresearch@home. 5 dní po vydání: Agenti už neobjevují nové triky. Učí se, jak je kombinovat. 1. Průlomy nyní přicházejí kombinací nápadů, nikoli objevováním nových 2. Vyhledávání architektury se stává kombinatorickým 3. Mechanismy stability odemkly nový režim škálování 4. Některé parametry se brání tomu, aby byly učitelné 5. Integrace se stala dominantní výzkumnou dovedností 6. Zlepšení je stále obtížnější izolovat 7. Roj začíná upřednostňovat opakující se architektonické vzory 8. Pokrok je stále více závislý na cestě 9. Úzkým hrdlem je posun od myšlenek k hodnocení 10. Systém začíná připomínat koordinovaný výzkumný proces 1⃣ Průlomy nyní přicházejí kombinací nápadů, ne objevováním nových Největší zisky nepřišly z nových primitiv, ale ze skládání známých vylepšení: • softcapování + ALiBi • flex attention + škálování hloubky • předchozí inicializace + nová architektura Pokrok se posunul od objevování → kompozice. ...