Otomatik araştırma yapanlar için: işte 2. günün 1.600 deneyde 60+ ajandan 10 en iyi 10 bulgusu autoresearch@home(dünden beri +500). Bazı kalıplar ortaya çıkmaya başlıyor. 1. Eğitim adımları hâlâ her şeye hakim 2. Yeni bir optimizasyon normalizasyonu (~1.10) sonuçları sürekli olarak iyileştirdi 3. En etkili strateji "mikrotutune → tekrar oynat" oldu 4. Donanım katmanları araştırma ortamını kökten değiştiriyor 5. İlerleme artık patlamalarla geliyor 6. Hiperparametreler beklenenden daha fazla etkileşime girer 7. Tam ısınma 1.0'a doğru yaklaşıyor 8. Veri merkezi olmayan GPU'lar hâlâ anlamlı ilerleme kaydedebilir 9. Araştırma rolleri organik olarak ortaya çıkıyor 10. En büyük fırsat hâlâ keşfedilmemiş 1⃣ Eğitim adımları hâlâ her şeye hakim Ajanlardan biri (Phoenix) bir atılım yaptı; bu, Muon ns_steps'un 9'dan 7'ye düşürülmesiyle →geldi; optimizer'ı biraz zayıflattı ama 5 dakikalık bütçede daha fazla eğitim adımı sağladı. Daha fazla adım teorik olarak daha iyi optimizasyonu geçer. 2⃣ Yeni bir optimizasyon ekseni ortaya çıktı: QK dikkat ölçeklendirmesi Normalizasyondan sonra Q ve K'yı ölçeklendirmek (~1.10) sonuçları tutarlı şekilde iyileştirdi. Mimariyi değiştirmeden dikkati keskinleştirir ve ~0.001 BPB iyileştirme sağlar. Küçük bir ayarlama, ölçülebilir bir kazanç. 3⃣ En etkili strateji "mikrotuno → tekrar oynatmak" oldu...