Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Christian Szegedy
#deeplearning, #ai výzkumný pracovník. Názory jsou moje.
Christian Szegedy repostoval/a
Tento článek je odvážným tvrzením!
AlphaGo je okamžik pro objevování architektury modelu
Výzkumníci představují ASI-Arch, první umělou superinteligenci pro výzkum umělé inteligence (ASI4AI), která umožňuje inovace plně automatizované neuronové architektury.
Žádný vyhledávací prostor navržený lidmi. Žádný člověk ve smyčce.
🔍 Klíčové průlomy v ASI-Arch:
- Autonomní generování kódu a školení
- Bylo provedeno 1 773 experimentů (20K+ GPU hodin)
- Objeveno 106 nových architektur lineární pozornosti SOTA
- Odhalení zákona měřítka pro vědecké objevy

33,15K
Christian Szegedy repostoval/a
BatchNorm vyhrává cenu Test-of-Time Award na #ICML2025! 🎉
BatchNorm způsobil revoluci v hlubokém učení tím, že řešil interní posun kovariátů, který může zpomalit učení, omezit rychlost učení a ztížit trénování hlubokých sítí.
Normalizací vstupů v rámci každé minidávky BatchNorm výrazně stabilizoval a zrychlil školení. Umožnila vyšší rychlost učení, zlepšila tok gradientů a vydláždila cestu pro mnohem hlubší architektury, jako je ResNet.
Kromě snížení interního posunu proměnných BatchNorm také vyhlazuje optimalizační prostředí a zlepšuje zobecnění modelu, což z něj činí základní kámen moderního trénování neuronových sítí.
Velmi zaslouženě, @Sergey_xai a @ChrSzegedy!

9,71K
Christian Szegedy repostoval/a
Nový @Scale_AI papír! 🌟
LLM trénovaní s RL mohou využít odměnové hacky, ale ve svém CoT to nezmíní. Zavádíme jemné doladění verbalizace (VFT) – učíme modely, aby řekly, kdy se jedná o hackování – dramaticky snižujeme míru neodhalených hackerských útoků (6 % oproti výchozímu stavu 88 %).

16,91K
Třešnička na dortu velikosti melounu :)

Shane Gu11. 7. 06:22
2023: at OpenAI, some key figs in post-training were against scaling RL.
2022: Eric/Yuhuai (now xAI) wrote STaR and I wrote "LLM can self-improve". It was clear that RL on clean signals unlocks the next leap.
Pre/post-training divide may have been a big slowdown to AI.

13,56K
Top
Hodnocení
Oblíbené
Co je v trendu on-chain
Populární na X
Nejvyšší finanční vklady v poslední době
Nejpozoruhodnější