スペクトル勾配法(例:ミューオン)が深層学習にどのように役立つかを研究した新しい論文: 1. DLにおける広範な不調和の形態を特定します:活性化後行列は低安定ランクです。 2. 次に、スペクトル法がそれにもかかわらず良好に機能する理由を説明します。 長いスレッド