HCはクロネッカー分解されたダウン&アップ投影を使用しますが、混合演算H^resが必要です。 mHCは戦略的にH^resが二重確率行列であることを必要とし、これはmatmulの閉包となります。 (直交するのも可能かもしれません) LatentMoEは上下投影にフルマトリックスを使用します。