HC používá kroneckerovy faktorizované projekce dolů a nahoru, ale vyžaduje míchací operaci H^res. mHC strategicky vyžaduje, aby H^res byly dvojnásobně stochastické matice, což je uzávěr s matmulem. (ortogonální možná také funguje) LatentMoE používá plné matice pro projekce dolů a nahoru.