HC käyttää kronecker-faktorisoituja alas&ylös-projektioita, mutta se tarvitsee sekoitusoperaation H^res. mHC vaatii strategisesti, että H^res on kaksinkertaisesti stokastisia matriiseja, mikä on sulku matmulin kanssa. (ortogonaali saattaa myös toimia) LatentMoE käyttää täysiä matriiseja alas- ja ylös-projektioihin.