HC menggunakan proyeksi down &up yang difaktorkan kronecker, tetapi membutuhkan operasi pencampuran H^res. mHC secara strategis membutuhkan H^res untuk menjadi matriks stokastik ganda, yang merupakan penutupan w.r.t. matmul. (ortogonal mungkin juga berfungsi) LatentMoE menggunakan matriks penuh untuk proyeksi turun & naik.