ок, так что: engram — это moe над ngramed памятью mHC — это moe над остаточным потоком NSA — это moe над вниманием MoE — это moe над FFN ... я чувствую тему ....

(я знаю, что закрытый выбор не является _буквально_ moe, но так звучит лучше)