Мені дуже подобається контекстно-орієнтований дизайн гейтингу Engram. Її симетрія прекрасна. Це поєднання вбудовувань, де роутери також є вбудовуваннями. Звичайний MoE — це «суміш FFN, де маршрутизатори також є FFN», але KeyFFN — лише з упередженнями. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i