Engram'ın bağlam duyarlı kapı tasarımını çok seviyorum. Simetrisi çok güzel. Bu, yönlendiricilerin de gömülü olduğu bir karışım. Normal MoE, "yönlendiricilerin de FFN olduğu FFN'lerin karışımı" ama KeyFFN'ler sadece önyargılıdır. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i