Jedną z dość odważnych rzeczy, które robi DeepSeek, jest to, że pokazują Engram osiągającego świetne wyniki przy 27B, a następnie 40B, co praktycznie nie poprawia się dalej, i mówią „eh, jest niedotrenowany”. Uważam, że profil pojemności warstw Engram w porównaniu do FFN ma istotny wpływ na różnych skalach.

Przypomina mi to DS-MoE, gdzie spojrzeli na wariant «pół aktywowany» jako coś bardzo ambitnego, biorąc pomysł do granic możliwości. Naturalnie, ostatecznie V2 miało dokładnie ten stosunek rzadkości, a V3 było jeszcze rzadsze.