Una cosa bastante valiente que hace DeepSeek es mostrar a Engram funcionando muy bien hasta 27B, y luego 40B que prácticamente no mejora más, y dicen «eh, está poco entrenado». Creo que el perfil de capacidad de las capas de Engramas frente a las FFN tiene efectos no triviales a diferentes escalas.

Me recuerda a DS-MoE, donde veían la variante «medio activada» como algo muy ambicioso, llevando la idea al límite. Naturalmente, con el tiempo V2 tenía exactamente esta relación de escasidez y V3 era aún más escasa.