Los tres artículos recientes publicados por DeepSeek están todos firmados por Liang Wenfeng, y el contenido de los artículos también es muy interesante. Especialmente en el artículo sobre Engram, DeepSeek equivale a llevar un "diccionario" al modelo a la sala de examen, liberando la capacidad mecánica del cerebro para problemas difíciles. Pero descubrieron que si el modelo se basaba en la memoria (Engram), era un friki mecánico que no podía pensar en absoluto. Pero si todo es inferencia (MOE), se desperdicia mucha potencia de cálculo para obtener conocimientos fijos como "¿dónde está la capital de China?". ¿Cuántos recuerdos tienes que llevar al examen? DeepSeek ha desarrollado un modelo para la proporción áurea entre "memoria" y "pensamiento". La mejor proporción medida al final fue: 75% para pensar y 25% para memoria. Esta conclusión puede no solo ser adecuada para el modelo, sino también merecer la pena reflexionar. Cuando una persona recuerda todos los detalles, es equivalente a no tener espacio para pensar. El pensamiento lógico, apropiadamente abstracto, es la fuente del progreso humano. Cuando una persona no tiene ningún conocimiento, solo desperdicia la energía de su cerebro pensando en las cosas más básicas, y su cerebro se queda en reposo. DeepSeek midió que, tras añadir un diccionario para reducir el pensamiento, el modelo tiene una profundidad adicional de pensamiento equivalente a la de una red de 7 capas. De forma inesperada, la amplitud del conocimiento aumenta la profundidad del pensamiento de esta manera. Muy inspirador.