DeepSeekin kolme viimeisintä julkaisua ovat kaikki Liang Wenfengin allekirjoittamia, ja niiden sisältö on myös erittäin mielenkiintoista. Erityisesti Engramia käsittelevässä artikkelissa DeepSeek vastaa mallin "sanakirjan" tuomista tutkimushuoneeseen, vapauttaen ulkoa tullutta aivokapasiteettia vaikeisiin ongelmiin. Mutta he huomasivat, että jos malli perustui muistiin (Engram), se oli ulkoinen nörtti, joka ei osannut ajatella lainkaan. Mutta jos kyse on pelkkästä päättelystä (MOE), suuri osa laskentatehoa tuhlataan kiinteän tiedon tuottamiseen kuten "missä on Kiinan pääkaupunki". Kuinka monta muistoa sinun täytyy ottaa mukaan kokeeseen? DeepSeek on kehittänyt mallin "muistin" ja "ajattelun" kultaisesta lestaluvusta. Lopulta mitattu paras suhde oli: 75 % ajattelulle ja 25 % muistille. Tämä johtopäätös ei välttämättä sovi vain mallille, vaan myös pohdinnan arvoinen. Kun ihminen muistaa kaikki yksityiskohdat, se on sama kuin ei olisi tilaa ajatella. Looginen ajattelu, sopivan abstrakti, on ihmisen edistyksen lähde. Kun henkilöllä ei ole lainkaan tietoa, hän tuhlaa aivonsa vain pohtimalla kaikkein perustavanlaatuisimpia asioita, ja hänen aivonsa ovat toimettomina. DeepSeek mittasi, että sanakirjan lisäämisen jälkeen ajattelun vähentämiseksi mallilla on lisäsyvyyttä, joka vastaa 7-kerroksisen verkon syvyyttä. Yllättäen tiedon laajuus lisää ajattelun syvyyttä tällä tavalla. Todella inspiroivaa.