Tři nedávné články publikované DeepSeek jsou všechny podepsané Liang Wenfengem a obsah těchto článků je také velmi zajímavý. Zvláště v článku o Engramu je DeepSeek ekvivalentem přinesení "slovníku" modelu do zkušební místnosti, čímž uvolňuje mechanickou kapacitu mozku pro obtížné úlohy. Ale zjistili, že pokud byl model hlavně o paměti (Engram), byl to mechanický nerd, který vůbec nedokázal myslet. Ale pokud je to všechno inference (MOE), hodně výpočetního výkonu se plýtvá na získání pevných znalostí jako "kde je hlavní město Číny". Kolik vzpomínek si musíte vzít na zkoušku? DeepSeek vyvinul model zlatého řezu "paměti" a "myšlení". Nejlepší poměr měřený nakonec byl: 75 % pro myšlení a 25 % pro paměť. Tento závěr nemusí být jen vhodný pro model, ale také stojí za zamyšlení. Když si člověk pamatuje všechny detaily, je to jako by neměl prostor na přemýšlení. Logické myšlení, příhodně abstraktní, je zdrojem lidského pokroku. Když člověk nemá žádné znalosti, jen plýtvá mozkovou energií přemýšlením o těch nejzákladnějších věcech a mozek mu zahybává. DeepSeek zjistil, že po přidání slovníku ke snížení myšlení má model další hloubku myšlení odpovídající sedmivrstvé síti. Nečekaně šíře znalostí tímto způsobem zvyšuje hloubku myšlení. Velmi inspirující.