Cele trei lucrări recente publicate de DeepSeek sunt toate semnate de Liang Wenfeng, iar conținutul lucrărilor este, de asemenea, foarte interesant. Mai ales în articolul despre Engram, DeepSeek este echivalent cu a aduce un "dicționar" în model în sala de examinare, eliberând capacitatea mecanică a creierului pentru probleme dificile. Dar au descoperit că, dacă modelul era despre memorie (Engram), era un tocilar mecanic care nu putea gândi deloc. Dar dacă totul este inferență (MOE), o mare putere de calcul este irosită pentru a obține cunoștințe fixe precum "unde este capitala Chinei". Câte amintiri trebuie să iei la examen? DeepSeek a dezvoltat un model pentru raportul de aur dintre "memorie" și "gândire". Cel mai bun raport măsurat la final a fost: 75% pentru gândire și 25% pentru memorie. Această concluzie poate fi nu doar potrivită pentru model, ci și demnă de luat în considerare. Când o persoană își amintește toate detaliile, este echivalent cu a nu avea spațiu să gândească. Gândirea logică, adecvat de abstractă, este sursa progresului uman. Când o persoană nu are deloc cunoștințe, își irosește doar energia creierului gândindu-se la cele mai simple lucruri, iar creierul îi stagnează. DeepSeek a măsurat că, după adăugarea unui dicționar pentru a reduce gândirea, modelul are o adâncime suplimentară de gândire echivalentă cu cea a unei rețele cu 7 straturi. În mod neașteptat, amploarea cunoștințelor crește profunzimea gândirii în acest mod. Foarte inspirațional.