Tento směr výzkumu se mi opravdu líbí! Dlouho jsem mluvil o analogii "mozek vs. databáze" SSM vs Transformers. Rozšířením toho, které jsem zmínil několikrát, je to, že si myslím, že kompromisy se změní, když začneme přemýšlet o vytváření vícesložkových *systémů* spíše než jednotlivých modelů. Pokud se například přihlásíme k intuici, že moderní hybridní modely používají SSM jako hlavní procesorovou jednotku "podobnou mozku", zatímco pozornost je primárně zaměřena na ukládání do mezipaměti "podobné databázi", které pomáhá s přesným vyhledáváním, pak jsem předpokládal, že optimálnějším systémem by možná mohl být čistě jazykový model SSM v kombinaci s explicitními externími znalostními databázemi a kontextovými mezipamětmi. To je mnohem analogičtější s inteligencí podobnou té lidské, která je primárně řízena mozkem (SSM) za pomoci externích zásob znalostí (knihy, internet) a používání nástrojů. Tento článek ukazuje docela zajímavé výsledky, že SSM se zdají mít velmi příznivý výkon ve srovnání s Transformery v tomto režimu agentních modelů pracujících s interaktivním použitím nástrojů. Jsem rád, že se intuice potvrdila, a doufám, že v tomto směru bude pokračovat další výzkum!