私はこの研究の方向性が本当に好きです! 長い間、私はSSMとトランスフォーマーの「脳とデータベース」のアナロジーについて話してきました。これの延長線上で何度か触れたのは、単一のモデルではなく、マルチコンポーネントの「システム」の構築を考え始めると、トレードオフが変わると思うということです。 たとえば、現代のハイブリッドモデルがSSMを主要な「脳のような」処理ユニットとして使用している一方で、正確な検索を支援するために主に「データベースのような」キャッシュに注意が向けられているという直感に同意する場合、おそらくより最適なシステムは、明示的な外部知識データベースとコンテキストキャッシュを組み合わせた純粋なSSM言語モデルである可能性があるという仮説を立てました。これは、主に外部の知識ストア(本、インターネット)とツールの使用によって支援された脳(SSM)によって駆動される人間のような知能にはるかに似ています。 この論文は、インタラクティブなツールの使用で動作するエージェントモデルのこの領域において、SSMがトランスフォーマーと比較して非常に良好なパフォーマンスを持っているように見えるという非常に興味深い結果を示しています。直感が検証されたのを見ることができてうれしいですし、この方針に沿ってさらなる研究が続くことを願っています。