安いビッグボウルモデルとは、戦術的な逆さま。 大規模モデルのオンプレミス展開の朗報がここにあります! 新発売のダークサイド・オブ・ザ・ムーンのKimi-Linear-48B-A3Bのテクニカル分析をお届けします! 文バージョンから始めましょう - これは安い大きなボウルのファーストフードモデルです。 48B-A3Bは1Mのコンテキストを実現し、その後、非常にメモリを節約する線形アテンションを実現します。 従来のアテンションコンテキストの長さの増加によって引き起こされるメモリ消費は指数関数的であり、線形であるため、このモデルはCPUで問題ありません。 私はすでにそれをダウンロードし、ローカルの共通モデルに追加する準備をしています。 現時点で最大の不確実性は、想起レベルが何であるかわからないことで、それをダウンロードしていくつかの小説を詰め込み、小説の詳細を尋ね、モデルがどのように答えるかを見て、想起効果を評価するつもりです。 結果を見たい方は「いいね!」をいただければ、週末には100名以上が評価を公開します。