トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
みんな本当の話を見逃している。
これは「促すテクニック」ではありません。その論文は「再帰的言語モデル」と呼ばれ、「再帰的メタ認知」ではありません。そして著者たちは引用数を稼ぐ無作為な研究者ではありません。
オマール・カッタブはDSPyを作り、31,000+のGitHubスターを持ち、複合AIシステムの構築方法を変えました。ティム・クラスカはGoogleのジェフ・ディーンと共に学習型インデックス構造の先駆者であり、MITのデータシステムとAIラボを運営しています。アレックス・チャンは両方の交差点で研究を行う博士課程の学生です。
実際の論文は特定の問題に取り組んでいます。それは、LLMは長い文脈で劣化するということです。グラフは、入力長が2^14トークンから2^21トークンにスケールするにつれてGPT-5のパフォーマンスが崩壊し、RLMは安定したパフォーマンスを維持していることを示しています。彼らはコンテキストウィンドウを100倍も超えた入力処理をしています。
Khattab自身のTwitterからの重要な洞察:「多くの人はRLMをLLMが自己呼び出しのものだと誤解しています。より深い洞察は、LLMが自分自身のプロンプトをオブジェクトとして操作することです。」
これによりカッタブの研究全体の流れが拡張されます。DSPyはプロンプトをプログラムモジュールに変換しました。ColBERTは回収をよりスマートにしました。RLMはコンテキストそのものを、モデルがメモリ内のデータのように操作できるものに変換します。
主要な分散型AIラボの一つであるPrime Intellectは、すでにこの基盤を築いています。彼らは、RLMが「強化学習を通じてモデルにエンドツーエンドでコンテキストを管理する方法を教えられる」と述べています。エージェントは数週間から数ヶ月にわたって実行しています。
本当の取引は?これにより、すべてのAIラボが直面する制約が解決されます。すなわち、コンテキストウィンドウは厳しい天井のようなものです。建築やトレーニングを通じてそれらを拡大するのは費用がかかります。RLMは既存のモデルに対応した推論時間アプローチを提供します。
ただし、注意が必要です。これは、コードを確実に書き実行できるモデルが必要です。ベンチマークはPython REPLでGPT-5を使用しています。コード生成の弱いモデルでは再帰分解をきれいに実装するのは難しいでしょう。この手法は、単なる推論能力だけでなく、コードの能力によってスケールします。
トップ
ランキング
お気に入り
