RETROがリリースされたとき、私はリトリーバル(検索)がLLMにとって大きな意味を持つと考えていました。パラメータ数を減らしつつ、モデルの知識の深さを広げるためです。企業がその考えを避けていたのは驚きでした。 ホエールがリトリーバルを登場させる: > 特に、メモリモジュールは知識の検索を支援することが期待されています(例:MMLU +3.4;CMMLU +4.0)、一般推論ではさらに大きな向上(例:BBH +5.0;ARC-Challenge +3.7)およびコード/数学領域(HumanEval +3.0;数学 +2.4)。機構解析により、エングラムはバックボーンの初期層を静的な再構築から解放し、複雑な推論のためのネットワークを効果的に深化させることが明らかになりました。