多くのトップ研究者は、スケーリングだけではAGIには至らず、最終的にはトランスフォーマーの創出に似た大規模な研究ブレークスルーが必要になると主張し始めています。 私は最近、アルファベットの会長であるジョン・ヘネシー氏と話す機会があり、現在のスケーリング傾向が単なる一時的な段階なのか、それともそれ自体がパラダイムなのか尋ねました。 彼は二つの重要な問いがあると述べました。 スケーリングが複雑な推論を行うAIシステムを構築する能力の進歩を今後もたらし続けるかどうか。これまでのところ、その動きが止まる様子は見られていないので、答えは明確に「はい」ではないが、おそらくそうだろう。 第二の疑問は、スケーリングがコスト効率を保つかどうかで、彼の答えは「いいえ」でした。有用な指標としてワットあたりの性能が注目されており、その曲線は徐々に平坦になりつつあります。 スケーリングがモデルの能力を向上させ続けたとしても、本当のボトルネックは収益逓減ではなく、AGIやASIレベルのシステムに到達するために必要なエネルギーコストかもしれないことがますます明らかになってきていると思います。 プラトーは生のパフォーマンスではなく、ワットあたりのパフォーマンスで現れています。ASIの問題は最終的にエネルギー問題に崩壊します。カルダシェフにしよう。