フロンティアモデルのビジネスモデルについての深い考察。これらすべては、The InformationやNYTなどがリークした数字に基づいています。 🔵コア:これは計算を消費するマシンです モデルの核心は残酷にシンプルです。ほぼすべてのコストは計算、つまり推論、特にトレーニングから発生します。訓練はスケーリングの法則のようなものに従っています。コストが毎年~5倍上昇すると仮定します。そして、トレーニングコストのROIは2倍です。 それが奇妙なダイナミクスを生み出します: 1年目のトレーニング費用:1 そのモデルによる2年目の収益:2 しかし、次世代モデルの2年目のトレーニングコストは5 ネット:+2 - 5 = -3 さらに進めると、さらに悪化します: 3年目の収益:+10 3年目のトレーニングコスト:-25 ネット:-15 現在運用されているフロンティアモデルは、キャッシュフローをマイナスにする雪だるま式です。世代ごとに前世代よりも多くの現金を消費しています。 これがキャッシュフローのプラスに変わるためには、論理的に変わることは二つだけです。 A. 収益は2倍よりもはるかに速く成長します。 B. トレーニングコストの増加は年間5倍から約<2倍に鈍化します AnthropicのCEOであるダリオ・アモデイは、シナリオB(「トレーニングコストの指数関数的な増加が止まる」)を2つの現実に分類しました。 1/ 物理的・経済的限界:5倍の規模のモデルを訓練することはできません。チップが不足し、電力が足りず、コストが世界GDPに近づくためです。...