128GBのMacBook Proの価格を同じまま@appleという話はしていません。メモリ価格の急騰に対応した価格上昇は見られませんでした。 みんな計算量の向上、プリフィルの4倍の速さについて話しています。これは面白いですが、実際にはそれほど大きな問題ではありません。なぜでしょうか?なぜなら、自分のPCではLLMを使うほとんどのアプリやツールは高いkvキャッシュヒット率を得るからです。つまり、ユーザーとして遅いプリフィルは一度しか経験しません。KVキャッシュはディスクに永続化でき、6GB/sでロードできます。 LLMの推論におけるほとんどの時間はデコードに費やされ、これはメモリ帯域幅に制限されます。 画像や動画生成、高バッチLLM推論、ファインチューニングには依然として優れており、これらは計算に縛られます。そこで大幅なスピードアップが見られるはずです。 AppleのAI戦略はオンデバイス型のLLMであり、ここでは記憶が主役であり、FLOPSではありません。 M5 Pro/Max Mac MiniやM5 Ultra Mac Studioでも同様のことが予想されます。つまり、10kで512GB M5 Ultraを搭載できるということです! @tim_cookはサプライチェーンの天才です。