Chamath:AIで注目すべき用語は、プリフィルとデコードです 「これから数年でたくさん聞くことになると思う二つの用語があるんだ。」 「最初の項はプリフィル、次はデコードだ。」 「プリフィルとデコードとは、モデルの考え方と、モデルがあなたの質問に答える過程を経る過程において非常に異なる二つの方法です。」 「だから、AIにプロンプトを送ると、モデルがそれを処理します。これをリーディングフェーズ、またはプリフィルと呼びます。」 「あなたのプロンプトを一度に全部読みます。それからたくさんの計算をして、すべての単語間の関係性を計算し、それらを一時的な記憶に保存するんだ。」 「問題は、これが本当に計算に縛られていることです。つまり、膨大な力任せが必要です。そしてNvidiaのGPUはここで圧倒的です。」 「そして彼らのアーキテクチャは大規模な並列処理を想定して設計されており、長いプロンプトを消化するのに本当に優れている。」 「問題はどんどん大きくなっていき、Nvidiaが完全に支配しているんだ。」 「でも次の段階、この重要な段階、解読段階は執筆段階だよね?」 「だからモデルは応答を生成し始め、あなたは質問をし、その答えは一つずつトークンを繰り返します。」 「そして次の言葉を選ぶトークンを選ぶには、すでに言ったことをすべて振り返らなければ幻覚を見ない。」 「問題は、これが非常にメモリ帯域幅に制約されていることです。」 「そして私たちの建築では、ずっと昔から最初の日からこうしたデザイン決定を下していました。」 「そこで私たちは、まったく異なるアーキテクチャ的アプローチを取り、非常に保守的なプロセス技術を採用しました。物理の限界を押し広げていたわけじゃない。」 ...