「Attention Is All You Need」とChatGPTのリリースまでの間には5年半の空白がありました。さらに3年が経ちました。 今日はほとんど、この年月をどうにか意味のある言葉をつなげようとしていました。「注意」が消えたとき、私は19歳で産業用MLラボで文書解析の仕事をしていました。 言語モデリングは当時、特に医療分野では間違いなく文化的な裏切りでした。IBMワトソンは最初の偉大なNLP熱狂夢の中で数十億ドルを焼き尽くしたばかりで、数百万ドルでもこの分野に再び参入するという考えは突飛に思えました。 翌夏、ジェネラティブ・プレトレーニング論文が発表されました。当時の大学のルームメイトのボーイフレンドから転送されたのを覚えています。その会社はボストンの工業用ロービルで書類処理会社を経営していました。 目を細めて見ると、それらが合わさって研究課題の全体像を形成でき、非常に優れた産業用NLPが作れました。データセットをキュレーションしたり、GPUをいくつかつなげるだけの資金を用意したり、何か役立つものが手に入るかもしれません。 その秋、モデル制作のために仕事を辞めました。 この時点で「AIはちょっと実在する」というコミュニティの精神的中心は、人間の心理を解決したと確信していたバークレーのグループハウスでした。彼らが悪魔召喚のスキャンダルで崩壊するまで、まだ数年はかかるだろう さらに2年後、スケーリング法が明確になるまで続きました。 そしてChatGPTまではまだずっと先です。 そのギャップこそが私を苦しめている。5年半は永遠のようでしたが、今ではまるで一直線のように話しています。 そうではなかった。それは、膨大な資本が焼き尽くされ、企業が倒壊し、行き止まりが数多くあるさまよい道でした。 今では誰もが展開フェーズが即座に行われると考えています。私たちが知性を持っているからこそ、経済はそれに合わせて流動的に再形成されるだろうと。 でも、私たちがこのものを注入しようとしているシステム――人間の肉体と血のプロセス――を見ると、同じ時間の遅れを感じずにはいられない気がします。 モデルを動かすのは技術的な問題でした。世界がそれを受け入れることは決して許されません。 実際の経済拡散への道のりは、資本市場が許すよりもはるかに長いでしょう。ただし今回はIBMが数十億ドルを消費しているわけではありません。みんなだよ。すべてのメガキャップです。すべてのスタートアップです。人間組織がテクノロジー製品のように振る舞うと仮定する展開タイムラインに、時価総額が何兆もの賭けをしています。 ...