在「注意力就是你所需要的」和 chatGPT 發布之間有五年半的時間。又過了三年。 我今天大部分時間都在努力串聯起一些能夠解釋這些年的話。當「注意力」發佈時，我19歲，在一個工業機器學習實驗室工作，專注於文檔解析。 那時語言建模無疑是一個文化的邊緣領域，尤其是在醫療保健方面。IBM Watson 剛在第一次偉大的自然語言處理熱潮中燒掉了幾十億美元，甚至幾百萬美元重新進入這個領域的想法似乎都是荒謬的。 接下來的夏天，生成預訓練論文發佈了。我記得是我一位大學室友的前男友轉發給我的，他在波士頓的一個工業低層建築裡經營一家文檔處理公司。 如果你眯起眼睛，這些論文一起形成了一幅足夠清晰的研究議程的畫面，能夠實現真正優秀的工業自然語言處理。你可以想像策劃數據集，甚至可能找到足夠的資金將幾個 GPU 組合在一起，或許能得到一些有用的東西。 那年秋天我辭去了工作，專注於模型。 此時「AI 有點真實」社區的精神中心是一組伯克利的合租房，他們堅信自己已經解決了人類心理學。再過幾年他們才會因為一場召喚惡魔的醜聞而崩潰。 而從那時起，再過兩年，擴展法則才變得明朗。 而距離 chatGPT 還有更長的時間。 這段空白讓我感到困擾。五年半是一個永恆，但我們現在談論它時卻像是一條直線。 事實並非如此。這是一條漫長的道路，燒掉了大量資本，摧毀了公司，還有數十條死胡同。 現在每個人都假設部署階段會是瞬間的。因為我們擁有智慧，經濟將會圍繞它流暢地重塑。 但我看著我們試圖將這些東西注入的系統——人類的血肉過程——感覺不可能不感受到同樣的時間膨脹感。 讓模型運作是一個技術問題。讓世界與之合作卻完全不是。 實際經濟擴散的道路將比資本市場所允許的要長得多。這次不是 IBM 燒掉幾十億，而是每個人。每個大型公司。每個初創企業。數萬億的市值押注於假設人類組織像技術產品一樣運作的部署時間表。 ...