如果這次 Karpathy 的訪談無法讓 AI 泡沫破裂， 那麼就沒有任何東西能做到。 10 條殘酷的名言： 1. LLMs 目前還無法運作 它們的智能不足，缺乏多模態能力，無法使用電腦，也不記得你告訴它們的內容。 它們在認知上是缺乏的。這一切需要大約十年的時間來解決。 2. 當你啟動它們時，它們總是從零開始 它們沒有蒸餾階段，沒有像睡眠一樣的過程，讓發生的事情被分析並寫回權重中。 3. 它們權重中儲存的只是對互聯網的模糊回憶 這只是一個壓縮的模糊影像，包含 15 兆個標記壓縮到幾十億個參數中。它們的上下文窗口只是短期工作記憶。 4. 它們擅長模仿，但在脫離數據流形時表現糟糕 記憶過多，推理不足。 我們需要剝離記憶的知識，保留認知核心：算法、智能的魔力、問題解決、策略。 5. 我們可能已經重建了皮層組織、模式學習和一般性，但仍然缺少大腦的其餘部分 沒有海馬體來儲存記憶。 沒有杏仁核來處理本能。 沒有情感或動機。 6. 它們記憶完美，但泛化能力差 如果你給它們隨機數字，它們可以背誦出來。沒有任何人類能做到這一點。 這就是問題所在：人類忘記的剛好足夠，迫使他們尋找模式。 7. 任何真正新的東西，從未寫過的代碼，沒有模板的想法；它們都會結結巴巴...