天啊……這可能是 AI 的下一個重大範式轉變。 🤯 騰訊 + 清華大學剛發表了一篇名為《持續自回歸語言模型》(CALM)的論文,這基本上摧毀了每個 LLM 所建立的「下一個標記」範式。 CALM 不是一次預測一個標記,而是預測代表多個標記的連續向量。 這意味著:模型不是「逐字思考」……而是「每一步思考一個概念」。 這就是為什麼這很瘋狂 👇 → 預測步驟少了 4 倍(每個向量約 = 4 個標記) → 訓練計算量減少 44% → 沒有離散詞彙,純粹的連續推理 → 新指標(BrierLM)完全取代困惑度 他們甚至建立了一個新的基於能量的變壓器,能在沒有 softmax、沒有標記抽樣、沒有詞彙上限的情況下學習。 這就像是從說摩斯密碼……到流暢地表達完整的思想。 如果這能擴展,今天的每個 LLM 都將過時。