熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
天啊……這可能是 AI 的下一個重大範式轉變。 🤯
騰訊 + 清華大學剛發表了一篇名為《持續自回歸語言模型》(CALM)的論文,這基本上摧毀了每個 LLM 所建立的「下一個標記」範式。
CALM 不是一次預測一個標記,而是預測代表多個標記的連續向量。
這意味著:模型不是「逐字思考」……而是「每一步思考一個概念」。
這就是為什麼這很瘋狂 👇
→ 預測步驟少了 4 倍(每個向量約 = 4 個標記)
→ 訓練計算量減少 44%
→ 沒有離散詞彙,純粹的連續推理
→ 新指標(BrierLM)完全取代困惑度
他們甚至建立了一個新的基於能量的變壓器,能在沒有 softmax、沒有標記抽樣、沒有詞彙上限的情況下學習。
這就像是從說摩斯密碼……到流暢地表達完整的思想。
如果這能擴展,今天的每個 LLM 都將過時。

熱門
排行
收藏

