跳轉至主要內容
行情
掃鏈
追蹤
信號
牛人榜
兌換
資產
邀請計劃
更多
產品
DeFi
市場
洞察中心
Eco Hub
安全中心
開發者中心
X Layer
探索 X Layer
X Layer 瀏覽器
跨鏈橋
開發者文檔
測試網水龍頭
GitHub
Wallet API
探索 Wallet API
API 文檔
API Key 管理
區塊鏈瀏覽器
DApp 連接錢包
Boost
X Launch
參與 X Launch,搶先賺新幣
X Campaign
參與活動,贏取豐厚獎勵
獎勵中心
領取獎勵和空投
預警
語言
貨幣
顏色設置
下載 OKX Wallet
Web3 指南
公告
返回
繁體中文
简体中文
English
Tiếng Việt
Русский
Español (Latinoamérica)
Bahasa Indonesia
Français
Deutsch
Italiano
Polski
Čeština
Română
Português (Portugal)
Português (Brasil)
Українська
Español (España)
Nederlands
العربية
日本語
Norsk (bokmål)
Suomi
Svenska
Türkçe
返回
返回
學院
幫助中心
發現功能使用指南
熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
Hosico
-5.7%
USELESS
-0.95%
IKUN
-1.15%
gib
-1.72%
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
Bonk
+1.01%
ALON
-0.97%
LAUNCHCOIN
-1.63%
GOONC
-1.39%
KLED
-10.73%
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
BOOP
-0.21%
Boopa
+3.49%
PORK
+2.87%
主頁
Albert Gu
助理教授@mldcmu。首席科學家@cartesia_ai。引領 SSM 革命。
查看原文
Albert Gu
2025年10月29日
對我們迄今為止最好的模型感到無比自豪。 感謝能夠與這樣一支強大的研究團隊合作,他們總是充滿好奇,願意探索未曾踏足的道路。
47.84K
326
Albert Gu
2025年10月20日
我真的很喜歡這個研究方向! 很長一段時間以來,我一直在談論SSMs與Transformers之間的「大腦與數據庫」類比。我提到過的一個延伸觀點是,當我們開始考慮構建多組件*系統*而不是單一模型時,權衡會發生變化。 例如,如果有人認同這種直覺,即現代混合模型將SSM作為主要的「類大腦」處理單元,而注意力主要用於「類數據庫」的緩存以幫助精確檢索,那麼我假設或許一個更優化的系統可以是純SSM語言模型結合明確的外部知識數據庫和上下文緩存。這更類似於人類智慧,主要由大腦(SSM)驅動,並輔以外部知識庫(書籍、互聯網)和工具使用。 這篇論文顯示出SSMs在這種互動工具使用的代理模型範疇中,似乎相較於Transformers具有非常有利的表現。很高興看到這種直覺得到了驗證,希望未來能有更多的研究沿著這個方向繼續進行!
Eran Malach
2025年10月17日
SSMs 承諾能有效地進行長上下文的語言建模,但到目前為止,在許多情境中似乎表現不如 Transformers。我們的新研究表明,這不是 SSMs 的問題,而是我們目前使用它們的方式存在問題。 Arxiv: 🧵
63.8K
540
熱門
排行
收藏