熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁

Gradient
Parallax 表現背後的秘密在於關鍵的伺服器級優化:
– 持續批次處理:動態分組請求以最大化硬體利用率和吞吐量。
– 分頁 KV-快取:基於區塊的設計防止記憶體碎片化,處理數千個並發請求。
– 異構工作者:在 GPU 和 Mac 上實現最佳性能。
快速。可靠。完全分散式。

Gradient2025年6月20日
與 Petals(BitTorrent 風格的服務)相比,在 2× RTX 5090 上運行 Qwen2.5-72B 的 Parallax 實現了:
– 端到端延遲降低 3.1×,令牌間延遲提高 5.3×
– 第一個令牌的時間加快 2.9×,I/O 輸送量提高 3.1×
結果是一致的,並且在不同的輸入配置中顯示出很好的可擴充性,而這僅僅是個開始。
66.3K
熱門
排行
收藏
鏈上熱點
X 熱門榜
近期融資
最受認可