热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
大多数人认为去中心化计算失败是因为“没有足够的GPU”。
他们只关注供应。
真正的障碍是协调,谁能解决这个问题,谁就能制定AI基础设施的规则。 🧵

/2 我们从志愿计算(如 Folding@Home)中学到了错误的教训。
这些任务可以容忍慢节点和掉线。
现代 AI 训练和推理会惩罚不一致性,一块不稳定的 GPU 可以使整个运行停滞。
/3 有一个问题一直在困扰我们:
全球分散、配置不匹配的 GPU 能否像一台可预测的机器一样运作?
如果答案是否定的,那么可靠性和开发者体验就毫无意义,因为没有任何东西能够交付。
/4 互联网使得GPU表现得像调音不同的乐器。
数据中心堆栈假设完美的时序。
全球网络会带来抖动、不均匀的带宽、随机的停机时间和硬件差异。协调必须吸收这些混乱。
/5 @YottaLabs 选择了操作系统路线,而不是市场路线。
调度、通信、内存卸载、故障处理、验证。
关键很简单,将不可靠的机器转变为一个足够可预测以满足服务水平协议(SLA)的集群。
/6 最具体的见解是,将推理分为两个工作。
预填充需要最好的 GPU。
解码可以在较弱的 GPU 上运行。
这种设计阻止了昂贵的显卡在便宜的显卡上等待,并使“混合车队”变得有用而不是痛苦。
/7 然后是隐藏的瓶颈,移动模型的工作内存(KV 缓存)。
如果你一次性发送一个大数据包,就会停滞。
Yotta 在计算运行时以小块流式传输,同时压缩缓存,从而使广域网延迟不再主导。
141
热门
排行
收藏
