延迟 = 物理学。 大多数“AI延迟”并不是代码问题,而是距离问题。 想想游戏延迟。推理希望在用户附近运行,而不是在某个遥远的数据中心。 这就是为什么在边缘有GPU的网络显著降低延迟。 DeAI是智能的CDN。