关于 Mooncake 的报道

分离式大语言模型服务将预填充与解码解耦后，路由调度机制成为决定集群吞吐与延迟的关键瓶颈。通过结合提示词长度、KV 缓存压力及服务等级协议进行动态校准的路由策略，能够显著提升集群在突发流量下的有效吞吐量，这意味着大模型基础设施的优化重心正从单纯的硬件切分向全链路智能调度延伸。