关于 EMA 的报道
共 1 篇相关报道
对于积极的解码时 KV 驱逐来说什么重要？时间聚合和排名保存
What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation
AI 洞察该研究表明，解码时KV驱逐的瓶颈可能不在评分函数设计，而在于跨步骤聚合规则。EMA聚合让多数评分函数效果趋同，意味着现有研究的部分结论需重新审视——真正决定驱逐集稳定性的或许是时间聚合与层权重的耦合，而非单一评分公式。核心结论KV驱逐研究重心正在从评分函数转向时间聚合规则。为什么重要KV cache压缩直接影响长上下文推理的内存与速度。若聚合规则能掩盖或放大评分函数差异，则当前大量优化方法的改进可能被误读，研究者和推理引擎开发者需要重新校准比较基准，避免低效设计被EMA掩盖。影响谁- LLM Inference Engine Developers更明确聚合规则的影响后，可设计更有效的KV驱逐策略，提升长上下文推理性能。
- KV Cache Compression Researchers需重新审视既有评分函数的对比结论，避免EMA掩盖真实差异。
- Cloud Service ProvidersKV cache优化成果可能影响推理成本，但短期无明显变化。
后续看点后续应观察更细粒度的基准测试是否引入对聚合规则的控制项，以及新研究是否报告不同聚合下评分函数的鲁棒性；可用以验证该结论的普遍性。重要度 62/100