关于 LLM inference 的报道
共 3 篇相关报道
边距，而不是 Windows：免训练的每步有损推测解码
Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding
AI 洞察推测解码的验证规则和草稿树形态长期被视为静态超参，AdaptiveSpec 将其改为逐 token 动态决策，意味着推理加速正从「预先固定策略」走向「按输入自适应」。这可能是降低延迟和算力成本的下一个结构性来源，而非单纯堆算力。核心结论推测解码正从固定验证与静态树形，转向逐 token 自适应的动态策略。为什么重要推理成本是 LLM 规模化部署的关键约束。若 AdaptiveSpec 能在免训练前提下持续提升草稿接受率，将直接降低解码延迟与单位算力成本，进而影响 API 定价和更复杂应用的可行性。影响谁- 潜在受益推理框架（如 vLLM、TensorRT-LLM）免训练的自适应方法易于集成，可能提升框架默认解码吞吐，无需重新训练模型。
- 潜在受益云厂商（如 AWS、Azure）更低推理延迟和算力成本可降低大规模 LLM 服务的单位经济学，改善利润率。
- 值得关注研究社区同时优化验证规则与树形的思路或启发后续自适应推理算法，但尚无广泛验证。
后续看点后续应观察论文是否提供与 EAGLE-3 的对比实验数据（如吞吐提升百分比），以及 vLLM 等流行框架是否在后续版本中集成类似的自适应机制。重要度 65/100CRISP：具有结构质量驱动路由的悬崖感知输入自适应稀疏预填充
CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing
AI 洞察长上下文推理的预填充阶段呈二次方复杂度，成为算力瓶颈。CRISP通过直接读取路由决策并感知质量层级，绕过了现有动态稀疏注意力方法的间接开销。这意味着超长上下文推理的基础设施成本有望进一步下探。核心结论长上下文推理的算力优化正从固定模式转向输入自适应的动态稀疏路由。为什么重要推理算力成本是长上下文大模型商业化的核心约束。若新方法能降低预填充阶段的真实计算开销，大模型处理超长输入的API定价和规模化部署门槛可能随之下降。影响谁- LLM Providers若方法有效，可降低超长上下文推理的单位算力成本与延迟。
- AI Infra Engineers提供了一种绕过间接路由代理的新注意力稀疏化优化路径。
后续看点后续应观察该方法在百万级Token等极端长度下的实际推理加速比与路由准确性验证数据。重要度 60/100LLM推理的有效前沿
The efficient frontier of LLM inference
AI 洞察文章提出推理工程中存在高效前沿，技术分为沿曲线移动与整体外推两类。相比此前仅以延迟-吞吐量权衡为主，新增了质量-吞吐量、智能-速度等维度，为推理优化提供了统一分析框架。核心结论将推理优化从单一权衡扩展为多维高效前沿框架。为什么重要为推理工程师提供系统化决策视角，影响成本与能力分配的优先级判断。影响谁- AI 研究者获得统一框架来比较不同推理优化技术的价值。
- 企业可用于指导推理部署策略，平衡成本、速度与质量。
后续看点暂无明确后续信号，可观察该框架是否被推理工程社区采纳为设计语言。重要度 40/100涉及实体LLM Inference