关于 MInference 的报道
共 1 篇相关报道
RouteSparse：用于预算长上下文预填充的输入条件模式路由
RouteSparse: Input-Conditional Pattern Routing for Budgeted Long-Context Prefilling
AI 洞察RouteSparse 提出输入条件模式路由，为每个头与提示段在小型稀疏模式库中动态选择模式与预算，用低代价探针估计效用与不确定性，并通过延迟感知路由器决策。相比 MInference 的固定离线模式分配，这是首次将稀疏预填充的适配粒度下探到每个提示段，且提供误差证书。核心结论稀疏预填充从固定模式变为按输入动态路由。为什么重要长上下文预填充的稀疏注意力首次引入输入条件选择，可能突破固定模式在多样输入下的效率瓶颈，是低成本提升长上下文推理速度的新方向。影响谁- AI 研究者获得动态稀疏注意力新范式，可结合误差证书提升推理可靠性。
- 开发者若开源可低成本加速长上下文预填充，但需验证实际GPU效率。
- 云服务商可降低长上下文请求的算力成本，但需权衡路由开销。
后续看点关注RouteSparse在多大上下文长度上超越MInference，以及其误差证书是否导致回退机制频繁触发。重要度 75/100