关于 PTQ 的报道
共 2 篇相关报道
SCULPT：训练边缘视觉模型以做好训练后量化准备
SCULPT: Training Edge Vision Models for Post-Training Quantization Readiness
AI 洞察SCULPT 将量化友好性从训练后修复环节前移到了普通 FP32 训练阶段，意味着量化部署的成本结构可能被改变。它挑战了「想要低比特精度就必须使用 QAT」的传统路径，使边缘模型在保持训练流程简单的同时获得量化就绪性。核心结论边缘视觉模型正从「训练后修复量化」向「训练时预制量化就绪」转变。为什么重要低比特量化是边缘部署的关键，但 QAT 训练复杂、位宽耦合。若 SCULPT 验证有效，将降低开发者的量化成本，提升边缘 AI 的部署效率，并可能改变 PTQ 与 QAT 的选用权衡。影响谁- 开发者可减少对 QAT 的依赖，在普通微调后直接获得量化友好的模型，降低部署成本。
- Edge Device Vendors模型更容易低比特部署，可能提升端侧 AI 应用的性能与能效。
- QAT Tooling Providers若 PTQ 就绪方法普及，部分原本需要 QAT 的客户可能转向更简单的 PTQ 流程。
后续看点后续应观察 SCULPT 在主流边缘视觉模型（如 MobileNet、EfficientEdge）上的公开基准结果，以及是否出现第三方复现实验，以验证其跨模型泛化能力。重要度 58/100QTEA：具有稀疏剩余显着权重和按列优化的三元法学硕士
QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
AI 洞察QTEA把显著权重残差补偿与半结构化1:4稀疏结合，意味着极低比特量化正在从单纯压缩走向算法-硬件协同设计。其按列重缩放优化则表明，即便在sub-2-bit尺度下，精度恢复依旧依赖细粒度的数值补偿，而非仅靠稀疏度。核心结论极低比特量化正从单纯压缩转向残差补偿与稀疏结构协同优化的方向。为什么重要极低比特量化能在降低内存带宽和推理成本的同时保持精度，直接影响LLM在大规模部署中的实际可用性。QTEA的硬件友好设计若能验证有效，可能加速sub-2-bit量化在主流推理引擎中的应用。影响谁- AI Infrastructure Teams更低的量化位宽可能显著降低推理内存占用和延迟，提升部署效率。
- Quantization ResearchersQTEA的残差补偿与按列优化策略可能为后续极低比特量化提供新设计思路。
- GPU/Hardware Vendors半结构化稀疏设计要求硬件支持相关稀疏模式，可能激励对稀疏计算能力的进一步优化。
后续看点后续应重点观察QTEA在多种LLM规模和任务上的精度基准，以及其是否被集成到如vLLM、TensorRT-LLM等主流推理框架中。重要度 60/100