关于 HyQuant 的报道

HyQuant提出混合精度量化方案，将注意力模块多数状态低比特量化，仅保留垂直线令牌与局部窗口状态高精度。相比现有平滑异常值方法，该方法直接以精度关键区域为切入点，在极低比特下平衡精度与效率，新增了注意力量化的精度-效率权衡维度。