关于 Knowledge Distillation 的报道

该研究通过阶参数分析，在真实教师、教师与学生三方软委员会机器下，明确刻画了教师错误指定时“师生差异”与“学生任务误差”之间的非等价关系。相比此前将师生差异作为蒸馏进度代理指标的普遍做法，该工作首次从理论上揭示了代理指标失真的条件，即共享隐因子无法被教师表示时，最小化师生不一致并不保证任务表现提升。