关于 Transformed Teacher Matching 的报道

本文提出样本级逆温度更新，通过局部最小化温度缩放教师分布与学生预测的KL散度，推导出闭式解。相比此前TTM依赖固定温度，该方法实现逐样本自适应温度调节，为蒸馏理论提供了新的优化维度，但尚未给出实验验证。