Noticias sobre Transformed Teacher Matching

Este artículo propone una actualización de temperatura inversa a nivel de muestra y deriva una solución de forma cerrada minimizando localmente la divergencia KL de la distribución de los maestros a escala de temperatura y las predicciones de los estudiantes. En comparación con el TTM anterior que dependía de una temperatura fija, este método logra un ajuste de temperatura adaptativo muestra por muestra, lo que proporciona una nueva dimensión de optimización para la teoría de la destilación, pero aún no se ha realizado una verificación experimental.