Articles sur Transformed Teacher Matching

Cet article propose une mise à jour inverse de la température au niveau de l'échantillon et dérive une solution de forme fermée en minimisant localement la divergence KL de la distribution des enseignants à l'échelle de la température et des prédictions des étudiants. Par rapport au précédent TTM qui reposait sur une température fixe, cette méthode permet un ajustement adaptatif de la température échantillon par échantillon, offrant ainsi une nouvelle dimension d'optimisation pour la théorie de la distillation, mais la vérification expérimentale n'a pas encore été donnée.