Articles sur Knowledge Distillation

Grâce à l'analyse des paramètres d'ordre, cette étude décrit clairement la relation non équivalente entre les « différences enseignant-élève » et les « erreurs de tâches des élèves » lorsque les enseignants effectuent des tâches incorrectes sous la véritable machine du comité souple tripartite enseignant, enseignant et élève. Par rapport à la pratique courante précédente consistant à utiliser les différences enseignant-élève comme indicateur indirect du progrès de la distillation, ce travail révèle théoriquement pour la première fois les conditions de distorsion de l'indicateur proxy, c'est-à-dire que lorsque le facteur latent partagé ne peut pas être représenté par l'enseignant, minimiser l'incohérence enseignant-élève ne garantit pas une meilleure performance des tâches.