Articles sur Soft Committee Machines
1 articles liés
Distillation des connaissances en cas d'erreur de spécification des enseignants : une analyse des paramètres d'ordre de l'écart entre le mimétisme des enseignants et l'exécution des tâches
Knowledge Distillation under Teacher Misspecification: An Order-Parameter Analysis of the Gap between Teacher Mimicry and Task Performance
AI InsightGrâce à l'analyse des paramètres d'ordre, cette étude décrit clairement la relation non équivalente entre les « différences enseignant-élève » et les « erreurs de tâches des élèves » lorsque les enseignants effectuent des tâches incorrectes sous la véritable machine du comité souple tripartite enseignant, enseignant et élève. Par rapport à la pratique courante précédente consistant à utiliser les différences enseignant-élève comme indicateur indirect du progrès de la distillation, ce travail révèle théoriquement pour la première fois les conditions de distorsion de l'indicateur proxy, c'est-à-dire que lorsque le facteur latent partagé ne peut pas être représenté par l'enseignant, minimiser l'incohérence enseignant-élève ne garantit pas une meilleure performance des tâches.Importance 65/100