Articles sur On-Policy Distillation

Des recherches ont montré que les conseils du modèle d'enseignant sur la génération de préfixes pour les étudiants en OPD peuvent s'écarter des récompenses des résultats, induisant ainsi une optimisation trompeuse. Par rapport au précédent défaut de fiabilité des signaux de distillation des enseignants, cette fois-ci, les risques sont clairement alignés et des objectifs alternatifs avec des récompenses cohérentes sont proposés, modifiant ainsi la perception de la stabilité de la formation en distillation.