Knowledge Distillation に関する報道

この研究は、順序パラメータ分析を通じて、実際の教師、教師、生徒の三者構成のソフト委員会マシンの下で教師が間違った課題を出した場合の「教師と生徒の違い」と「生徒の課題の間違い」との間の非等価な関係を明確に示しています。教師と生徒の違いを蒸留の進捗状況の代理指標として使用するこれまでの一般的な手法と比較して、この研究は、代理指標の歪みの条件を理論的に初めて明らかにしました。つまり、共有された潜在的な要因を教師が表現できない場合、教師と生徒の不一致を最小限に抑えてもタスクのパフォーマンスの向上が保証されないということです。