Transformed Teacher Matching に関する報道

この論文では、サンプルレベルの逆温度更新を提案し、温度スケール化された教師分布と生徒予測の KL 発散を局所的に最小化することによって閉形式の解を導き出します。固定温度に依存していた以前の TTM と比較して、この方法はサンプルごとの適応的な温度調整を実現し、蒸留理論に新しい最適化次元を提供しますが、実験による検証はまだ行われていません。