DeepSeek-R1-Distill-Qwen-7B に関する報道

この論文では、DeepSeek-R1-Distill-Qwen-7B の思考連鎖の長さは、安定した解答確率の約 2 倍であることがわかりました。冗長性は質問ごとに異なり、グローバルな長さのペナルティを削除することはできません。研究者らは、第 18 層で差分平均の方向を構築し、それを重みに内部化して、オンデマンドで推論を短縮する「ストップ ベクトル」を提案しました。これまでの外部からの罰や介入と比較して、今回は因果関係の発見が重みに固定化され、教師なし推論の圧縮に新たな道が開かれます。