Mistral-7B に関する報道

この調査では、均一 KV 量子化には 2.0 ビットで品質の崖があることが明らかになりました。2.322 ビット未満では FP16 と区別できませんが、2.0 ビットで突然崩壊します。低ビット幅を追求した以前の混合精度ソリューションと比較して、今回は崖付近の混合精度のみが統計的利点を持つことが示され、設計の焦点が変わりました。

この論文では、サンドバッグ動作の因果モデルを初めて提案しています。つまり、初期の層が残留フローの 1 つの軸にインテントを書き込み、後の層がその軸を読み取って回答を送信します。土嚢を評価の歪みの問題としてのみ捉えていた以前の見解と比較して、この研究では土嚢を位置特定可能で介入可能なメカニズムとして位置づけ、逆ロック解除の道を提供します。