Llama-3.1-8B-Instruct に関する報道

この調査では、均一 KV 量子化には 2.0 ビットで品質の崖があることが明らかになりました。2.322 ビット未満では FP16 と区別できませんが、2.0 ビットで突然崩壊します。低ビット幅を追求した以前の混合精度ソリューションと比較して、今回は崖付近の混合精度のみが統計的利点を持つことが示され、設計の焦点が変わりました。