HyQuant に関する報道

HyQuant は、高精度の垂直線トークンとローカル ウィンドウ状態のみを保持しながら、アテンション モジュールのほとんどの状態を低ビットに量子化する混合精度量子化スキームを提案します。既存の平滑外れ値法と比較して、この方法は精度の重要な領域をエントリ ポイントとして直接取得し、極度に低いビットで精度と効率のバランスをとり、注目の定量化に新しい精度と効率のトレードオフの次元を追加します。