KV cache に関する報道

GrowPage は、KV キャッシュ容量を静的バジェットからランタイム リソースに変換します。これは、推論システムのメモリ管理が「予約」から「オンデマンド スケジューリング」に移行していることを意味します。この変更が実装できれば、長い出力推論のスループットとコストに直接影響を与えるだけでなく、将来の推論の最適化は固定圧縮戦略ではなく動的なリソース管理に依存する可能性が高いことも示唆されています。

この研究は、デコード中の KV エビクションのボトルネックはスコアリング関数の設計ではなく、クロスステップ集計ルールである可能性があることを示しています。 EMA 集計により、ほとんどのスコアリング関数の効果が収束します。これは、既存の研究の結論の一部を再検討する必要があることを意味します。立ち退きセットの安定性を実際に決定するのは、単一のスコアリング式ではなく、時間集計とレイヤーの重みの組み合わせである可能性があります。