GrowPage に関する報道

GrowPage は、KV キャッシュ容量を静的バジェットからランタイム リソースに変換します。これは、推論システムのメモリ管理が「予約」から「オンデマンド スケジューリング」に移行していることを意味します。この変更が実装できれば、長い出力推論のスループットとコストに直接影響を与えるだけでなく、将来の推論の最適化は固定圧縮戦略ではなく動的なリソース管理に依存する可能性が高いことも示唆されています。