LLM inference に関する報道

投機的デコードの検証ルールとドラフト ツリー形状は、長い間、静的なハイパーパラメータとみなされてきました。 AdaptiveSpec は、それらをトークンごとの動的な意思決定に変更しました。これは、推論の高速化が「事前に固定された戦略」から「入力による適応」に移行していることを意味します。これは、単純にコンピューティング能力を積み上げるのではなく、レイテンシとコンピューティング能力コストを削減する次の構造的な原因となる可能性があります。

長いコンテキスト推論の事前充填段階には 2 次の複雑さがあり、計算のボトルネックになります。 CRISP は、ルーティング決定を直接読み取り、品質レベルを感知することにより、既存の動的スパース アテンション手法の間接的なオーバーヘッドを回避します。これは、超ロングコンテキスト推論のインフラストラクチャコストがさらに削減されることが期待されることを意味します。

この記事では、推論エンジニアリングには効率的なフロンティアが存在し、このテクノロジーは曲線に沿って移動するものと全体的な外挿という 2 つのカテゴリに分類されると提案しています。以前は遅延とスループットのトレードオフに焦点を当てていましたが、品質とスループット、インテリジェンスと速度などの新しい次元が追加され、推論最適化のための統一された分析フレームワークが提供されています。