vLLM に関する報道
関連記事 6 件
Google Cloud、TPU および GPU フリート向けのキャッシュ認識ルーティングを備えた LLM-d 1.0 を出荷
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI インサイトGoogle、Red Hat、IBMの3社が共同で「llm-d 1.0」を発表したことは、大規模言語モデルのインフラストラクチャがオープンソースかつマルチベンダーハードウェアに対応したクラウドネイティブアーキテクチャへと急速に進化していることを意味している。キャッシュアウェアなルーティングとマルチテナント対応のレートリミットを統合することにより、業界は大規模言語モデルの推論におけるコストと効率性のボトルネックを体系的に解決しつつある。重要度 85/100Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI インサイトvLLMがプッシュベースのNIXLコネクタを導入し、KVキャッシュの転送調整をクリティカルパスから外したことは、分散大規模言語モデル推論におけるパフォーマンスのボトルネックが計算自体からインスタンス間通信アーキテクチャへと移行していることを意味する。ハードウェアとソフトウェアの協調最適化により、 disaggregated推論（分離式推論）のリアルタイム応答能力が大幅に向上した。重要度 88/100Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI インサイトvLLMによる双向KVキャッシュ転送の導入によるマルチラウンドAIエージェントのTTFT（Time-to-First-トークン）の最適化は、LLMインフラストラクチャにおける競争の焦点が、単一GPUでの推論スループットから、ノード間におけるコンテキスト状態の高効率な共有へとシフトしていることを意味します。プリフィリングノードとデコーディングノードの間で過去の計算を再利用することにより、このソリューションはマルチラウンド対話によって生じる計算の冗長性を大幅に軽減します。重要度 80/100Decision 3.0とは何か？ vLLM Semantic Routerが発表した新しいオープンな決定モデル
What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models
AI インサイトvLLM Semantic RouterがDecision 3.0を発表しました。テキスト生成をバイパスしてマルチモーダルの決定結果を直接出力する仕組みであり、AIのルーティングおよび分類タスクが、高スループットかつ低遅延の特化型アーキテクチャへと進化し、全体的な呼び出しコストの削減につながることを意味しています。重要度 78/100セルフホスト型 推論 オーケストレーターの比較: LocalAI、exo、GPUStack、vLLM
Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLM
AI インサイトLocalAI、exo、GPUStack、vLLMのセルフホスト型推論オーケストレーターの比較によると、これらのツールにはマルチノードでのリクエスト分散、キャッシュ認識型ルーティング、クラウドでのバーストスケーリングなどの側面において、明確なアーキテクチャの違いが存在することが示されています。開発者は、単一マシンまたはマルチマシンクラスタの具体的な要件（クロスノードのリクエストスケジューリングやプレフィックスキャッシュのマッチングなど）に応じて、最適なエンドポイントソリューションを選択する必要があります。調整してからルーティング: 細分化された LLM サービスの学習済みリクエスト ルーティングに関する測定された研究
Calibrate, Then Route: A Measured Study of Learned Request Routing for Disaggregated LLM Serving
AI インサイト分離された大規模言語モデル サービスによって事前入力とデコードが分離されると、ルーティング スケジューリング メカニズムがクラスターのスループットと遅延を決定する主要なボトルネックになります。プロンプトのワード長、KV キャッシュ プレッシャー、サービス レベル アグリーメントを組み合わせてルーティング戦略を動的に調整することで、バースト トラフィック時のクラスターの実効スループットを大幅に向上させることができます。これは、大規模モデル インフラストラクチャの最適化の焦点が、単純なハードウェア セグメンテーションからフルリンク インテリジェント スケジューリングにまで広がっていることを意味します。重要度 78/100