EFA に関する報道

vLLMがプッシュベースのNIXLコネクタを導入し、KVキャッシュの転送調整をクリティカルパスから外したことは、分散大規模言語モデル推論におけるパフォーマンスのボトルネックが計算自体からインスタンス間通信アーキテクチャへと移行していることを意味する。ハードウェアとソフトウェアの協調最適化により、 disaggregated推論（分離式推論）のリアルタイム応答能力が大幅に向上した。