Articles sur NIXL

vLLM introduit un connecteur NIXL basé sur le push, déplaçant la coordination du transfert du KV cache hors du chemin critique, ce qui signifie que le goulot d'étranglement des performances de l'inférence distribuée de modèles de langage de grande taille se déplace du calcul lui-même vers l'architecture de communication inter-instances. Grâce à l'optimisation conjointe matérielle et logicielle, les capacités de réponse en temps réel de l'inférence désagrégée ont connu une avancée significative.