Noticias sobre NIXL

vLLM introduce un conector NIXL basado en inserción (push-based) que traslada la coordinación de la transferencia de KV cache fuera de la ruta crítica, lo que significa que el cuello de botella de rendimiento en la inferencia distribuida de LLM se está desplazando del cálculo en sí hacia la arquitectura de comunicación entre instancias. Mediante la optimización conjunta de hardware y software, se ha logrado un avance significativo en la capacidad de respuesta en tiempo real de la inferencia desagregada.