Noticias sobre vLLM

Google, Red Hat y IBM han lanzado conjuntamente llm-d 1.0, lo que significa que la infraestructura de modelos de lenguaje de gran tamaño está acelerando su evolución hacia una arquitectura nativa en la nube de código abierto con colaboración de hardware de múltiples fabricantes. Mediante la integración del enrutamiento consciente de la caché y el control de flujo multiinquilino, la industria está resolviendo sistemáticamente los cuellos de botella de coste y eficiencia en la inferencia a gran escala de modelos de lenguaje de gran tamaño.

vLLM introduce un conector NIXL basado en inserción (push-based) que traslada la coordinación de la transferencia de KV cache fuera de la ruta crítica, lo que significa que el cuello de botella de rendimiento en la inferencia distribuida de LLM se está desplazando del cálculo en sí hacia la arquitectura de comunicación entre instancias. Mediante la optimización conjunta de hardware y software, se ha logrado un avance significativo en la capacidad de respuesta en tiempo real de la inferencia desagregada.

vLLM introduce la transferencia bidireccional de caché KV para optimizar el tiempo hasta el primer token en agentes de IA multi-turno, lo que significa que el foco competitivo de la infraestructura de modelos de lenguaje de gran tamaño está pasando del rendimiento de inferencia en una sola tarjeta al intercambio eficiente del estado del contexto entre nodos. Al reutilizar el cálculo histórico entre los nodos de prefilling y decodificación, esta solución mitiga significativamente la redundancia computacional provocada por las conversaciones multi-turno.

vLLM Semantic Router ha lanzado Decision 3.0. Al omitir la generación de texto para emitir directamente resultados de decisiones multimodales, esto significa que las tareas de enrutamiento y clasificación de IA están evolucionando hacia una arquitectura especializada de alto rendimiento y baja latencia, reduciendo así los costos generales de llamada.

Una comparativa de los orquestadores de inferencia autohospedados para LocalAI, exo, GPUStack y vLLM muestra que estas herramientas presentan diferencias arquitectónicas significativas en dimensiones como la distribución de solicitudes multimaquina, el enrutamiento consciente del caché y la escalabilidad repentina en la nube. Los desarrolladores deben elegir la solución de endpoint más adecuada según las necesidades específicas de los clústeres de una o varias máquinas (como la programación de solicitudes entre máquinas o la coincidencia de caché de prefijo).

Después de que el servicio de modelo de lenguaje grande separado desacople el prellenado y la decodificación, el mecanismo de programación de enrutamiento se convierte en un cuello de botella clave que determina el rendimiento y la latencia del clúster. Al calibrar dinámicamente la estrategia de enrutamiento combinando la longitud de la palabra rápida, la presión de la caché KV y el acuerdo de nivel de servicio, se puede mejorar significativamente el rendimiento efectivo del clúster bajo tráfico en ráfagas. Esto significa que el enfoque de optimización de la infraestructura de modelos grandes se está extendiendo desde la simple segmentación de hardware hasta la programación inteligente de enlace completo.