Noticias sobre GLM-5-FP8

vLLM introduce la transferencia bidireccional de caché KV para optimizar el tiempo hasta el primer token en agentes de IA multi-turno, lo que significa que el foco competitivo de la infraestructura de modelos de lenguaje de gran tamaño está pasando del rendimiento de inferencia en una sola tarjeta al intercambio eficiente del estado del contexto entre nodos. Al reutilizar el cálculo histórico entre los nodos de prefilling y decodificación, esta solución mitiga significativamente la redundancia computacional provocada por las conversaciones multi-turno.