Noticias sobre DistServe

Después de que el servicio de modelo de lenguaje grande separado desacople el prellenado y la decodificación, el mecanismo de programación de enrutamiento se convierte en un cuello de botella clave que determina el rendimiento y la latencia del clúster. Al calibrar dinámicamente la estrategia de enrutamiento combinando la longitud de la palabra rápida, la presión de la caché KV y el acuerdo de nivel de servicio, se puede mejorar significativamente el rendimiento efectivo del clúster bajo tráfico en ráfagas. Esto significa que el enfoque de optimización de la infraestructura de modelos grandes se está extendiendo desde la simple segmentación de hardware hasta la programación inteligente de enlace completo.