Articles sur DistServe

Une fois que le service de modèle de langage étendu séparé a dissocié le pré-remplissage et le décodage, le mécanisme de planification du routage devient un goulot d'étranglement clé qui détermine le débit et la latence du cluster. En calibrant dynamiquement la stratégie de routage en combinant la longueur des mots d'invite, la pression du cache KV et l'accord de niveau de service, le débit effectif du cluster en cas de trafic en rafale peut être considérablement amélioré. Cela signifie que l'objectif d'optimisation de l'infrastructure de grands modèles s'étend de la simple segmentation matérielle à la planification intelligente de liaison complète.