Articles sur GrowPage

GrowPage convertit la capacité de cache KV du budget statique en ressources d'exécution, ce qui signifie que la gestion de la mémoire du système d'inférence passe de la « réservation » à la « planification à la demande ». Si ce changement peut être mis en œuvre, il affectera directement le débit et le coût de l'inférence de sortie longue, et suggère également que l'optimisation future de l'inférence pourrait s'appuyer davantage sur la gestion dynamique des ressources plutôt que sur des stratégies de compression fixes.