Articles sur EMA
1 articles liés
Qu'est-ce qui est important pour l'expulsion agressive des KV au moment du décodage ? Agrégation temporelle et préservation du classement
What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation
AI InsightCette étude montre que le goulot d'étranglement de l'expulsion de KV pendant le décodage n'est peut-être pas la conception de la fonction de notation, mais les règles d'agrégation entre étapes. L'agrégation EMA fait converger les effets de la plupart des fonctions de notation, ce qui signifie que certaines conclusions des recherches existantes doivent être réexaminées - ce qui détermine réellement la stabilité de l'ensemble d'expulsion peut être le couplage de l'agrégation temporelle et du poids des couches, plutôt qu'une formule de notation unique.Importance 62/100