Noticias sobre EMA
1 artículos relacionados
¿Qué importa en el desalojo agresivo de KV en tiempo de decodificación? Agregación temporal y preservación de la clasificación
What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation
AI InsightEste estudio muestra que el cuello de botella del desalojo de KV durante la decodificación puede no ser el diseño de la función de puntuación, sino las reglas de agregación de pasos cruzados. La agregación de EMA hace que los efectos de la mayoría de las funciones de puntuación converjan, lo que significa que es necesario reexaminar algunas conclusiones de la investigación existente: lo que realmente determina la estabilidad del conjunto de desalojo puede ser la combinación de la agregación de tiempo y el peso de las capas, en lugar de una única fórmula de puntuación.Importancia 62/100