Articles sur EAGLE-3
1 articles liés
Des marges, pas des fenêtres : décodage spéculatif avec perte par étape, sans formation
Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding
AI InsightLes règles de vérification et le projet de forme d’arbre du décodage spéculatif ont longtemps été considérés comme des hyperparamètres statiques. AdaptiveSpec les a remplacés par une prise de décision dynamique jeton par jeton, ce qui signifie que l'accélération de l'inférence passe d'une « stratégie préfixée » à une « stratégie adaptative par entrée ». Cela pourrait être la prochaine source structurelle de réduction des coûts de latence et de puissance de calcul, plutôt que de simplement empiler la puissance de calcul.Importance 65/100