Articles sur Speculative Decoding

Les règles de vérification et le projet de forme d’arbre du décodage spéculatif ont longtemps été considérés comme des hyperparamètres statiques. AdaptiveSpec les a remplacés par une prise de décision dynamique jeton par jeton, ce qui signifie que l'accélération de l'inférence passe d'une « stratégie préfixée » à une « stratégie adaptative par entrée ». Cela pourrait être la prochaine source structurelle de réduction des coûts de latence et de puissance de calcul, plutôt que de simplement empiler la puissance de calcul.

Le décodage spéculatif évolue d'une technologie d'accélération du temps d'inférence à une variable clé dans la phase de conception du modèle. NVIDIA a lié la longueur du projet, le mécanisme de projet et le front de Pareto sous la forme de lignes directrices, ce qui signifie que l'optimisation des performances du modèle ne repose plus uniquement sur la formation ou le temps d'exécution, mais s'étend à la conception conjointe de l'architecture et des algorithmes d'inférence.