Articles sur HyQuant

HyQuant propose un schéma de quantification à précision mixte qui quantifie la plupart des états du module d'attention en bits faibles, tout en conservant uniquement les jetons de ligne verticale de haute précision et les états de fenêtre locaux. Par rapport à la méthode des valeurs aberrantes lisses existante, cette méthode prend directement la zone critique de précision comme point d'entrée, équilibre la précision et l'efficacité sur des bits extrêmement faibles et ajoute une nouvelle dimension de compromis précision-efficacité de la quantification de l'attention.