Articles sur QTEA
1 articles liés
QTEA : LLM ternaires avec un poids saillant résiduel clairsemé et une optimisation par colonne
QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
AI InsightQTEA combine une compensation résiduelle de poids significative avec une parcimonie semi-structurée 1:4, ce qui signifie que la quantification de bits extrêmement faibles passe de la simple compression à la co-conception algorithme-matériel. Son optimisation de redimensionnement par colonne montre que même à une échelle inférieure à 2 bits, la récupération de précision repose toujours sur une compensation numérique à granularité fine plutôt que sur la seule parcimonie.Importance 60/100