Articles sur PTQ
2 articles liés
SCULPT: Training Edge Vision Models for Post-Training Quantization Readiness
AI InsightSCULPT déplace la convivialité de la quantification du lien de réparation post-formation vers l'étape de formation ordinaire FP32, ce qui signifie que la structure des coûts du déploiement de la quantification peut être modifiée. Il remet en question la voie traditionnelle selon laquelle « vous devez utiliser QAT si vous souhaitez une faible précision en bits », permettant aux modèles Edge d'être prêts à la quantification tout en gardant le processus de formation simple.Importance 58/100QTEA : LLM ternaires avec un poids saillant résiduel clairsemé et une optimisation par colonne
QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
AI InsightQTEA combine une compensation résiduelle de poids significative avec une parcimonie semi-structurée 1:4, ce qui signifie que la quantification de bits extrêmement faibles passe de la simple compression à la co-conception algorithme-matériel. Son optimisation de redimensionnement par colonne montre que même à une échelle inférieure à 2 bits, la récupération de précision repose toujours sur une compensation numérique à granularité fine plutôt que sur la seule parcimonie.Importance 60/100