Noticias sobre GPTQ
1 artículos relacionados
QTEA: LLM ternarios con peso saliente residual escaso y optimización por columna
QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
AI InsightQTEA combina una importante compensación de peso residual con una escasez semiestructurada de 1:4, lo que significa que la cuantificación de bits extremadamente bajos está pasando de una simple compresión al codiseño de algoritmo y hardware. Su optimización de reescalado por columnas muestra que incluso en una escala inferior a 2 bits, la recuperación de la precisión todavía depende de una compensación numérica detallada en lugar de solo de la escasez.Importancia 60/100