Noticias sobre HyQuant

HyQuant propone un esquema de cuantificación de precisión mixta que cuantifica la mayoría de los estados del módulo de atención en bits bajos, conservando solo tokens de línea vertical de alta precisión y estados de ventana locales. En comparación con el método de valores atípicos suaves existente, este método toma directamente el área crítica de precisión como punto de entrada, equilibra la precisión y la eficiencia en bits extremadamente bajos y agrega una nueva dimensión de compensación entre precisión y eficiencia de la cuantificación de la atención.