Noticias sobre AdaptiveSpec

Las reglas de verificación y el borrador de la forma de árbol de la decodificación especulativa se han considerado durante mucho tiempo hiperparámetros estáticos. AdaptiveSpec los ha cambiado a una toma de decisiones dinámica token por token, lo que significa que la aceleración de la inferencia está pasando de una "estrategia prefijada" a una "adaptativa por entrada". Esta puede ser la próxima fuente estructural para reducir la latencia y los costos de potencia informática, en lugar de simplemente acumular potencia informática.