Noticias sobre MoE
2 artículos relacionados
MoEZip: Compresión de caché KV con reconocimiento de enrutamiento para una mezcla dispersa de expertos LLMs
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
AI InsightCuando el método tradicional de compresión de caché KV se aplica al modelo de lenguaje grande disperso mixto experto (MoE), la calidad de generación a menudo se reduce debido al descuido del mecanismo de enrutamiento experto. MoEZip implementa la compresión de caché KV con reconocimiento de ruta mediante la introducción de indicadores de evaluación de sensibilidad de enrutamiento basados en la matriz de información de Fisher, teniendo en cuenta la optimización de la memoria y la precisión del modelo de la inferencia de texto largo.Mostrar HN: bifurcación Llama.cpp con velocidad multiGPU de 2 a 4x para modelos MoE más grandes que VRAM
Show HN: Llama.cpp fork with 2-4x multiGPU speed for MoE models bigger than VRAM
AI InsightLa rama multi-GPU para Llama.cpp lanzada por la comunidad de código abierto muestra potencial de optimización del rendimiento cuando la VRAM no puede alojar un modelo MoE. Debido a la falta de datos detallados sobre el diseño de arquitectura específico o la ruta técnica en el texto original, su viabilidad de ingeniería real y sus límites de aceleración aún requieren una validación técnica posterior.