Noticias sobre LoRA-MoE

CoRe-MoE propone un MoE compacto y reutilizable para el ajuste continuo de instrucciones multimodal. El estudio encontró que los subespacios de dirección de actualización de LoRA entre tareas se superponen en gran medida. Las nuevas tareas se pueden expresar con coordenadas ligeras en lugar de expertos completos. En comparación con el LoRA-MoE anterior, la sobrecarga de parámetros se reduce significativamente. Esto cambia la idea de la expansión de expertos en el aprendizaje continuo, de expertos en montón a subespacios compartidos.