Articles sur LoRA-MoE

CoRe-MoE propose un MoE compact et réutilisable pour le réglage continu des instructions multimodales. L’étude a révélé que les sous-espaces de direction de mise à jour LoRA entre les tâches se chevauchent fortement. Les nouvelles tâches peuvent être exprimées avec des coordonnées légères au lieu d'experts complets. Par rapport au LoRA-MoE précédent, la surcharge de paramètres est considérablement réduite. Cela change l'idée de l'expansion des experts dans l'apprentissage continu, des experts en tas aux sous-espaces partagés.