关于 LoRA-MoE 的报道
共 1 篇相关报道
CoRe-MoE：紧凑型可重复使用 MoE，用于持续多模式指令调整
CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning
AI 洞察CoRe-MoE提出面向持续多模态指令调优的紧凑可复用MoE。研究发现任务间LoRA更新方向子空间高度重叠，新任务可用轻量坐标而非完整专家表达，相比此前LoRA-MoE显著降低参数开销。这改变了持续学习中专家扩展的思路，从堆专家转向共享子空间。核心结论相比每次新任务训练完整LoRA专家，CoRe-MoE用轻量坐标复用共享方向子空间。为什么重要持续指令调优常面临参数膨胀和灾难性遗忘，共享子空间思路有望以更少参数支持更多任务，提升多模态模型持续学习效率。影响谁- AI 研究者获得一种可复用子空间的持续学习新方法，可降低后续任务存储与计算成本。
- 开发者若落地，可更经济地持续扩展多模态模型任务能力，减少微调开销。
后续看点关注该方法在多任务长序列下的遗忘控制与容量上限，以及是否能在更大规模模型上复现。重要度 70/100