LoRA-MoE に関する報道

CoRe-MoE は、継続的なマルチモーダル命令チューニングのためのコンパクトで再利用可能な MoE を提案します。この研究では、タスク間の LoRA 更新方向サブスペースが高度に重複していることが判明しました。新しいタスクは、完全な専門家ではなく、軽量の座標を使用して表現できます。以前の LoRA-MoE と比較して、パラメータのオーバーヘッドが大幅に削減されました。これにより、継続学習におけるエキスパート拡張の考え方が、ヒープエキスパートから共有サブスペースへと変わります。