SCEval に関する報道

arXiv 論文では、単一モードの内部構造を乱す (音響または視覚的特徴を破壊するなど) ことによってフルモーダル LLM の融合堅牢性をテストするための「モーダル断層線」の概念と SCEval 評価プロトコルを提案しています。完全にクリーンな入力のみを評価した以前の評価と比較して、SCEval は、モデルが安定したクロスモーダル構造ではなく脆弱なキューに依存している可能性があることを体系的に初めて明らかにしました。これは、「オールモダリティ」能力スコアを再検討する必要があることを意味します。