Articles sur SCEval

L'article arXiv propose le concept de « lignes de faille modales » et le protocole d'évaluation SCEval pour tester la robustesse de la fusion du LLM entièrement modal en perturbant la structure interne d'un seul mode (par exemple en perturbant les caractéristiques acoustiques ou visuelles). Par rapport aux évaluations précédentes qui n'évaluaient que des entrées complètes et propres, SCEval a systématiquement révélé pour la première fois que les modèles peuvent s'appuyer sur des indices fragiles plutôt que sur des structures multimodales stables, ce qui signifie que les scores de capacité « toutes modalités » doivent être revisités.