Noticias sobre SCEval

El artículo arXiv propone el concepto de "líneas de falla modales" y el protocolo de evaluación SCEval para probar la solidez de la fusión del LLM totalmente modal perturbando la estructura interna de un modo único (como la alteración de las características acústicas o visuales). En comparación con evaluaciones anteriores que solo evaluaban entradas limpias y completas, SCEval reveló sistemáticamente por primera vez que los modelos pueden depender de señales frágiles en lugar de estructuras intermodales estables, lo que significa que es necesario revisar las puntuaciones de capacidad de "todas las modalidades".