Noticias sobre LVLMs

Las técnicas existentes de mitigación de alucinaciones LVLM reducen principalmente las tasas de error al permitir que el modelo genere contenido de manera más conservadora, en lugar de mejorar realmente la comprensión multimodal. Esto muestra que existen lagunas en el punto de referencia actual de evaluación de alucinaciones, y es fácil dejarse engañar por la estrategia de "decir menos, cometer menos errores", encubriendo la falta de capacidades reales de alineación visual del modelo.

La detección de ilusiones LVLM existente se basa principalmente en la atención de una sola capa, ignorando la evolución dinámica del posicionamiento visual entre las capas del modelo. CADMP propone rastrear la deriva de distribución de la atención intermodal en capas adyacentes, marcando la transformación del mecanismo de detección de "corte estático" a "seguimiento de evolución dinámica". Esto puede proporcionar una línea de defensa más sólida para un despliegue multimodal altamente confiable.