Noticias sobre MLLM

Este estudio propone utilizar el muestreo de Gibbs con control generativo interpretable para reconstruir directamente la distribución perceptiva previa de modelos grandes multimodales. En comparación con la representación interna o el mapeo de comportamiento del análisis de entrada fija anterior, el nuevo método puede explorar el espacio de entrada de alta dimensión y revelar las expectativas implícitas del modelo. Esto significa que la investigación sobre la interpretabilidad pasa de "lo que el modelo puede representar" a "lo que se espera que vea el modelo", proporcionando nuevas herramientas para el diagnóstico del sesgo de percepción.

Este estudio piloto es el primero en evaluar sistemáticamente el desempeño de MLLM de código abierto en VQA de documentos jemeres, utilizando KH-FUNSD para construir un subconjunto de preguntas y respuestas en inglés-jemer que incluye facturas, recibos y otros servicios. En comparación con evaluaciones anteriores que se centraron en documentos en inglés con muchos recursos, este estudio revela nuevos desafíos planteados por la complejidad de la escritura y la mezcla de unidades monetarias en documentos no latinos con bajos recursos.

Este artículo propone la segmentación de escenas como unidad de recuperación de la película RAG. En comparación con los segmentos anteriores de duración fija, por primera vez se introducen sistemáticamente límites semánticos a nivel de historia en la recuperación de vídeos. El resumen solo describe la configuración del problema y aún no hay resultados experimentales, pero indica que la calidad de RAG está limitada por la dirección de la granularidad de la segmentación.

ClearText-Video crea un punto de referencia de 4639 videos reales en primera persona ricos en texto, que cubren la degradación de la calidad, como el desenfoque de movimiento, artefactos de compresión, ruido y baja resolución. En comparación con los puntos de referencia de texto anteriores, que eran en su mayoría videos estáticos o de alta calidad, incorpora por primera vez la restauración de video y la mejora del texto de la escena en un marco de evaluación unificado para probar la lectura de texto y el razonamiento de MLLM en condiciones de calidad real. Esto significa que la investigación sobre la comprensión del vídeo centrada en el texto ha pasado de "se puede leer" a "se puede leer cuando la calidad de la imagen es mala".

DocIntent propone un marco de recuperación Agentic guiado por la capacidad de respuesta para abordar problemas de degradación como el desenfoque y el sombreado en documentos reales VQA. A diferencia de los métodos de restauración existentes que optimizan la calidad general de la imagen, toma directamente la responsabilidad de la tarea VQA como objetivo de la restauración, de modo que la restauración sirva para tareas posteriores. Esto significa que la recuperación Agentic pasa de imágenes naturales a documentos basados ​​en tareas, proporcionando nuevas ideas para preguntas y respuestas de documentos MLLM.