Noticias sobre Vision-Language Models

9 artículos relacionados

arXiv CS.CLMedios74AIHOT
MemeCULT-1K: Benchmarking South Asian Cultural Context and Humor Understanding of Multimodal Models
AI Insight
arXiv CS.CL：MemeCULT-1K: Benchmarking South Asian Cultural Context and Humor Understanding of Multimodal Models
arXiv CS.AIMedios79AIHOT
La visión no es una sobrecarga: redacción en bloque de una sola pasada para la decodificación especulativa sin pérdidas en modelos de lenguaje-visión
Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
AI Insight
La decodificación especulativa tradicional cae en una autorrevolución en VLM: el dibujante miniaturizado no puede permitirse el costo de procesamiento de imágenes de cada paso, lo que resulta en una compresión visual. Al reutilizar el estado visual fusionado del modelo objetivo y utilizar la generación de bloques de una sola vez, GLANCE demuestra que la visión no tiene por qué ser la sobrecarga computacional del dibujante, rompiendo las limitaciones duales de costo visual y profundidad de secuencia desde el nivel arquitectónico.
Importancia 68/100
EntidadesGLANCE Vision-Language Models
arXiv CS.CLMedios81AIHOT
Lento para ver, lento para suprimir: comprensión de los efectos de la modalidad en los conflictos de memoria contextual
Slow to See, Slow to Suppress: Understanding the Effects of Modality in Context-Memory Conflicts
AI Insight
El modelo de lenguaje visual muestra asimetría modal cuando se trata de conflictos de contexto. La información de texto tiene prioridad y la información de imagen se suprime mediante la memoria de parámetros. Esto revela el impacto del retraso en la alineación de la representación multimodal en los mecanismos de control cognitivo, lo que significa que simplemente aumentar la longitud del contexto o la cadena de pensamiento no es suficiente para corregir la supresión del conocimiento impulsada por la visión, y debe rediseñarse desde el nivel de fusión de representación intermodal.
Importancia 62/100
EntidadesarXiv Vision-Language Models Chain-of-Thought
arXiv CS.CVMedios67AIHOT
Menos es más: equilibrar el espacio positivo y negativo en la combinación de conceptos visuales
Less Is More: Balancing Positive and Negative Space in Visual Concept Blending
AI Insight
El valor de este artículo no reside en la fusión de conceptos en sí, sino en convertir el principio del "espacio positivo y negativo" de que el campo del diseño ha dependido durante mucho tiempo de la intuición en restricciones computables. Significa que las herramientas visuales generativas están pasando de "generar contenido" a "comprender la semántica de la composición", y la frontera entre el diseño y la IA está comenzando a extenderse hacia la cognición estética profesional.
Importancia 55/100
EntidadesarXiv Visual Concept Blending Vision-Language Models
arXiv CS.CVMedios61AIHOT
No se puede fotografiar la misma calle dos veces: límites de confiabilidad en la medición visión-lenguaje del cambio urbano
You Cannot Photograph the Same Street Twice: Reliability Limits in Vision-Language Measurement of Urban Change
AI Insight
La desviación del modelo de lenguaje visual al medir los cambios urbanos proviene principalmente de los pasos de filmación y preprocesamiento, más que de los cambios reales en las calles. Utilizando más de 4.000 pares de imágenes de Street View, el estudio confirmó que las nuevas tomas de la misma calle produjeron fluctuaciones perceptivas equivalentes a dos tercios de las diferencias entre diferentes calles, lo que significa que las comparaciones longitudinales que se basan en una sola imagen pueden confundir el ruido con cambios reales. Es necesario incorporar la futura calibración de mediciones a la investigación de la percepción urbana.
Importancia 50/100
EntidadesVision-Language Models Google Street View arXiv
arXiv CS.CVMedios79AIHOT
Enseñanza de modelos de visión y lenguaje para utilizar la escala que se les proporciona: entrenamiento de equivalencia sin etiquetas para el razonamiento físico métrico
Teaching Vision-Language Models to Use the Scale They Are Given: Label-Free Equivariance Training for Metric Physical Reasoning
AI Insight
Este estudio muestra que los modelos de lenguaje visual, si bien son capaces de manejar el razonamiento físico sin escalas, sistemáticamente no responden bien cuando las unidades físicas reales deben escalarse utilizando una escala determinada. La raíz del problema puede ser que la distribución desigual de las escalas de los objetos en los datos de entrenamiento hace que el modelo dependa de antecedentes visuales en lugar de escalas de referencia, lo que significa que mejorar la eficiencia del modelo en la utilización de información de escala puede ser más importante que aumentar los parámetros.
Importancia 68/100
EntidadesarXiv Vision-Language Models
arXiv CS.CVMedios67AIHOT
Separando la percepción del razonamiento en modelos de visión-lenguaje: un techo de renderizado sin modelo para estructuras de cristal
Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures
AI Insight
Esta investigación rompe el ciclo de "usar modelos para juzgar modelos" y proporciona por primera vez un esquema de atribución de capacidades para la evaluación de VLM que no depende de un segundo modelo. Lo que realmente merece atención no es la mejora de la puntuación de un determinado modelo, sino la conclusión de que "los defectos de percepción no pueden compensarse únicamente con señales textuales", lo que obligará a centrarse en el desarrollo del modelo a centrarse en la fidelidad de la información del codificador visual.
Importancia 60/100
EntidadesarXiv Vision-Language Models
arXiv CS.CVMedios67AIHOT
EarthLD: Hacia una comprensión unificada de los deslizamientos de tierra en un mundo abierto a través de modelos de difusión guiados por el lenguaje visual
EarthLD: Towards Unified Open-World Landslide Understanding via Vision-Language Guided Diffusion Models
AI Insight
La comprensión de los deslizamientos de tierra se modela como un proceso de difusión que infiere progresivamente la presencia, extensión y límites de los deslizamientos a partir de variables latentes del ruido. Esto significa que la detección, la segmentación y la explicación causal se unifican en un marco probabilístico, en lugar de trabajar en silos. A juzgar por esto, la guía del lenguaje visual se está convirtiendo en un camino factible para que la interpretación de la teledetección pase de un modelo dedicado a un modelo general de mundo abierto.
Importancia 50/100
EntidadesEarthLD Vision-Language Models Diffusion Models Landslide Detection
arXiv CS.CVMedios69AIHOT
La fidelidad de la atención visual en los modelos visión-lenguaje es heterogénea
Visual Attention Faithfulness in Vision-Language Models is Heterogeneous
AI Insight
Este estudio encontró a través del análisis de perturbaciones causales que la fidelidad atencional del modelo de lenguaje visual no es un atributo único, sino que existen tres patrones heterogéneos. Esto significa que el método general de interpretación de predicciones de modelos basados en mapas de atención puede fallar, y es necesario diseñar estrategias de explicación y depuración diferenciadas para diferentes modos. También indica que la investigación sobre la interpretabilidad se está profundizando desde la PNL hasta la dimensión visual multimodal.
Importancia 55/100
EntidadesVision-Language Models arXiv