Articles sur MLLM

Cette étude propose d'utiliser l'échantillonnage de Gibbs avec un contrôle génératif interprétable pour reconstruire directement la distribution a priori perceptuelle de grands modèles multimodaux. Par rapport à la représentation interne ou à la cartographie comportementale de l'analyse à entrées fixes précédente, la nouvelle méthode peut explorer l'espace d'entrée de grande dimension et révéler les attentes implicites du modèle. Cela signifie que la recherche sur l'interprétabilité passe de « ce que le modèle peut représenter » à « ce que le modèle est censé voir », fournissant ainsi de nouveaux outils pour le diagnostic des biais de perception.

Cette étude pilote est la première à évaluer systématiquement les performances du MLLM open source sur la VQA des documents khmers, en utilisant KH-FUNSD pour construire un sous-ensemble de questions-réponses anglais-khmer comprenant des factures, des reçus et d'autres services. Par rapport aux évaluations précédentes axées sur les documents anglais à ressources élevées, cette étude révèle de nouveaux défis posés par la complexité des écritures et le mélange des unités monétaires dans les documents non latins à faibles ressources.

Cet article propose la segmentation de scène comme unité de récupération du film RAG. Par rapport aux segments précédents de longueur fixe, les limites sémantiques au niveau de l’histoire sont systématiquement introduites pour la première fois dans la récupération vidéo. Le résumé décrit uniquement la définition du problème, et il n'y a pas encore de résultats expérimentaux, mais il indique que la qualité du RAG est limitée par la direction de la granularité de la segmentation.

ClearText-Video construit une référence de 4 639 vidéos à la première personne riches en texte réel, couvrant les dégradations de qualité telles que le flou de mouvement, les artefacts de compression, le bruit et la faible résolution. Par rapport aux tests de référence de texte précédents, qui étaient pour la plupart des vidéos statiques ou de haute qualité, il intègre pour la première fois la restauration vidéo et l'amélioration du texte de scène dans un cadre d'évaluation unifié pour tester la lecture et le raisonnement de texte de MLLM dans des conditions de qualité réelle. Cela signifie que la recherche sur la compréhension vidéo centrée sur le texte est passée de « peut-elle être lue » à « peut-elle être lue lorsque la qualité de l'image est mauvaise ».

DocIntent propose un cadre de récupération agent guidé par la responsabilité pour résoudre les problèmes de dégradation tels que le flou et l'ombrage dans le document VQA réel. Contrairement aux méthodes de restauration existantes qui optimisent la qualité générale de l'image, elle prend directement la responsabilité des tâches VQA comme objectif de restauration, de sorte que la restauration serve les tâches en aval. Cela signifie que la récupération agentique passe des images naturelles aux documents axés sur les tâches, fournissant ainsi de nouvelles idées pour les questions et réponses sur les documents MLLM.