Articles sur Multimodal Large Language Models

L'article propose une distillation d'instructions : un grand modèle multimodal génère des instructions de reconnaissance de texte pour chaque image d'entraînement et utilise des exemples de texte pour remplacer les exemples d'images pour l'apprentissage du contexte visuel, en conservant la diversité intra-classe tout en réduisant la consommation de jetons lors de l'inférence. Par rapport au passé où il n'y avait qu'une seule description pour chaque catégorie, cette fois les instructions sont générées selon le graphique, ce qui abaisse le seuil de déploiement pour une classification fine du K à grande échelle.