Noticias sobre Multimodal Large Language Models

El artículo propone la destilación de instrucciones: un modelo multimodal grande genera instrucciones de reconocimiento de texto para cada imagen de entrenamiento y utiliza ejemplos de texto para reemplazar ejemplos de imágenes para el aprendizaje del contexto visual, conservando la diversidad dentro de la clase y al mismo tiempo reduciendo el consumo de tokens durante la inferencia. En comparación con el pasado, donde solo había una descripción para cada categoría, esta vez las instrucciones se generan de acuerdo con el gráfico, lo que reduce el umbral de implementación para la clasificación detallada de K a gran escala.