Noticias sobre Chain-of-thought

La supervisión actual de LLM CoT depende en gran medida de la respuesta final como ancla de verificación. El hecho es que las respuestas finales a las 24 trayectorias clave eran correctas pero hubo errores reales en el proceso de razonamiento. Esto significa que la exactitud de la respuesta no prueba la validez del razonamiento y el mecanismo de alineación basado en resultados puede enmascarar fallas estructurales en la lógica interna del modelo.

El modelo de lenguaje visual muestra asimetría modal cuando se trata de conflictos de contexto. La información de texto tiene prioridad y la información de imagen se suprime mediante la memoria de parámetros. Esto revela el impacto del retraso en la alineación de la representación multimodal en los mecanismos de control cognitivo, lo que significa que simplemente aumentar la longitud del contexto o la cadena de pensamiento no es suficiente para corregir la supresión del conocimiento impulsada por la visión, y debe rediseñarse desde el nivel de fusión de representación intermodal.