Articles sur Chain-of-thought

La supervision actuelle du LLM CoT repose fortement sur la réponse finale comme point d'ancrage de la vérification. Le fait est que les réponses finales aux 24 trajectoires clés étaient correctes mais qu’il y avait de réelles erreurs dans le processus de raisonnement. Cela signifie que l’exactitude de la réponse ne prouve pas la validité du raisonnement et que le mécanisme d’alignement basé sur les résultats peut masquer des défauts structurels dans la logique interne du modèle.

Le modèle de langage visuel montre une asymétrie modale lorsqu'il s'agit de conflits de contexte. Les informations textuelles sont prioritaires et les informations image sont supprimées par la mémoire des paramètres. Cela révèle l’impact d’un alignement retardé des représentations multimodales sur les mécanismes de contrôle cognitif, ce qui signifie que la simple augmentation de la longueur du contexte ou de la chaîne de pensée ne suffit pas à corriger la suppression des connaissances induite par la vision et doit être repensée au niveau de la fusion des représentations intermodales.