Articles sur CoDR
1 articles liés
CoDR : entraînement-Free Confidence-Drift Remasking for Diffusion Language Models
CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models
AI InsightLe grand modèle de langage à diffusion de masques ne dispose pas d'un mécanisme de correction d'erreurs pendant le décodage, il est donc facile d'affecter la qualité de la génération en raison de l'accumulation d'erreurs précoces. En introduisant un mécanisme de remasquage de la dérive de confiance qui ne nécessite pas de formation, l'algorithme CoDR signifie que la recherche sur les grands modèles de langage de diffusion passe de la simple conception d'architecture à la correction d'erreurs dynamique et à l'optimisation de l'inférence dans le processus de génération.