Articles sur SAMA-ASR

SAMA-ASR propose d'utiliser des intégrations sémantiques et vocales assistées par traduction pour ancrer conjointement l'état du décodeur, fusionner la sémantique au niveau du discours et les preuves acoustiques avant la prédiction des jetons, fournir à l'ASR à faibles ressources un chemin d'amélioration multimodal léger qui ne repose pas sur du texte transcrit supplémentaire et peut s'adapter aux modèles vocaux multitâches d'encodeur-décodeur existants. Par rapport aux méthodes existantes qui reposent uniquement sur une transcription clairsemée, cette fois un nouveau signal de supervision sémantique multilingue est ajouté.