SAMA-ASR に関する報道

SAMA-ASR は、翻訳支援セマンティック埋め込みと音声埋め込みを使用して、デコーダの状態を共同で固定し、トークン予測の前に談話レベルのセマンティクスと音響的証拠を融合し、追加の書き起こしテキストに依存しない軽量のクロスモーダル拡張パスを備えた低リソース ASR を提供し、既存のエンコーダ/デコーダのマルチタスク音声モデルに適応できることを提案しています。スパース転写のみに依存する既存の方法と比較して、今回は新しい言語間セマンティック監視信号が追加されています。