LVLMs に関する報道

既存の LVLM 幻覚軽減技術は、マルチモーダルの理解を真に改善するのではなく、モデルがより保守的にコンテンツを生成できるようにすることでエラー率を低減することがほとんどです。これは、現在の幻覚評価ベンチマークには抜け穴があり、モデルの実際の視覚調整機能の欠如をカバーする「発言を減らし、間違いを減らす」戦略に簡単にだまされることを示しています。

既存の LVLM 錯視検出は主に単一レイヤーの注意に依存しており、モデルレイヤー間の視覚的な位置決めの動的な進化を無視しています。 CADMP は、隣接するレイヤーにおけるクロスモーダル アテンションの分布ドリフトを追跡することを提案しており、検出メカニズムが「静的スライス」から「動的進化追跡」への変換を示しています。これにより、信頼性の高いマルチモーダル展開に対して、より堅牢な防御線が提供される可能性があります。