Articles sur Attention

Cet article ne s'arrête pas aux améliorations architecturales, mais réexamine les objectifs de formation, soulignant que la moyenne globale MSE fait inonder les zones statiques de signaux interactifs. L'essence de l'utilisation de l'attention pour créer des graphiques d'interaction est de faire en sorte que la fonction de perte apprenne à se concentrer, plutôt que de simplement rendre le modèle plus fort. Cela pourrait permettre aux modèles mondiaux d’apprendre plus efficacement les interactions physiques sans recourir à des annotations coûteuses.