Articles sur World Models

Cet article ne s'arrête pas aux améliorations architecturales, mais réexamine les objectifs de formation, soulignant que la moyenne globale MSE fait inonder les zones statiques de signaux interactifs. L'essence de l'utilisation de l'attention pour créer des graphiques d'interaction est de faire en sorte que la fonction de perte apprenne à se concentrer, plutôt que de simplement rendre le modèle plus fort. Cela pourrait permettre aux modèles mondiaux d’apprendre plus efficacement les interactions physiques sans recourir à des annotations coûteuses.

L'article souligne que la simulation ne suffit pas à soutenir la prise de décision dans des conditions partiellement observables et que les états de croyance doivent être explicitement modélisés. Cela signifie que la recherche sur les agents LLM passe de la « simulation d'action » à la « modélisation de l'incertitude », suivant ou favorisant l'intégration des mécanismes de mémoire et de raisonnement.