Articles sur Reinforcement Learning

Cette recherche révèle un problème structurel dans l'apprentissage par renforcement multi-récompense : l'agrégation de poids fixe entraînera le détournement du processus d'optimisation par la dimension de récompense « la plus facile à marquer », empêchant ainsi la stratégie d'atteindre une optimisation globale. L’importance est que les piratages de récompenses ne proviennent pas d’un seul défaut de conception des récompenses, mais de la méthode d’agrégation elle-même, qui fournit une entrée théorique pour une pondération dynamique ultérieure ou une optimisation du découplage.

Cette recherche n'améliore pas simplement les compétences aux échecs, mais redéfinit la stratégie d'exploration après l'apprentissage par imitation : en utilisant le propre MCTS du réseau avant de guider l'exploration, au lieu d'une entropie uniforme, permettant à l'apprentissage par renforcement de se concentrer sur des voies prometteuses jugées a priori. Le corollaire est que les agents sans recherche devraient se débarrasser de leur dépendance à l’égard de la recherche et de l’approche des enseignants, voire surpasser leurs forces en une seule propagation vers l’avant.

L'article propose d'utiliser l'apprentissage par renforcement pour effectuer des lancers sans saisie, sans s'appuyer sur des modèles analytiques de contact. Cela signifie que la recherche sur le fonctionnement des robots passe d'une « modélisation précise » à une recherche « axée sur l'apprentissage ». À l’avenir, les limites du fonctionnement des objets robots pourraient être définies par les capacités de données et de simulation plutôt que par la précision du modèle physique.

Cette recherche tente de combler l'écart de gradient entre l'apprentissage par renforcement et le MPC différentiable : recherche de variance avec une stratégie de réduction de gradient du solveur tout en préservant la dépendance de RL aux échantillons environnementaux. Il s’agit essentiellement de trouver un nouveau point d’équilibre entre l’efficacité de l’échantillon et le biais du modèle. S'il est établi, il favorisera le contrôle adaptatif MPC depuis l'ajustement manuel des paramètres jusqu'à l'optimisation en ligne basée sur l'apprentissage, et il convient de prêter attention à sa capacité de généralisation entre scénarios.

Le framework CogRun permet aux robots au sol d'effectuer un apprentissage cognitif d'exécution sur des appareils d'IA de pointe dans des environnements inconnus sans cartes préalables, intégrant l'apprentissage par renforcement et l'apprentissage basé sur les instances, avec des modules de non-apprentissage responsables des fonctions critiques pour la sécurité. Par rapport au précédent contrôle du robot qui reposait sur la perception préalable ou sur la formation dans le cloud, cette séparation de l'apprentissage et de la sécurité et son transfert vers l'extrémité constituent un changement progressif dans l'apprentissage par renforcement des robots embarqués.