Noticias sobre Reinforcement Learning

Esta investigación revela un problema estructural en el aprendizaje reforzado con múltiples recompensas: la agregación de peso fijo hará que el proceso de optimización sea secuestrado por la dimensión de recompensa "más fácil de calificar", evitando así que la estrategia logre una optimización global. La importancia es que los trucos de recompensa pueden no provenir de un solo defecto de diseño de recompensa, sino del método de agregación en sí, que proporciona una entrada teórica para la ponderación dinámica posterior o la optimización de desacoplamiento.

Esta investigación no solo mejora las habilidades de ajedrez, sino que redefine la estrategia de exploración después del aprendizaje por imitación: usar el propio MCTS de la red antes de guiar la exploración, en lugar de la entropía uniforme, permitiendo que el aprendizaje por refuerzo se centre en caminos prometedores juzgados a priori. El corolario es que se espera que los agentes sin búsqueda se deshagan de su dependencia de la búsqueda y el acercamiento de los docentes o incluso superen la fuerza de los docentes en una única propagación hacia adelante.

El artículo propone utilizar el aprendizaje por refuerzo para realizar lanzamientos sin agarre, sin depender de modelos de contacto analíticos. Esto significa que la investigación sobre el funcionamiento de robots está pasando del "modelado preciso" al "impulsado por el aprendizaje". En el futuro, los límites del funcionamiento de los objetos robóticos podrán definirse mediante datos y capacidades de simulación en lugar de la precisión del modelo físico.

Esta investigación intenta cerrar la brecha de gradiente entre el aprendizaje por refuerzo y el MPC diferenciable: buscando varianza con una estrategia de reducción de gradiente de solucionador mientras se preserva la dependencia de RL de muestras ambientales. Básicamente, se trata de encontrar un nuevo punto de equilibrio entre la eficiencia de la muestra y el sesgo del modelo. Si se establece, promoverá el control adaptativo de MPC desde el ajuste manual de parámetros hasta la optimización en línea basada en el aprendizaje, y vale la pena prestar atención a su capacidad de generalización entre escenarios.

El marco CogRun permite a los robots terrestres completar el aprendizaje cognitivo en tiempo de ejecución en dispositivos de inteligencia artificial en entornos desconocidos sin mapas previos, integrando el aprendizaje por refuerzo y el aprendizaje basado en instancias, con módulos sin aprendizaje responsables de funciones críticas para la seguridad. En comparación con el control de robots anterior que se basaba en la percepción previa o el entrenamiento en la nube, esta separación del aprendizaje y la seguridad y su descenso hasta el final es un cambio incremental en el aprendizaje de refuerzo de robots integrado.