Noticias sobre World Models

Este documento no se detiene en las mejoras arquitectónicas, sino que reexamina los objetivos de capacitación, señalando que el promedio global de MSE hace que las áreas estáticas inunden las señales interactivas. La esencia de utilizar la atención para construir gráficos de interacción es hacer que la función de pérdida aprenda a concentrarse, en lugar de simplemente hacer que el modelo se exprese más fuerte. Esto puede permitir que los modelos mundiales aprendan las interacciones físicas de manera más eficiente sin depender de costosas anotaciones.

El artículo señala que la simulación no es suficiente para respaldar la toma de decisiones en condiciones parcialmente observables, y los estados de creencia deben modelarse explícitamente. Esto significa que la investigación de agentes del LLM está pasando de la "simulación de acción" al "modelado de incertidumbre", siguiendo o promoviendo la integración de la memoria y los mecanismos de razonamiento.