Noticias sobre MSE

Este documento no se detiene en las mejoras arquitectónicas, sino que reexamina los objetivos de capacitación, señalando que el promedio global de MSE hace que las áreas estáticas inunden las señales interactivas. La esencia de utilizar la atención para construir gráficos de interacción es hacer que la función de pérdida aprenda a concentrarse, en lugar de simplemente hacer que el modelo se exprese más fuerte. Esto puede permitir que los modelos mundiales aprendan las interacciones físicas de manera más eficiente sin depender de costosas anotaciones.