Noticias sobre Dust

Dust ha propuesto un método para preentrenar modelos de lenguaje de gran tamaño basados en Transformer sin utilizar retropropagación, lo que indica que el paradigma de entrenamiento de los modelos de lenguaje de gran tamaño podría estar explorando un nuevo camino para superar las restricciones de la diferenciación automática tradicional. Si este método demuestra su viabilidad a gran escala, traerá consigo una transformación fundamental para las arquitecturas de entrenamiento distribuido y la eficiencia en el uso de hardware.