关于 Dust 的报道

Dust 提出了一种在无反向传播情况下预训练 Transformer 大语言模型的方法，意味着大语言模型的训练范式可能正在探索突破传统自动微分约束的新路径。若该方法在大规模场景下验证可行，将为分布式训练架构与硬件利用率带来根本性变革。