Articles sur Transformer Engine

NVIDIA Transformer Engine peut accélérer l'entraînement des MoE sans perte dans JAX, en exploitant les modèles de type mélange d'experts (MoE) pour améliorer l'efficacité de l'entraînement des modèles d'IA à grande échelle. Grâce au calcul conditionnel, les modèles MoE permettent un entraînement haut de gamme, atteignant les performances des modèles denses avec une fraction seulement du volume de calcul. Par exemple, des modèles MoE tels que DeepSeek, Qwen et Mixtral brillent dans l'entraînement de modèles d'IA à grande échelle.