Noticias sobre Transformer Engine

NVIDIA Transformer Engine puede acelerar el entrenamiento de MoE sin pérdidas en JAX, aprovechando los modelos de mezcla de expertos (MoE) para mejorar la eficiencia del entrenamiento de modelos de IA a gran escala. Mediante el cálculo condicional, los modelos MoE pueden lograr un entrenamiento eficiente, alcanzando el mismo rendimiento que los modelos densos utilizando solo una fracción del coste computacional. Por ejemplo, modelos MoE como DeepSeek, Qwen y Mixtral han demostrado un desempeño sobresaliente en el entrenamiento de modelos de IA a gran escala.