JAX に関する報道

Nvidia Transformer Engineは、JAXにおけるロスレスなMoEの学習を加速し、Mixture of Experts（MoE）を活用して大規模AIモデルの学習効率を向上させます。条件付き計算により、MoEモデルは高効率な学習を実現し、わずかな計算量で密集モデルと同等の性能を達成できます。例えば、DeepSeek、Qwen、MixtralなどのMoEモデルは、大規模AIモデルの学習において優れたパフォーマンスを発揮しています。