PyTorch に関する報道

AWSとHugging Faceが共同でTorchNeuron向けのシステムレベルのプロファイリングを導入したことは、クラウドベンダーが開発者向けのパフォーマンスプロファイリングツールの最適化を通じて、自社製ハードウェア上での大規模言語モデルの実装を加速させていることを意味している。これは、ハードウェアエコシステムの競争が、単なる演算能力の積み上げから、コンパイラースタックやエコシステムツールの充実にシフトしていることを示している。

i14がAWS Trainium2上でLaplace 3B線形アテンションモデルの実行に成功したことは、Transformerアーキテクチャに代わる長文脈推論のソリューションが、理論段階からエンジニアリングの検証段階へ移行しつつあることを意味している。リカレント状態を29.5 MBに固定することで、この技術はコンテキストの長さに伴って線形増加するという従来のKVキャッシュのメモリ制限を回避している。これは、大規模言語モデルのハードウェアおよびアーキテクチャの最適化が、長文脈におけるメモリコストの削減に向けて急速に進展していることを示している。

PyTorch 2.15 は、MPS に対してFP8による高速化や言語モデルのデコード速度の向上など、複数の高速化と最適化を提供しており、これらの改善によりMac上でのモデル実行速度や計算タスクの効率が向上する可能性があります。

Hugging Faceは、TPUをサポートするPyTorchバックエンド「TorchTPU」を発表しました。これにより、PyTorch開発者はTPU上でのモデルデプロイがより簡単に行えるようになります。実際、Transformers、Diffusers、KernelsをTPU上で直接実行できるようになりました。

Amazonは、PyTorch領域におけるNVIDIAの独占体制を打破し、Amazon独自のチップを含む他のチップ上でアプリケーションを実行するよう開発者に促すことを目的に、TorchNeuron開発ツールを発表した。これは事実上、NVIDIAに対するAmazonのこれまでで最大の挑戦である。Amazonのこの動きは、AIチップ市場におけるNVIDIAの優位性に対する脅威となる可能性がある。

TorchNeuronは、AWS TrainiumバックエンドをサポートするPyTorchのプラグインであり、ユーザーはTrainium上でHugging Faceモデルをより簡単に実行し、そのモデルをHugging Face Hubに共有することができます。

NVIDIAは、cuDNN Graph APIを通じてフレームワークの深層に入り込み、演算子融合と自動チューニングを行うことで、高性能AI計算の最適化の焦点が単なるモデル構造の調整から、下層のハードウェア命令ストリームのスケジューリングへと移行していることを示している。この動きは、開発者により高度なパフォーマンスを引き出す手段を提供している。