Transformers に関する報道

Hugging Faceは、TPUをサポートするPyTorchバックエンド「TorchTPU」を発表しました。これにより、PyTorch開発者はTPU上でのモデルデプロイがより簡単に行えるようになります。実際、Transformers、Diffusers、KernelsをTPU上で直接実行できるようになりました。

QwenモデルのWesternizedバージョンが米国企業ユーザー向けにリリースされました。このモデルは、Image-Text-to-Text Transformersの一種であり、SafetensorsおよびMixture of Experts技術を採用しており、さらに行動性解耦（behavioral-unlearning）の特性を持っています。

Dustは、バックプロパゲーション（逆伝播）なしでTransformerベースの大規模言語モデルを事前学習する手法を提案しました。これは、大規模言語モデルの学習パラダイムが、従来の自動微分制約を打破する新たなアプローチを模索しつつある可能性を示しています。もしこの手法が大規模なシナリオで有効性が証明されれば、分散学習アーキテクチャやハードウェアの利用効率に根本的な変革をもたらすことになります。