Articles sur Transformers

Hugging Face a lancé TorchTPU, un backend PyTorch compatible avec les TPU. Cela signifie que les développeurs PyTorch peuvent désormais déployer plus facilement des modèles sur des TPU. En fait, Transformers, Diffusers et Kernels peuvent désormais tourner directement sur des TPU.

La version occidentalisée du modèle Qwen est publiée, destinée aux utilisateurs d'entreprises américaines. Ce modèle est une variante de Transformateurs Image-Texte-vers-Texte qui utilise les technologies Safetensors et Mixture of Experts, et présente la particularité d'un débranchement comportemental (behavioral-unlearning).

Dust a présenté une méthode pour pré-entraîner des modèles de langage de grande taille basés sur l'architecture Transformer sans rétropropagation, ce le paradigm d'entraînement de ces modèles pourrait explorer de nouvelles voies s'affranchissant des contraintes de la différenciation automatique traditionnelle. Si cette méthode s'avère viable à grande échelle, elle apportera des changements fondamentaux aux architectures d'entraînement distribué et à l'utilisation du matériel.