Articles sur AI4Bharat
1 articles liés
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI InsightLe lancement conjoint par AI4Bharat et NVIDIA d'un corpus de pré-entraînement multilingue de 2 800 milliards de tokens et d'un pipeline de génération open source signifie que l'infrastructure de données pour les LLMs non anglophones évolue, passant de web scrapings et de nettoyages fragmentés à une chaîne d'outils standardisée, de niveau industriel et accélérée par GPU. Cela permet non seulement de briser le goulot d'étranglement des données de haute qualité pour des langues spécifiques, mais cela accélérera également l'écosystème de déploiement des LLMs régionaux.Importance 78/100