Noticias sobre AI4Bharat
1 artículos relacionados
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI InsightEl lanzamiento conjunto de AI4Bharat y NVIDIA de un corpus de preentrenamiento multilingüe de 2,8 billones de tokens y un pipeline generativo de código abierto significa que la infraestructura de datos para los LLM no angloparlantes está evolucionando desde el raspado y la limpieza fragmentados hacia una cadena de herramientas estandarizada, de nivel industrial y acelerada por GPU. Esto no solo rompe el cuello de botella de los datos de alta calidad para idiomas específicos, sino que también acelerará el ecosistema de implementación de LLMs regionales.Importancia 78/100