Noticias sobre PyTorch

El lanzamiento conjunto de AWS y Hugging Face de un análisis a nivel de sistema para TorchNeuron significa que los proveedores cloud están acelerando la implementación de modelos de lenguaje de gran tamaño en su propio hardware optimizando las herramientas de perfilado de rendimiento para los desarrolladores. Esto demuestra que la competencia en el ecosistema de hardware ha pasado del mero despliegue de potencia de cálculo a la mejora de la pila de compilación y las cadenas de herramientas complementarias.

i14 ha ejecutado con éxito el modelo de atención lineal Laplace 3B en AWS Trainium2, lo que significa que las soluciones de inferencia para textos largos que reemplazan a la arquitectura Transformer están pasando de la teoría a la validación de ingeniería. Al fijar el estado recurrente en 29,5 MB, esta tecnología evita el límite de memoria del caché de claves y valores (KV cache) tradicional, que crece linealmente con el contexto. Esto demuestra que la optimización de hardware y arquitectura para los modelos de lenguaje de gran tamaño está evolucionando aceleradamente hacia la reducción de los costos de memoria en textos largos.

PyTorch 2.15 ofrece múltiples aceleraciones y optimizaciones para MPS, incluyendo aceleración FP8 y una mayor velocidad de decodificación para modelos de lenguaje, mejoras que podrían incrementar la velocidad de ejecución de modelos y la eficiencia de las tareas de cálculo en Mac.

Hugging Face ha lanzado TorchTPU, un backend de PyTorch compatible con TPU. Esto significa que los desarrolladores de PyTorch ahora pueden desplegar modelos en TPU con mayor facilidad. De hecho, Transformers, Diffusers y Kernels ahora se pueden ejecutar directamente en TPU.

Amazon ha lanzado la herramienta de desarrollo TorchNeuron, con la intención de romper el monopolio de NVIDIA en el ecosistema de PyTorch y animar a los desarrolladores a ejecutar aplicaciones en otros chips, incluidos los propios de Amazon. De hecho, este es el mayor desafío de Amazon a NVIDIA. Este movimiento por parte de Amazon podría representar un reto para el dominio de NVIDIA en el mercado de chips de IA.

TorchNeuron es un plugin de PyTorch que soporta el backend de AWS Trainium, lo que permite a los usuarios ejecutar más fácilmente modelos de Hugging Face en Trainium y compartir los modelos en el Hugging Face Hub.

NVIDIA, a través de cuDNN Graph API, profundiza en las capas inferiores del framework para realizar fusión de operadores y autocalibración, lo que significa que el enfoque de optimización de la computación de IA de alto rendimiento se está extendiendo desde el ajuste simple de la arquitectura del modelo hasta la programación del flujo de instrucciones de hardware de bajo nivel. Esta iniciativa ofrece a los desarrolladores un medio más preciso para extraer el máximo rendimiento.