Noticias sobre Trainium2

i14 ha ejecutado con éxito el modelo de atención lineal Laplace 3B en AWS Trainium2, lo que significa que las soluciones de inferencia para textos largos que reemplazan a la arquitectura Transformer están pasando de la teoría a la validación de ingeniería. Al fijar el estado recurrente en 29,5 MB, esta tecnología evita el límite de memoria del caché de claves y valores (KV cache) tradicional, que crece linealmente con el contexto. Esto demuestra que la optimización de hardware y arquitectura para los modelos de lenguaje de gran tamaño está evolucionando aceleradamente hacia la reducción de los costos de memoria en textos largos.