Noticias sobre Amazon EKS

El lanzamiento por parte de AWS de contenedores de modelos de lenguaje de gran tamaño multi-nodo con Ray integrado significa que los proveedores cloud están empaquetando arquitecturas de inferencia distribuida complejos en productos estandarizados. Esto no solo reduce la barrera de ingeniería para las empresas a nivel de infraestructura, sino que también impulsa la normalización del despliegue de inferencia de modelos de lenguaje de gran tamaño desde un único nodo hasta clústeres multi-nodo.

AWS y NVIDIA presentaron de forma conjunta una solución de implementación que utiliza Amazon S3 Vectors como capa de memoria persistente para NeMo Agent Toolkit. Esto significa que la arquitectura de memoria a largo plazo de los LLM Agent se está expandiendo hacia un almacenamiento de objetos nativo en la nube de menor costo y mayor escalabilidad, ampliando las opciones de infraestructura subyacente para los Agent de nivel empresarial.