Noticias sobre Red Hat
1 artículos relacionados
Google Cloud lanza LLM-d 1.0 con enrutamiento compatible con caché para flotas de TPU y GPU
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI InsightGoogle, Red Hat y IBM han lanzado conjuntamente llm-d 1.0, lo que significa que la infraestructura de modelos de lenguaje de gran tamaño está acelerando su evolución hacia una arquitectura nativa en la nube de código abierto con colaboración de hardware de múltiples fabricantes. Mediante la integración del enrutamiento consciente de la caché y el control de flujo multiinquilino, la industria está resolviendo sistemáticamente los cuellos de botella de coste y eficiencia en la inferencia a gran escala de modelos de lenguaje de gran tamaño.Importancia 85/100