Articles sur Red Hat
1 articles liés
Google Cloud livre LLM-d 1.0 avec un routage prenant en charge le cache pour les flottes TPU et GPU
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI InsightGoogle, Red Hat et IBM lancent conjointement llm-d 1.0, ce qui signifie que l'infrastructure des LLM accélère sa transition vers une architecture cloud-native open source et collaborative multi-fournisseur matériel. En intégrant le routage conscient du cache et le contrôle de flux multi-tenant, l'industrie s'attaque systématiquement aux goulets d'étranglement en matière de coût et d'efficacité liés à l'inférence de LLM à grande échelle.Importance 85/100