Noticias sobre Kubernetes
5 artículos relacionados
Google Cloud lanza LLM-d 1.0 con enrutamiento compatible con caché para flotas de TPU y GPU
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI InsightGoogle, Red Hat y IBM han lanzado conjuntamente llm-d 1.0, lo que significa que la infraestructura de modelos de lenguaje de gran tamaño está acelerando su evolución hacia una arquitectura nativa en la nube de código abierto con colaboración de hardware de múltiples fabricantes. Mediante la integración del enrutamiento consciente de la caché y el control de flujo multiinquilino, la industria está resolviendo sistemáticamente los cuellos de botella de coste y eficiencia en la inferencia a gran escala de modelos de lenguaje de gran tamaño.Importancia 85/100NVIDIA código abiertos Ejecutar:ai en Apache 2.0 para la orquestación de GPU de Kubernetes
NVIDIA Open Sources Run:ai Under Apache 2.0 for Kubernetes GPU Orchestration
AI InsightNVIDIA ha publicado Run:ai como código abierto bajo la licencia Apache 2.0, lo que significa que su estrategia competitiva se extiende desde la simple supremacía del rendimiento de hardware hacia la construcción de un estándar de ecosistema de infraestructura. Mediante la integración del programador KAI y las capacidades de partición de GPUs, NVIDIA está estrechando su control sobre las bases de entrenamiento e inferencia de modelos de lenguaje de gran tamaño.Importancia 86/100Show HN: AI SRE Arena, un Open benchmark para AI SRE Agents en Kubernetes
Show HN: AI SRE Arena, an Open Benchmark for AI SRE Agents on Kubernetes
AI InsightEl lanzamiento de AI SRE Arena significa que la evaluación de los LLM está evolucionando desde las pruebas de capacidad general hacia pruebas de estrés profundas en escenarios verticales específicos. Al proporcionar mecanismos estandarizados de inyección de fallos y evaluación, este benchmark ayuda a resolver el problema actual de la falta de estándares de comparación objetivos para las operaciones de infraestructura mediante LLM. En el futuro, vale la pena prestar atención a si puede convertirse en el consenso de la industria para evaluar el rendimiento de los Agent de operaciones de infraestructura.Importancia 65/100Can a Cloud-Native Harness Make Agents Reliable Beyond the Desktop?
AI InsightLos cofundadores de Kubernetes, Craig McLuckie y Joe Beda, tienen como objetivo llevar los marcos de ejecución de agentes de IA (agent harnesses) por completo a la nube. Este movimiento indica que la infraestructura de ejecución de los Agent está intentando evolucionar desde los entornos de escritorio locales hacia arquitecturas nativas de la nube.Importancia 70/100Prácticas de arquitectura de Agent Infra a nivel empresarial: desde sandboxes de seguridad hasta control de redes y gestión de identidades | QCon Shanghái
企业级 Agent Infra 架构实践:从安全沙箱到网络管控与身份治理|QCon上海
AI InsightLas prácticas de SAIC Motor en la arquitectura de Agent a nivel empresarial demuestran que los desafíos de seguridad y aislamiento que trae consigo la ejecución autónoma de los Agent están impulsando la actualización de la infraestructura desde los contenedores tradicionales hacia una solución integrada de «sandbox + control de red + gestión de identidades», lo que marca la entrada de la ingeniería de IA empresarial en aguas profundas.Importancia 70/100