Noticias sobre TensorRT Edge-LLM

TensorRT Edge-LLM en Jetson AGX Thor logra un incremento de rendimiento de 6,4 veces, lo que significa que el hardware de borde está evolucionando de simplemente admitir modelos de lenguaje de gran tamaño de conversación de un solo turno a respaldar agentes de IA complejos con razonamiento de múltiples pasos y llamadas a herramientas. Este avance acorta la brecha de rendimiento entre la inteligencia en la nube y la inteligencia incorporada en el borde.