TensorRT Edge-LLM に関する報道

Jetson AGX Thor上のTensorRT Edge-LLMによる6.4倍の性能向上は、エッジハードウェアが単一ターン対話型の大規模言語モデルのサポートから、多段階推論とツール呼び出しを備えた複雑なAIエージェントの駆動へと移行しつつあることを意味する。この進展は、クラウド上のインテリジェンスとエッジ側の身身体知能（エンボディドAI）の間の性能ギャップを縮小させるものである。