Articles sur CivBench
1 articles liés
CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI
AI InsightLa valeur de CivBench ne réside pas dans le classement des modèles, mais dans le fait de pousser l'échelle d'évaluation des agents à un environnement de jeu réel de plus de 300 tours et de standardiser l'interface de l'outil via MCP. Cela marque un changement dans l'orientation de l'évaluation de « l'invocation d'un outil en une seule étape » vers « la planification à long terme et la surveillance de l'état », et la recherche sur les agents sera plus proche de la complexité du déploiement réel.Importance 65/100