SpireBench に関する報道

SpireBenchは、『Slay the Spire』を活用して、現在の大規模言語モデルにおける長期的な戦略推論のボトルネックを明らかにしました。モデルは短期的なタスクをこなし、初期段階では優れたパフォーマンスを見せるものの、タイムラインが長くなるにつれて、多段階の計画能力や長期的影響の評価能力が欠如しているため、パフォーマンスが急激に低下します。これは、AIエージェントがパラメータ数や静的知識で競い合う段階から、動的計画や長期的シークエンスの決定能力を競い合う深水区（正念場）へと移行しつつあることを示しています。