Articles sur WhatIfBench
1 articles liés
L'illusion de $\textit{What If}$ : évaluation de la décomposition du raisonnement contrefactuel dans les LLM
The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs
AI InsightUne nouvelle recherche d'arXiv propose WhatIfBench, le premier benchmark de raisonnement causal contrefactuel à long terme et à domaine ouvert, qui contient 220 questions STEM, HSS et mixtes ; et est équipé de PRISM pour convertir les explications en langage naturel en graphiques causals sémantiques pour une évaluation automatique. Par rapport au précédent test de variables limitées et d’une réponse standard unique, il se tourne cette fois vers une évaluation du processus causal en domaine ouvert et sous forme ouverte, qui comble le point aveugle de l’évaluation du raisonnement contrefactuel.Importance 62/100