Noticias sobre WhatIfBench
1 artículos relacionados
La ilusión de $\textit{What If}$: Evaluación del desglose del razonamiento contrafactual en los LLM
The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs
AI InsightUna nueva investigación de arXiv propone WhatIfBench, el primer punto de referencia de razonamiento causal contrafactual de largo alcance y dominio abierto, que contiene 220 preguntas STEM, HSS y mixtas; y está equipado con PRISM para convertir explicaciones en lenguaje natural en gráficos causales semánticos para una evaluación automática. En comparación con el punto de referencia anterior de variables limitadas y una única respuesta estándar, esta vez se recurre a una evaluación del proceso causal de dominio y forma abiertos, que llena el punto ciego de la evaluación del razonamiento contrafactual.Importancia 62/100