Articles sur Rubric Artifacts

L'étude a révélé que les notes des juges LLM peuvent être prédites sur la seule base du texte des règles de notation, quel que soit le contenu évalué. Cela signifie que les résultats de l’évaluation sont en partie dérivés des caractéristiques statistiques du texte de règle lui-même plutôt que d’un raisonnement réel. Cela révèle des biais systémiques dans les méthodes d’évaluation automatisées actuelles plutôt que de simples défauts techniques.