Articles sur Rasch Measurement Theory

arXiv a publié une nouvelle recherche proposant l'application de la théorie des mesures de Rasch (RMT) pour l'évaluation LLM. Par rapport à la pratique standard précédente consistant simplement à traiter le modèle comme un sujet ou un évaluateur, RMT décompose les notes ordinales en facettes séparables sur une échelle commune et diagnostique les erreurs d'étalonnage et les biais des évaluateurs. Cela montre que l'évaluation LLM passe d'un simple test de référence à une analyse psychométrique multidimensionnelle quantifiable.