Noticias sobre Rasch Measurement Theory

arXiv publicó una nueva investigación que propone la aplicación de la teoría de medición de Rasch (RMT) para la evaluación de LLM. En comparación con la práctica estándar anterior de simplemente tratar el modelo como un sujeto o evaluador, RMT descompone las calificaciones ordinales en facetas separables en una escala común y diagnostica errores de calibración y sesgos del evaluador. Esto muestra que la evaluación de LLM está pasando de simples pruebas de referencia a análisis psicométricos multidimensionales cuantificables.