Rasch Measurement Theory に関する報道

arXiv は、LLM 評価への Rasch 測定理論 (RMT) の適用を提案する新しい研究を発表しました。モデルを単純に被験者または評価者として扱う以前の標準的な手法と比較して、RMT は順序評価を共通のスケールで分離可能なファセットに分解し、キャリブレーション エラーと評価者のバイアスを診断します。これは、LLM 評価が単純なベンチマーク テストから定量化可能な多次元心理測定分析に移行していることを示しています。