PopMCQ に関する報道

LLM は、たとえ選択肢が間違っていたとしても、多肢選択問題で人気のある選択肢を体系的に優先し、精度が低下しても信頼水準は高いままになります。新しいベンチマーク PopMCQ は、6 つの制御戦略を使用してこのバイアスを定量化し、モデルは最も対立的なシナリオで一般的な誤差項を選択する傾向があります。これは、既存の評価がモデルの機能を過大評価している可能性があり、オプションの人気を評価変数として使用する必要があることを示唆しています。