Articles sur PopMCQ

LLM privilégie systématiquement l’option populaire dans les questions à choix multiples, même si l’option est fausse, et le niveau de confiance reste élevé lorsque la précision diminue. Le nouveau benchmark PopMCQ quantifie ce biais à l'aide de six stratégies de contrôle, et le modèle tend à sélectionner le terme d'erreur populaire dans le scénario le plus conflictuel. Cela suggère que les évaluations existantes peuvent surestimer les capacités du modèle et que la popularité des options devrait être utilisée comme variable d'évaluation.