Articles sur SWE-bench

RealSWE a comparé les demandes réelles des utilisateurs avec la tâche de référence du banc SWE et a constaté que 88 % des invites réelles contenaient uniquement des énoncés de problèmes ou un contexte minimal, contre seulement 7 % dans la référence ; 87 % des invites réelles étaient familières, contre 94 % des déclarations formelles de base. Cela signifie qu'il y a un changement de distribution significatif dans l'évaluation de l'agent d'encodage et que les benchmarks existants surestiment la capacité du modèle à gérer de vraies requêtes courtes.