Noticias sobre SWE-bench

RealSWE comparó las solicitudes de los usuarios reales con la tarea de referencia del banco SWE y descubrió que el 88 % de las indicaciones reales contenían solo declaraciones de problemas o un contexto mínimo, en comparación con solo el 7 % en la línea de base; El 87% de las indicaciones reales fueron coloquiales, en comparación con el 94% de las declaraciones formales iniciales. Esto significa que hay un cambio de distribución significativo en la evaluación del agente de codificación y que los puntos de referencia existentes sobreestiman la capacidad del modelo para manejar solicitudes realmente cortas.