关于 RealSWE 的报道

RealSWE 对比真实用户请求与 SWE-bench 基准任务，发现 88% 的真实提示仅含问题陈述或极少上下文，而基准中仅 7%；87% 真实提示为口语化，基准中 94% 为正式表述。这意味着编码代理评估存在显著分布偏移，现有基准高估了模型处理真实简短请求的能力。