RealSWE に関する報道

RealSWE は、実際のユーザー リクエストと SWE ベンチ ベンチマーク タスクを比較したところ、実際のプロンプトの 88% には、問題のステートメントまたは最小限のコンテキストのみが含まれていたのに対し、ベースラインではわずか 7% であったことがわかりました。実際のプロンプトの 87% は口語的なものでしたが、ベースラインの正式なステートメントでは 94% でした。これは、エンコード エージェントの評価に大幅な分布の変化があり、既存のベンチマークが実際の短いリクエストを処理するモデルの能力を過大評価していることを意味します。