SASST に関する報道

この論文では、ワークフローとタスク タイプの選択を発見/確認の 2 つのフェーズに分離し、同じデータに対する結論を同時にスクリーニングすることを避ける、Selection-Aware Semantic Stress Testing (SASST) を提案します。 40 件のクラスター監査では、ガウス カバレッジが不十分であることが判明しました。タウベンチの 480 エピソード実験では、確認段階で優位性が消失することが 3.75 ポイント判明しました。これは、これまでのほとんどのエージェントレビューの「有利な結論」は選択バイアスによるものである可能性があり、評価パラダイムを単一のベンチマーク検索から共同検証に移行する必要があることを意味します。