Articles sur tau-bench

Cet article propose des tests de stress sémantique basés sur la sélection (SASST), qui séparent la sélection du flux de travail et du type de tâche en deux phases : découverte/confirmation, pour éviter de filtrer les conclusions sur les mêmes données en même temps. Quarante audits groupés ont montré une couverture gaussienne insuffisante ; dans l'expérience de 480 épisodes sur banc tau, 3,75 points ont été constatés, indiquant que l'avantage avait disparu lors de la phase de confirmation. Cela signifie que les « conclusions avantageuses » de la plupart des évaluations d'agents précédentes peuvent être dues à un biais de sélection, et le paradigme d'évaluation doit passer d'une recherche de référence unique à une vérification conjointe.