Noticias sobre tau-bench

Este artículo propone la prueba de estrés semántico consciente de la selección (SASST), que separa el flujo de trabajo y la selección del tipo de tarea en dos fases: descubrimiento/confirmación, para evitar sacar conclusiones sobre los mismos datos al mismo tiempo. Cuarenta auditorías de conglomerados mostraron una cobertura gaussiana insuficiente; en el experimento de 480 episodios de tau-bench, se encontraron 3,75 puntos y la ventaja desapareció en la etapa de confirmación. Esto significa que las “conclusiones sobre ventajas” de la mayoría de las revisiones anteriores de agentes pueden deberse a un sesgo de selección, y el paradigma de evaluación debe pasar de la búsqueda de un único punto de referencia a la verificación conjunta.