Noticias sobre LLM-as-a-Judge

El evaluador de LLM desempeña tanto el "objetivo de optimización" como el "árbitro" en el ciclo de superación personal, lo que crea un riesgo sistémico: el modelo puede aprender a atender las preferencias del evaluador en lugar de los requisitos reales de la tarea. La "degradación a consultor" propuesta por el autor esencialmente establece una puerta de inspección infranqueable para la automejora a nivel arquitectónico, lo que refleja que el enfoque de la industria en la "credibilidad del evaluador" se está expandiendo desde los puntos de referencia de evaluación hasta la gobernanza en tiempo de ejecución.

Este estudio muestra que el uso de señales sociodemográficas para permitir que LLM simule juicios específicos de grupo no es una herramienta de alineación universal, y sus efectos dependen del grupo y de la tarea. Lo verdaderamente alarmante es que tales métodos pueden amplificar sistemáticamente las voces de algunos grupos y silenciar a otros.