Noticias sobre Terminal-Bench-LILT

Se lanza Terminal-Bench-LILT, que contiene 300 tareas de codificación en 10 idiomas, ninguno de los cuales tiene equivalentes en inglés. La tasa de aprobación del modelo más potente es sólo del 63,1%, lo que indica que las capacidades de codificación de los agentes multilingües están lejos de estar maduras. En comparación con revisiones anteriores exclusivamente en inglés, este es el primer punto de referencia de una agencia de codificación que cubre sistemáticamente las dimensiones de idioma/región/cultura.