Noticias sobre Code LLMs

Explorar modelos de lenguaje de gran tamaño basados ​​en códigos de entrenamiento a través del aprendizaje por refuerzo fuera de línea en conjuntos de datos existentes significa que la industria está buscando formas de evitar el costoso muestreo en línea. Se espera que este cambio reduzca significativamente los costos de capacitación de modelos y promueva la popularización de la tecnología de generación de código. En el futuro, se debe prestar atención a si el entrenamiento fuera de línea hará que el límite superior del rendimiento del modelo sea limitado o el problema del colapso del modelo.