Noticias sobre KLOD

Un nuevo artículo de arXiv propone KLOD, una función objetivo de preservación de la distribución limitada para la edición de conocimiento afinada: detener la mejora del objetivo después de alcanzar un umbral de probabilidad y retener la distribución completa de posiciones no objetivo y posiciones de prefijo. En comparación con la entropía cruzada estándar anterior que no restringe la distribución no objetivo, KLOD suprime directamente la deriva de la distribución en la edición secuencial y alivia mecánicamente la degradación local. Esto significa que el control local de la edición del conocimiento pasa de la regularización empírica a restricciones de distribución explícitas.