Articles sur LoRA
1 articles liés
Déplacer la moyenne vers le bien connu, pas au-delà : ce que les interventions en temps d'inférence et la consolidation du poids achètent dans la génération ouverte
Moving the Mean Toward the Known Good, Not Beyond It: What Inference-Time Interventions and Weight Consolidation Buy in Open-Ended Generation
AI InsightL'étude a révélé que les données d'auto-formation basées sur le filtrage des valeurs ont déplacé la qualité moyenne de la génération ouverte vers de bonnes valeurs connues (réduire la valeur excédentaire de 1,7 à 3,1 points) plutôt qu'au-delà de l'heuristique classique ; trois expériences répétées ont confirmé que les valeurs moyennes étaient cohérentes (-2,0, -1,8, -1,9). Cela signifie qu’il existe un plafond pour l’auto-amélioration, et que l’augmentation provient de la réduction de la production de mauvaise qualité plutôt que du dépassement du plafond.Importance 70/100