Articles sur Fine-Tuning
1 articles liés
La sensibilité à l'attention ne suffit pas : dissocier l'apprentissage du niveau d'attention et l'apprentissage comportemental en contexte dans le cadre d'un réglage fin
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
AI InsightL'article utilise la régularisation pour pousser la sensibilité de l'attention près de la limite géométrique supérieure, mais si l'ICL comportemental est toujours dégradé, cela signifie que l'agent d'attention ne peut pas remplacer l'évaluation comportementale. Cela suggère que la vérification du réglage fin pour maintenir l'ICL doit combler l'écart de précision comportementale, plutôt que de simplement examiner les changements d'attention.Importance 55/100