Articles sur In-Context Learning
2 articles liés
SALA: Semantic-Aware Logical Alignment for Complex Reasoning in In-Context Learning
AI InsightLe cœur de SALA est de migrer la correspondance de la logique de raisonnement d'un espace de règles discret vers un espace sémantique continu, en utilisant DTW pour un alignement flexible. Cela signifie que la sélection des démonstrations ICL ne repose plus sur des modèles de raisonnement fixes, mais peut apprendre une structure de raisonnement plus universelle, offrant ainsi une stratégie de récupération plus flexible pour les raisonnements complexes.Importance 50/100La sensibilité à l'attention ne suffit pas : dissocier l'apprentissage du niveau d'attention et l'apprentissage comportemental en contexte dans le cadre d'un réglage fin
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
AI InsightL'article utilise la régularisation pour pousser la sensibilité de l'attention près de la limite géométrique supérieure, mais si l'ICL comportemental est toujours dégradé, cela signifie que l'agent d'attention ne peut pas remplacer l'évaluation comportementale. Cela suggère que la vérification du réglage fin pour maintenir l'ICL doit combler l'écart de précision comportementale, plutôt que de simplement examiner les changements d'attention.Importance 55/100