Noticias sobre In-Context Learning
2 artículos relacionados
SALA: Semantic-Aware Logical Alignment for Complex Reasoning in In-Context Learning
AI InsightEl núcleo de SALA es migrar la coincidencia de la lógica de razonamiento del espacio de reglas discretas al espacio semántico continuo, utilizando DTW para una alineación flexible. Esto significa que la selección de demostración de ICL ya no depende de plantillas de razonamiento fijas, sino que puede aprender una estructura de razonamiento más universal, proporcionando una estrategia de recuperación más flexible para razonamientos complejos.Importancia 50/100La sensibilidad de la atención no es suficiente: disociar el nivel de atención y el aprendizaje conductual en contexto mediante un ajuste fino
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
AI InsightEl artículo utiliza la regularización para acercar la sensibilidad de la atención al límite superior geométrico, pero si la ICL conductual aún está degradada, significa que el agente de atención no puede reemplazar la evaluación conductual. Esto sugiere que la verificación del ajuste para mantener ICL debe devolver la brecha en la precisión del comportamiento, en lugar de simplemente observar los cambios en la atención.Importancia 55/100