关于 Llama-2 的报道
共 1 篇相关报道
注意力敏感性还不够：在微调下分离注意力水平和行为情境学习
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
AI 洞察论文通过正则化把注意力敏感性推到接近几何上限，但若行为ICL仍退化，说明注意力代理不能替代行为评估。这提示微调保持ICL的验证必须回归行为准确率差距，而非只看注意力变化。核心结论注意力敏感性不足以作为微调后ICL保持的可靠代理，行为验证才是关键。为什么重要微调是模型适配常用手段，但常导致ICL退化。若基于注意力的诊断给出虚假安全感，开发者可能低估行为损失，促使评估标准从代理指标转向行为验证。影响谁- AI 研究者获得更严格的ICL评估视角，避免被注意力代理误导。
- Model Developers在微调时需同时监控行为ICL指标，而非仅看注意力变化。
后续看点后续应观察是否有研究直接对比ICS优化前后的ICL-GAP数值，若优化后行为差距未显著缩小，则进一步证实注意力代理不足。重要度 55/100