关于 LoRA 的报道
共 1 篇相关报道
将均值移向已知的善，而不是超越它：推理时间干预和权重合并在开放式生成中带来什么
Moving the Mean Toward the Known Good, Not Beyond It: What Inference-Time Interventions and Weight Consolidation Buy in Open-Ended Generation
AI 洞察研究发现，基于价值过滤的自我训练数据将开放生成的平均质量向已知好值移动（过剩值降低1.7-3.1点），而非超越经典启发式；三次重复实验确认均值一致（-2.0、-1.8、-1.9）。这意味着自我提升存在天花板，增量来自减少低质量输出而非突破上限。核心结论相比此前强调自我改进突破上限，本实验显示只向已知好的均值靠拢。为什么重要自我训练收益被定量刻画为均值改善而非极值突破，为生成式自我改进的预期管理提供实证。影响谁- AI 研究者校准对自我改进上限的预期，关注均值而非极值评估。
- 开发者LoRA合并策略需结合价值过滤才能稳定获益。
后续看点观察是否有多轮重复合并后均值持续改善或过早停滞。重要度 70/100