关于 SiLU 的报道
共 1 篇相关报道
平滑变压器前馈网络的曲率密码分析
Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks
AI 洞察该研究证明，平滑两层FFN在仅可选定输入并读取原始输出的条件下，通过投影输入Hessian的二阶泄漏通道即可提取隐藏结构，无需参数、梯度或内部激活访问。相比此前模型提取依赖白盒或内部状态，本次首次系统化利用曲率信息实现结构提取，并给出可辨识性与稳定性条件。核心结论模型提取从需内部访问降低到仅需黑盒查询加二阶曲率分析。为什么重要这暴露了平滑激活FFN在纯黑盒场景下的新结构泄漏面，可能威胁商业模型知识产权保护，并促使防御方关注曲率信息隐藏。影响谁- AI 研究者曲率泄漏通道为模型提取与可辨识性理论提供新分析框架。
- 网络安全从业者需评估基于Hessian的二阶攻击对部署模型的实际威胁。
- 模型提供方商业API在输出原始向量时可能面临更高结构窃取风险。
- 企业使用第三方FFN模型时需重新评估黑盒访问的信任边界。
后续看点关注该泄漏通道能否扩展到深层或带归一化的Transformer，以及实际查询成本下攻击的可行性。重要度 75/100