SiLU に関する報道

この研究は、平滑化 2 層 FFN が、パラメーター、勾配、または内部アクティベーション アクセスを必要とせず、入力のみを選択でき、生の出力を読み取ることができるという条件下で、入力ヘシアンの 2 次漏洩チャネルを投影することによって隠れた構造を抽出できることを実証します。ホワイトボックスや内部状態に依存したこれまでのモデル抽出と比較して、今回初めて曲率情報を体系的に利用して構造抽出を実現し、識別可能性や安定性の条件を与えた。