Softmax に関する報道

連続的な混合崩壊は 3 つの独立したメカニズムのセットに起因すると考えられます。これは、潜在的状態推論のボトルネックが「表現力」ではなく「保持力」であることを意味します。理論的にはモデルが混合状態を完全に伝達したとしても、ソフトマックスの読み出しと自己回帰フィードバックによってモデルは離散決定論に戻されます。これは、暗黙的推論が推論アルゴリズムのレベルからモデルの基礎となるダイナミクスの共同設計に移行する必要があることを示唆しています。

この論文は、Transformer の層間パラメータ割り当てを経験的なパラメータ調整からおおよその理論レベルに引き上げ、初期層情報抽出とヘッド寸法の間のトレードオフの数学的性質を明らかにし、ソフトマックスの飽和挙動を証明します。これは、将来のアーキテクチャ設計が、やみくもに寸法を増やすのではなく、理論的な境界に基づいて行うことができ、効率の最適化がより予測可能な段階に入ることを意味します。