Latent Reasoning に関する報道

連続的な混合崩壊は 3 つの独立したメカニズムのセットに起因すると考えられます。これは、潜在的状態推論のボトルネックが「表現力」ではなく「保持力」であることを意味します。理論的にはモデルが混合状態を完全に伝達したとしても、ソフトマックスの読み出しと自己回帰フィードバックによってモデルは離散決定論に戻されます。これは、暗黙的推論が推論アルゴリズムのレベルからモデルの基礎となるダイナミクスの共同設計に移行する必要があることを示唆しています。