Articles sur Softmax

L’effondrement continu du mélange est attribué à trois ensembles indépendants de mécanismes, ce qui signifie que le goulot d’étranglement du raisonnement étatique potentiel n’est pas le « pouvoir d’expression » mais le « pouvoir de rétention ». Même si le modèle transmet théoriquement parfaitement l'état mixte, la lecture softmax et la rétroaction autorégressive le ramèneront au déterminisme discret. Cela suggère que le raisonnement implicite doit passer du niveau des algorithmes de raisonnement à la co-conception de la dynamique sous-jacente du modèle.

Cet article élève l'allocation des paramètres inter-couches de Transformer du niveau d'ajustement empirique des paramètres à un niveau théorique approximatif, révèle la nature mathématique du compromis entre l'extraction d'informations des premières couches et les dimensions de la tête, et prouve le comportement de saturation de softmax. Cela signifie que la conception de l'architecture future pourra être basée sur des limites théoriques plutôt que sur une augmentation aveugle des dimensions, et que l'optimisation de l'efficacité entrera dans une étape plus prévisible.