Articles sur Latent Reasoning

L’effondrement continu du mélange est attribué à trois ensembles indépendants de mécanismes, ce qui signifie que le goulot d’étranglement du raisonnement étatique potentiel n’est pas le « pouvoir d’expression » mais le « pouvoir de rétention ». Même si le modèle transmet théoriquement parfaitement l'état mixte, la lecture softmax et la rétroaction autorégressive le ramèneront au déterminisme discret. Cela suggère que le raisonnement implicite doit passer du niveau des algorithmes de raisonnement à la co-conception de la dynamique sous-jacente du modèle.