Noticias sobre Latent Reasoning

El colapso continuo de la mezcla se atribuye a tres conjuntos independientes de mecanismos, lo que significa que el cuello de botella del razonamiento estatal potencial no es el "poder de expresión" sino el "poder de retención". Incluso si, en teoría, el modelo transmite perfectamente el estado mixto, la lectura softmax y la retroalimentación autorregresiva lo devolverán al determinismo discreto. Esto sugiere que el razonamiento implícito debe pasar del nivel de los algoritmos de razonamiento al codiseño de la dinámica subyacente del modelo.