Noticias sobre Softmax

El colapso continuo de la mezcla se atribuye a tres conjuntos independientes de mecanismos, lo que significa que el cuello de botella del razonamiento estatal potencial no es el "poder de expresión" sino el "poder de retención". Incluso si, en teoría, el modelo transmite perfectamente el estado mixto, la lectura softmax y la retroalimentación autorregresiva lo devolverán al determinismo discreto. Esto sugiere que el razonamiento implícito debe pasar del nivel de los algoritmos de razonamiento al codiseño de la dinámica subyacente del modelo.

Este artículo eleva la asignación de parámetros entre capas de Transformer desde el ajuste de parámetros empíricos a un nivel teórico aproximado, revela la naturaleza matemática del equilibrio entre la extracción de información de las primeras capas y las dimensiones de la cabeza, y demuestra el comportamiento de saturación de softmax. Esto significa que el diseño de la arquitectura futura puede basarse en límites teóricos en lugar de aumentar ciegamente las dimensiones, y la optimización de la eficiencia entrará en una etapa más predecible.