Noticias sobre STAT.ML
1 artículos relacionados
Aprendizaje de representaciones a través de la predicción de tokens: geometría, aproximación y garantías posteriores
Learning Representations through Token Prediction: Geometry, Approximation, and Downstream Guarantees
AI InsightEl artículo propone un marco estadístico que demuestra que las predicciones de tokens organizan incrustaciones según la distancia de Hellinger bajo un cabezal softmax y proporciona aproximaciones de codificador con garantías posteriores. En comparación con la comprensión empírica anterior del éxito de la predicción de tokens, proporciona por primera vez un puente teórico de extremo a extremo desde la geometría hasta el rendimiento posterior.Importancia 75/100