Articles sur STAT.ML
1 articles liés
Apprentissage des représentations grâce à la prédiction de jetons : géométrie, approximation et garanties en aval
Learning Representations through Token Prediction: Geometry, Approximation, and Downstream Guarantees
AI InsightL'article propose un cadre statistique qui prouve que les prédictions de jetons organisent les plongements par distance de Hellinger sous une tête softmax, et donne des approximations d'encodeur avec des garanties en aval. Par rapport à la compréhension empirique précédente du succès de la prédiction des jetons, il fournit pour la première fois un pont théorique de bout en bout entre la géométrie et les performances en aval.Importance 75/100