Articles sur Pythia
1 articles liés
Do Large Language Models Capture the Diversity in their Training Data?
AI InsightCette recherche transforme la « diversité des résultats » d'une description qualitative en un indicateur calculable de la théorie de l'information, ce qui signifie que l'évaluation du modèle s'étend d'une simple mesure de la limite supérieure des capacités à un test statistique « si la distribution générée est fidèle à la distribution des données d'entraînement », ce qui peut fournir un nouvel outil pour diagnostiquer la surdétermination du modèle.