Articles sur DAPO
1 articles liés
Apprendre à partir des invites matérielles : amplification des avantages en fonction des difficultés dans l'échantillonnage dynamique
Learning from Hard Prompts: Difficulty-aware Advantage Amplification in Dynamic Sampling
AI InsightUn nouvel article d'arXiv effectue une analyse théorique de l'échantillonnage dynamique dans DAPO et constate que, bien que son filtrage des réponses tout à fait correctes/toutes fausses élimine les gradients nuls, il ne peut pas utiliser efficacement les échantillons corrects sur des invites difficiles. L'avantage de l'amplification asymétrique entraîne une diminution de l'efficacité de l'entraînement. Cela signifie que la stratégie d’échantillonnage traditionnelle actuelle présente un goulot d’étranglement en matière d’efficacité négligé et nécessite une conception plus fine et tenant compte des difficultés.Importance 62/100