Articles sur SpikeOPD

SpikeOPD propose d'utiliser la distillation sur politique (OPD) dans le modèle de langage de pointe autorégressif pour remplacer les préfixes de corpus fixes par des préfixes auto-générés afin de résoudre l'écart de stratégie de sortie et la dérive dynamique de pointe causée par l'inadéquation des sources de préfixes enseignant-élève. Par rapport à la précédente distillation de préfixe fixe d'ANN en SNN, c'est la première fois qu'OPD est introduit dans la formation du modèle de langage Spike, ce qui améliore directement la stabilité de la distillation.