Articles sur Jeffrey Seely
1 articles liés
Les chercheurs de Sakana AI présentent PC-ALM, une alternative locale à la rétropropagation qui entraîne des réseaux à 1 000 couches
Sakana AI Researchers Introduce PC-ALM, a Layer-Local Alternative to Backpropagation That Trains 1000-Layer Networks
AI InsightLes chercheurs de Sakana AI proposent PC-ALM, une alternative de couche locale à la rétropropagation qui entraîne des réseaux à 1 000 couches. En ajoutant des multiplicateurs de Lagrange à chaque contrainte de couche, PC-ALM maintient les mises à jour locales des couches pour le codage prédictif tout en récupérant des gradients de rétropropagation précis dans les réseaux linéaires. Cet algorithme peut constituer une alternative plus efficace pour former des réseaux neuronaux profonds.Importance 75/100