Articles sur BaryCache
1 articles liés
Accélération des transformateurs de diffusion sans formation et avec efficacité mémoire avec BaryCache
Memory-Efficient Training-Free Acceleration of Diffusion Transformers with BaryCache
AI InsightBaryCache propose une méthode d'accélération sans entraînement basée sur l'extrapolation du centre de gravité. Par rapport à l'accélération du cache existante, elle réduit les calculs redondants tout en évitant une augmentation de l'utilisation de la mémoire graphique. L'expérience couvre la génération d'images et de vidéos. Cela signifie que la taille du lot d'inférence n'est plus limitée par la mémoire vidéo des états intermédiaires mis en cache, offrant ainsi une nouvelle voie pour réduire le coût de déploiement de DiT.Importance 68/100