Articles sur GELU

Cette étude démontre que le FFN lissé à deux couches peut extraire la structure cachée en projetant le canal de fuite de second ordre du Hessian d'entrée à condition que seule l'entrée puisse être sélectionnée et que la sortie brute puisse être lue, sans avoir besoin de paramètres, de gradients ou d'accès à l'activation interne. Par rapport aux extractions de modèles précédentes qui reposaient sur des boîtes blanches ou des états internes, c'est la première fois que les informations de courbure sont systématiquement utilisées pour réaliser l'extraction de structure, et que des conditions d'identifiabilité et de stabilité sont données.