Noticias sobre GELU

Este estudio demuestra que el FFN de dos capas suavizado puede extraer estructuras ocultas proyectando el canal de fuga de segundo orden de la entrada de Hesse bajo la condición de que solo se pueda seleccionar la entrada y se pueda leer la salida sin procesar, sin la necesidad de parámetros, gradientes o acceso de activación interna. En comparación con extracciones de modelos anteriores que se basaban en cajas blancas o estados internos, esta es la primera vez que la información de curvatura se utiliza sistemáticamente para lograr la extracción de estructuras y se han dado condiciones de identificabilidad y estabilidad.