Clase 03 — Secuencias y espacios latentes

Una RNN de verdad, con números: mira el estado oculto propagarse paso a paso, abre las compuertas de una LSTM y una GRU, comprueba en qué paso exacto muere el gradiente y recorre el espacio semántico con sumas y restas.

El estado oculto se propaga en el tiempo
\[ h_t = \tanh(W_{hh}\,h_{t-1} + W_{xh}\,x_t + b), \qquad h_0 = \mathbf{0} \]

Estado oculto de 6 dimensiones, recurrencia real. Cada barra es una componente de \(h_t\): azul si es positiva, roja si es negativa. La misma matriz \(W_{hh}\) se reutiliza en todos los pasos — eso es lo que hace que la red acepte secuencias de cualquier largo.

Norma \(\|h_t\|\) a lo largo de la secuencia. Con \(W_{hh}\) pequeña el estado se olvida de sí mismo; con \(W_{hh}\) grande, la \(\tanh\) satura y el estado se congela cerca de ±1.

Simulador de compuertas

En \(t=1\) entra el dato importante (valor 1.0). A partir de ahí la entrada es ruido irrelevante: la pregunta es cuánto sobrevive de aquel primer dato.

Cuánto gradiente sobrevive al retroceder \(k\) pasos

En una RNN clásica, \(\partial h_t/\partial h_{t-k}\) es el producto de \(k\) factores \(\approx W_{hh}\cdot\tanh'\). La LSTM lleva además la autopista aditiva de la celda, cuyo factor es la compuerta de olvido \(f\). Eje logarítmico.

Controles
Factor efectivo RNN
—
\(W_{hh}\cdot\tanh'\) por paso
Horizonte útil
—
pasos hasta caer bajo 1 %
El punto exacto. Si el factor por paso es \(\lambda\), tras \(k\) pasos queda \(\lambda^k\). Con \(\lambda < 1\) eso tiende a 0 exponencialmente: aunque la secuencia tenga 200 pasos, la red solo ve los últimos poquitos. Con \(\lambda > 1\) explota, y ahí el parche estándar es recortar la norma del gradiente. La LSTM esquiva el dilema porque su camino aditivo multiplica por \(f\), que la red aprende a dejar cerca de 1 cuando conviene recordar.
Espacio latente (2D) y el paralelogramo de la analogía
a (origen) b (se resta) c (se suma) respuesta

La flecha discontinua a − b y la flecha c → resultado son el mismo desplazamiento: eso es lo que significa que una relación semántica sea una dirección constante del espacio.

Analogía \(a - b + c \approx\, ?\)
#PalabraCosenoDistancia
Por qué la casilla importa. Sin excluir \(a\), \(b\) y \(c\), la respuesta más cercana suele ser el propio \(a\) — no porque el modelo acierte, sino porque no se movió lo suficiente. Todas las evaluaciones de analogías serias los excluyen. Y ojo: la aritmética funciona en muchos casos y falla en otros; además hereda los sesgos del corpus.
Matriz de similitud por coseno

Todos contra todos. Los bloques que se iluminan son los campos semánticos: la geometría agrupó los conceptos sin que nadie etiquetara nada. El ejemplo del apunte: cos(gato, perro) ≈ 0.99, cos(gato, auto) = 0.

Para seguir jugando
  • En la 1, baja la escala de \(W_{hh}\) a 0.2: el estado se reinicia casi en cada paso, la red no tiene memoria. Súbela a 1.6: la tanh satura y todo se queda pegado en ±1.
  • En la 2, escenario "recordar" con \(f=1.0\): el dato del paso 1 sigue intacto en el paso 60. Baja \(f\) a 0.9 y mira cuántos pasos aguanta.
  • En la 3, busca el \(W_{hh}\) que deja el horizonte útil en ~10 pasos. Ese número es literalmente "cuántas palabras atrás puede mirar la red".
  • En la 4, desmarca la casilla de exclusión: la respuesta pasa a ser el propio a. Ahí se ve por qué el detalle no es cosmético.