Redes neuronales: muchas unidades simples juntas

La regresión logística de la lección 5 solo puede trazar una frontera recta. Los árboles solo pueden trazar cajas. Pero ¿y si las clases se enroscan unas alrededor de otras? Podrías intentar inventar a mano la curva adecuada para cada problema, o podrías construir un modelo con piezas tan simples que cada una solo sabe trazar una recta, y dejar que la combinación trace cualquier cosa. Esa es la apuesta de las redes neuronales. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Pon el control de unidades ocultas en su valor más pequeño y pulsa Entrenar. Mira las regiones de decisión: ¿cuántos bordes rectos ves?
• Aumenta el número de unidades ocultas y vuelve a pulsar Entrenar. Observa cómo se curvan las fronteras y compara la exactitud.
• Pon el control de unidades ocultas en su valor más grande y entrena. ¿Las regiones empiezan a curvarse alrededor de flores concretas? Pregúntate si una flor nueva que cayera en uno de esos bolsillos pertenecería de verdad a esa especie.
• Mira las flores donde dos especies se solapan. ¿Puede alguna frontera separarlas usando solo estas dos medidas?

La idea en pocas palabras

Una red neuronal está hecha de pequeñas unidades llamadas neuronas. Cada neurona hace algo que ya conocemos: toma una suma ponderada de sus entradas, añade una ordenada en el origen y pasa el resultado por una función sencilla que lo dobla, llamada función de activación. Una sola neurona es casi una regresión logística: puede separar el plano con una recta.

Las neuronas se organizan en capas. Las entradas (aquí, dos medidas de la flor) alimentan una capa oculta de neuronas, cada una de las cuales traza su propia recta e informa de a qué distancia, y de qué lado, está un punto. La capa de salida combina esos informes en la decisión final. Como cada neurona oculta dobla su señal, al combinarlas se obtienen fronteras con esquinas y curvas.

Imagina un equipo de vigías muy simples que custodian un campo. Cada vigía solo puede decir «el intruso está a mi izquierda» o «a mi derecha» de una única valla recta. Un vigía solo no sirve de mucho. Pero una supervisora que escucha a muchos vigías, cada uno con su valla en un lugar distinto, puede delimitar regiones de casi cualquier forma.

Por qué funciona

Una neurona calcula

salida = f(w · x + b)

donde x es la lista de entradas, w los pesos, b la ordenada en el origen y f la activación. Sin f, apilar capas no serviría de nada: una suma ponderada de sumas ponderadas sigue siendo una sola suma ponderada, así que toda la red trazaría una única recta. La activación es el pliegue que permanece. Con ella, cada neurona oculta añade un doblez, y suficientes dobleces pueden aproximar cualquier frontera razonable. Más unidades ocultas significan más dobleces posibles: más flexibilidad, que, como enseñó la lección 7, tiene dos filos.

Los pesos se aprenden con las herramientas de las lecciones 4 y 5. La red hace predicciones, la pérdida logarítmica mide cuánto se equivocan y el descenso de gradiente empuja cada peso cuesta abajo. El único truco nuevo es cómo encontrar el gradiente de los pesos que están en lo profundo de la red: un algoritmo llamado retropropagación (backpropagation) aplica la regla de la cadena del cálculo hacia atrás desde la salida, capa por capa, y le dice a cada peso cuánto contribuyó al error.

El ejemplo de esta lección es el conjunto de datos Iris: 150 flores de tres especies, 50 de cada una, que se hizo famoso con un artículo de Ronald Fisher de 1936. Tomamos dos de las cuatro medidas, así que cada flor es un punto en un plano, y la red entrenada asigna una especie predicha a cada lugar de ese plano.

La idea es antigua —Frank Rosenblatt construyó el perceptrón, una sola neurona entrenable, en 1958—, pero las redes solo se impusieron cuando los datos, la potencia de cálculo y los trucos de entrenamiento crecieron lo suficiente para entrenar muchas capas.

Error frecuente

«Neuronal» sugiere un cerebro, y esa sugerencia confunde. Una neurona artificial es una suma ponderada con un doblez, no un modelo de una célula biológica, y una red no entiende de flores; ajusta una función a unos ejemplos. El error práctico es suponer que más grande siempre es mejor. Una red con muchas unidades ocultas y un conjunto de datos pequeño puede memorizar exactamente igual que un árbol profundo o un polinomio de grado alto. Su tamaño hay que elegirlo con datos de validación, y su entrenamiento hay que vigilarlo en busca de la misma diferencia entre entrenamiento y prueba que vimos en la lección 7.

Apila suficientes capas, aliméntalas con suficiente texto, y una tarea de predicción se convierte en algo que escribe. En la última lección vemos cómo una red aprende el lenguaje adivinando la siguiente palabra.

¿Quieres profundizar? El curso de redes neuronales empieza por una sola neurona (PL).

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_iris(return_X_y=True)
X = X[:, :2]  # largo y ancho del sépalo, como en el lab
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.5, stratify=y, random_state=1)
for h in (2, 32):
    net = make_pipeline(StandardScaler(), MLPClassifier(hidden_layer_sizes=(h,), activation="tanh", solver="lbfgs", max_iter=5000, random_state=0))
    net.fit(X_tr, y_tr)
    print(f"{h:2d} hidden units: train {net.score(X_tr, y_tr):.1%}, test {net.score(X_te, y_te):.1%}")

 2 hidden units: train 84.0%, test 74.7%
32 hidden units: train 96.0%, test 66.7%