Todo el proceso en 15 minutos, de principio a fin

Antes de aprender las partes, mira el juego completo. Así se aprende el fútbol: primero un partido, luego los ejercicios de pase. En esta lección recorres un proyecto entero de machine learning en un cuarto de hora, con un solo conjunto de datos: pingüinos de tres especies, medidos por investigadores en islas frente a la costa de la Antártida. Cada módulo posterior del curso abre uno de los seis pasos que aquí ves a la vez.

Prueba esto

• Pon 0 preguntas. Es adivinar sin modelo: ¿a cuántos pingüinos les encaja «siempre Adelie»?
• Pasa a 1 y luego a 2 preguntas. Lee las preguntas del árbol bajo el gráfico: ¿sobre qué medidas pregunta?
• Con 2 preguntas, mueve el control de la partición. ¿Hay alguna partición en la que desaparezca la ventaja sobre adivinar?
• Vuelve a la partición 1 y pon 3 preguntas. ¿Una pregunta más ayuda siempre?

Cuando lo hayas comprobado en el lab, pongamos nombre a los pasos que acabas de recorrer.

La idea en pocas palabras

Todo proyecto de machine learning, de los pingüinos a la detección de fraude en un banco, pasa por los mismos seis pasos:

1. Pregunta. ¿Qué predices exactamente y a partir de qué? Aquí: la especie de un pingüino a partir de cuatro medidas del cuerpo. Una buena pregunta se puede comprobar, porque conocemos la especie real.
2. Datos. El archivo tiene 344 pingüinos, pero 2 no tienen ninguna medida, así que quedan 342. El sexo falta en 11 filas. Si quitáramos toda fila con algún hueco quedarían 333, pero aquí no usamos el sexo, así que solo perdemos esos 2.
3. Partición. 103 pingüinos, es decir el 30 %, se esconden del modelo. El modelo aprende con los otros 239 y solo lo probamos con los escondidos. La parte para aprender es el conjunto de entrenamiento; la parte escondida, el conjunto de prueba.
4. Referencia. Antes de construir un modelo, cuenta cuánto logra una respuesta sin pensar. Entre los pingüinos de aprendizaje el más común es Adelie, así que «siempre Adelie» acierta 45 de los 103 de prueba: 43,7 %.
5. Modelo. Un árbol de decisión es una serie de preguntas de sí o no. Con dos preguntas, primero pregunta por la aleta (hasta 207 mm o más larga) y luego por la longitud o la profundidad del pico.
6. Evaluación. El árbol acierta 98 de 103, es decir el 95,1 %: 51,5 puntos más que adivinar.

Los módulos siguientes del curso abren estos pasos uno a uno: cómo aprende un modelo de ejemplos y con qué compararlo (módulo 1), cómo medir un resultado (módulo 2), si el resultado aguanta datos nuevos (módulo 3), qué estropea los datos (módulo 4), qué modelos elegir (módulo 5) y qué le pasa a un modelo en el mundo real (módulo 6).

Jak to policzono

• Datos: Palmer Penguins (Gorman, Williams y Fraser, 2014; paquete palmerpenguins: Horst, Hill y Gorman, 2020), licencia CC0. 344 pingüinos en el archivo, 342 con las cuatro medidas.
• Partición: 70/30 con la misma mezcla de especies en ambas partes; la partición 1 es la misma que train_test_split(test_size=0.3, stratify=y, random_state=1) en scikit-learn.
• Modelo: árbol de decisión (CART, índice de Gini), como mucho 1, 2 o 3 preguntas en cada camino.
• Referencia: la especie más común entre los pingüinos de aprendizaje.

Por qué funciona

El resultado con los pingüinos escondidos significa algo porque el modelo no los ha visto. Probado con los pingüinos de aprendizaje, podría limitarse a recordar las respuestas. Por eso el árbol con tres preguntas logra 97,5 % con los pingüinos de aprendizaje, pero solo 93,2 % con los escondidos, menos que el árbol con dos preguntas. La tercera pregunta empezó a aprender pingüinos concretos en lugar de una regla. Eso es sobreajuste, el tema del módulo 3.

El árbol funciona tan bien porque las especies tienen de verdad cuerpos distintos. Los Gentoo tienen aletas largas, así que la primera pregunta casi los separa: entre los pingüinos de aprendizaje con aleta de más de 207 mm, 85 de 91 son Gentoo. Entre las aletas más cortas, un pico largo delata a un Chinstrap y uno corto a un Adelie: en el grupo con aleta de hasta 207 mm y pico de hasta 43,4 mm, 101 de 103 pingüinos de aprendizaje son Adelie.

La referencia hace falta porque la exactitud depende de la tarea. Con tres especies, tirar un dado acertaría una vez de cada tres, y «siempre la especie más común» acierta el 43,7 %. Un modelo solo tiene sentido si supera con claridad esa respuesta simple.

Una partición es un sorteo. En 20 particiones del lab, dos preguntas aciertan entre 94 y 100 de los 103 pingüinos (de 91,3 % a 97,1 %), y adivinar logra 43,7 % siempre. La ventaja se mantiene, aunque el número exacto cambie.

Error frecuente

¿Verdadero o falso?: «Una exactitud del 95 % es un resultado excelente». Falso, o mejor dicho: el número solo no lo dice. La exactitud depende de las proporciones de las clases y de lo fácil que sea la tarea. Aquí adivinar da 43,7 %, así que 95,1 % es una mejora enorme. Pero si 95 de cada 100 correos son mensajes normales, un filtro que no hace nada y deja pasar todos los correos también tiene un 95 % de exactitud y no atrapa ningún spam. Primero la referencia, luego el entusiasmo.

Dónde falla la analogía: un partido de fútbol tiene final, y un proyecto rara vez va en línea recta. Tras la evaluación sueles volver a la pregunta o a los datos, porque el resultado mostró lo que falta.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

df = pd.read_csv("data/raw/penguins.csv")
cols = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
d = df.dropna(subset=cols)  # solo pingüinos con todas las medidas
print(f"penguins {len(df)}, with measurements {len(d)}, without any gap {len(df.dropna())}")
X, y = d[cols], d["species"]
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
guess = ytr.value_counts().idxmax()  # referencia: la especie más común entre los de aprendizaje
print(f"train {len(Xtr)}, test {len(Xte)}; always {guess}: {(yte == guess).sum()} of {len(yte)} = {(yte == guess).mean():.3f}")
for depth in (1, 2, 3):
    tree = DecisionTreeClassifier(max_depth=depth, random_state=0).fit(Xtr, ytr)
    print(f"depth {depth}: {(tree.predict(Xte) == yte).sum()} of {len(yte)} = {tree.score(Xte, yte):.3f} (train {tree.score(Xtr, ytr):.3f})")
scores = []
for seed in range(100):  # 100 particiones al azar distintas
    a, b, c, e = train_test_split(X, y, test_size=0.3, stratify=y, random_state=seed)
    scores.append(DecisionTreeClassifier(max_depth=2, random_state=0).fit(a, c).score(b, e))
print(f"depth 2 on 100 splits: mean {sum(scores) / 100:.3f}, min {min(scores):.3f}, max {max(scores):.3f}")

penguins 344, with measurements 342, without any gap 333
train 239, test 103; always Adelie: 45 of 103 = 0.437
depth 1: 81 of 103 = 0.786 (train 0.791)
depth 2: 98 of 103 = 0.951 (train 0.967)
depth 3: 96 of 103 = 0.932 (train 0.975)
depth 2 on 100 splits: mean 0.949, min 0.883, max 0.990