Exploración: mira antes de modelar

El módulo 4 empieza antes del modelo. Antes de entrenar nada, mira los datos. El análisis exploratorio de datos (EDA, del inglés exploratory data analysis) consiste en dibujar los datos y calcular resúmenes sencillos para ver con qué tratas: la forma, los grupos, los puntos lejos del resto. Una media o una correlación es un resumen, y un resumen puede esconder justo lo importante. Hoy, dos ejemplos: los cuatro pequeños conjuntos de Anscombe y los pingüinos de la lección 0.1.

Prueba

• Pasa por los conjuntos I–IV. ¿Qué números bajo los gráficos cambian y cuáles siguen igual?
• ¿En qué conjunto un solo punto fija la recta? ¿Qué le pasaría a la recta sin él?
• Cambia a los pingüinos y elige longitud del pico × profundidad del pico. ¿Qué signo tiene la correlación? Después divide los pingüinos por especie.
• Mira el mismo par dividido por isla. ¿Por qué la imagen es distinta que con las especies?

Cuando lo hayas comprobado en el lab, pongamos nombre a lo que ves.

La idea en palabras sencillas

Los estadísticos descriptivos, es decir, la media, la varianza, la correlación y la recta de regresión, resumen los datos en pocos números. Un resumen siempre pierde algo. En 1973 Francis Anscombe construyó cuatro conjuntos de 11 puntos en los que esos números son casi idénticos: la media de x es 9, la de y 7,50, la varianza de x 11, la de y 4,12–4,13, la correlación 0,816, la recta y = 3,00 + 0,500·x. En un gráfico el conjunto I es una nube, el II un arco, el III una recta con un punto atípico y el IV una columna vertical con un punto lejano. Una regresión lineal ajustada a cada uno da la misma recta, aunque solo describe con sentido el primero.

Los pingüinos muestran lo mismo con datos reales. Con los 342 pingüinos, la correlación entre la longitud y la profundidad del pico es −0,235: cuanto más largo el pico, menos profundo. Al dividir por especie, el signo se invierte: Adelie 0,391, Chinstrap 0,654, Gentoo 0,643. Dentro de cada especie un pico más largo también es más profundo. Un solo número para todo el conjunto describe una relación que no existe en ningún grupo.

Jak to policzono

• Cuarteto: Anscombe (1973), The American Statistician. 4 conjuntos de 11 puntos, copia del repositorio seaborn-data. Varianza dividida por n − 1.
• Pingüinos: Palmer Penguins (Gorman, Williams y Fraser, 2014; paquete palmerpenguins: Horst, Hill y Gorman, 2020), licencia CC0. 342 pingüinos con medidas del pico, 3 especies: Adelie 151, Chinstrap 68, Gentoo 123.
• Correlación r: coeficiente de Pearson, de −1 a 1; 0 significa que no hay relación lineal.
• Rectas: mínimos cuadrados, por separado para cada conjunto y cada grupo.

Por qué funciona

¿De dónde sale el signo invertido de los pingüinos? Los Gentoo tienen picos largos pero poco profundos: de media 47,5 mm de largo y 15,0 mm de profundidad. Los Adelie tienen picos cortos y profundos: 38,8 y 18,3 mm. Una sola correlación para todos compara sobre todo las especies entre sí: los Gentoo quedan abajo a la derecha del gráfico, los Adelie arriba a la izquierda, así que la recta de todos los puntos baja. Dentro de cada especie la relación es positiva, porque un pingüino más grande tiene un pico más grande en las dos direcciones. Es la paradoja de Simpson: cuando los grupos difieren en sus medias, la relación en el total puede tener el signo contrario al de cada grupo.

En el cuarteto el mecanismo es aún más sencillo. La media, la varianza y la correlación son sumas sobre los puntos, y disposiciones distintas de puntos dan las mismas sumas, igual que conjuntos distintos de números tienen la misma media. Los puntos lejos del resto son los que más tiran. En el conjunto IV el punto en x = 19 fija él solo la pendiente, porque los otros 10 puntos tienen la misma x = 8 y no dicen nada sobre la dirección.

¿Es casualidad de esta muestra de pingüinos? En el código de abajo remuestreamos los pingüinos con reemplazo 1000 veces: el mismo número de pingüinos, algunos dos veces, otros ninguna. En 1000 de 1000 remuestreos la correlación con todos es negativa y positiva en cada especie.

Error frecuente

Verdadero o falso: «los estadísticos descriptivos bastan; si dos conjuntos tienen la misma media, varianza y correlación, se parecen». Falso. En el lab los cuatro conjuntos de Anscombe comparten esos números hasta dos decimales y se ven totalmente distintos. Los números resumen: no muestran la forma, los grupos ni los puntos sueltos que tiran del resultado. En los pingüinos una sola correlación de −0,235 dice «pico más largo, pico menos profundo», y dentro de cada especie es al revés.

Para un modelo esto tiene consecuencias concretas. Una regresión lineal ajustada al conjunto II predice una recta donde los datos forman un arco. Un modelo de pingüinos que no conoce la especie aprende una relación negativa que no existe en ninguna especie. Por eso primero dibujas los datos y solo después eliges el modelo y las variables.

import numpy as np
import pandas as pd

q = pd.read_csv("data/raw/anscombe.csv")
for name, d in q.groupby("dataset"):
    slope, intercept = np.polyfit(d.x, d.y, 1)
    print(f"set {name}: mean x {d.x.mean():.2f}, mean y {d.y.mean():.2f}, variance x {d.x.var():.2f}, variance y {d.y.var():.2f}, r {d.x.corr(d.y):.3f}, line y = {intercept:.2f} + {slope:.3f}x")
df = pd.read_csv("data/raw/penguins.csv").dropna(subset=["bill_length_mm", "bill_depth_mm"])
r = lambda d: d.bill_length_mm.corr(d.bill_depth_mm)
print(f"{len(df)} penguins, bill length vs bill depth: all r = {r(df):.3f}; " + ", ".join(f"{s} {r(g):.3f}" for s, g in df.groupby("species")))
rng = np.random.default_rng(0)
same = 0
for b in range(1000):
    s = df.sample(len(df), replace=True, random_state=rng)  # remuestreo con reemplazo: los mismos pingüinos en número, algunos dos veces
    same += r(s) < 0 and all(r(g) > 0 for _, g in s.groupby("species"))
print(f"1000 bootstrap resamples: negative over all and positive in every species in {same}")

set I: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.13, r 0.816, line y = 3.00 + 0.500x
set II: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.13, r 0.816, line y = 3.00 + 0.500x
set III: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.12, r 0.816, line y = 3.00 + 0.500x
set IV: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.12, r 0.817, line y = 3.00 + 0.500x
342 penguins, bill length vs bill depth: all r = -0.235; Adelie 0.391, Chinstrap 0.654, Gentoo 0.643
1000 bootstrap resamples: negative over all and positive in every species in 1000