Exploração: olhe antes de modelar

O módulo 4 começa antes do modelo. Antes de treinar qualquer coisa, olhe para os dados. A análise exploratória de dados (EDA, do inglês exploratory data analysis) é desenhar os dados e calcular resumos simples para ver com o que você está lidando: a forma, os grupos, os pontos longe do resto. Uma média ou uma correlação é um resumo, e um resumo pode esconder justamente o mais importante. Hoje, dois exemplos: os quatro pequenos conjuntos de Anscombe e os pinguins da aula 0.1.

Experimente

• Passe pelos conjuntos I–IV. Quais números abaixo dos gráficos mudam e quais continuam iguais?
• Em qual conjunto um único ponto define a reta? O que aconteceria com a reta sem ele?
• Mude para os pinguins e escolha comprimento do bico × altura do bico. Que sinal tem a correlação? Depois divida os pinguins por espécie.
• Veja o mesmo par dividido por ilha. Por que a imagem é diferente da divisão por espécie?

Depois de conferir no lab, vamos dar nome ao que você vê.

A ideia em palavras simples

As estatísticas descritivas, ou seja, a média, a variância, a correlação e a reta de regressão, resumem os dados em poucos números. Um resumo sempre perde alguma coisa. Em 1973 Francis Anscombe montou quatro conjuntos de 11 pontos em que esses números são quase idênticos: a média de x é 9, a de y 7,50, a variância de x 11, a de y 4,12–4,13, a correlação 0,816, a reta y = 3,00 + 0,500·x. No gráfico o conjunto I é uma nuvem, o II um arco, o III uma reta com um ponto atípico e o IV uma coluna vertical com um ponto distante. Uma regressão linear ajustada a cada um dá a mesma reta, embora só descreva com sentido o primeiro.

Os pinguins mostram o mesmo com dados reais. Com os 342 pinguins, a correlação entre o comprimento e a altura do bico é −0,235: quanto mais longo o bico, mais baixo. Dividindo por espécie, o sinal se inverte: Adelie 0,391, Chinstrap 0,654, Gentoo 0,643. Dentro de cada espécie um bico mais longo também é mais alto. Um só número para o conjunto todo descreve uma relação que não existe em nenhum grupo.

Jak to policzono

• Quarteto: Anscombe (1973), The American Statistician. 4 conjuntos de 11 pontos, cópia do repositório seaborn-data. Variância dividida por n − 1.
• Pinguins: Palmer Penguins (Gorman, Williams e Fraser, 2014; pacote palmerpenguins: Horst, Hill e Gorman, 2020), licença CC0. 342 pinguins com medidas do bico, 3 espécies: Adelie 151, Chinstrap 68, Gentoo 123.
• Correlação r: coeficiente de Pearson, de −1 a 1; 0 significa nenhuma relação linear.
• Retas: mínimos quadrados, separadamente para cada conjunto e cada grupo.

Por que funciona

De onde vem o sinal invertido dos pinguins? Os Gentoo têm bicos longos, mas baixos: em média 47,5 mm de comprimento e 15,0 mm de altura. Os Adelie têm bicos curtos e altos: 38,8 e 18,3 mm. Uma só correlação para todos compara sobretudo as espécies entre si: os Gentoo ficam embaixo à direita do gráfico, os Adelie em cima à esquerda, então a reta de todos os pontos desce. Dentro de cada espécie a relação é positiva, porque um pinguim maior tem um bico maior nas duas direções. É o paradoxo de Simpson: quando os grupos diferem nas médias, a relação no todo pode ter o sinal oposto ao de cada grupo.

No quarteto o mecanismo é ainda mais simples. A média, a variância e a correlação são somas sobre os pontos, e arranjos diferentes de pontos dão as mesmas somas, assim como conjuntos diferentes de números têm a mesma média. Os pontos longe do resto puxam mais. No conjunto IV o ponto em x = 19 define sozinho a inclinação, porque os outros 10 pontos têm o mesmo x = 8 e não dizem nada sobre a direção.

Será acaso desta amostra de pinguins? No código abaixo reamostramos os pinguins com reposição 1000 vezes: o mesmo número de pinguins, alguns duas vezes, outros nenhuma. Em 1000 de 1000 reamostragens a correlação com todos é negativa e positiva em cada espécie.

Erro comum

Verdadeiro ou falso: "as estatísticas descritivas bastam; se dois conjuntos têm a mesma média, variância e correlação, eles se parecem". Falso. No lab os quatro conjuntos de Anscombe têm esses números iguais até duas casas decimais e são totalmente diferentes. Os números resumem: não mostram a forma, os grupos nem os pontos isolados que puxam o resultado. Nos pinguins uma só correlação de −0,235 diz "bico mais longo, bico mais baixo", e dentro de cada espécie é o contrário.

Para um modelo isso tem consequências concretas. Uma regressão linear ajustada ao conjunto II prevê uma reta onde os dados formam um arco. Um modelo de pinguins que não conhece a espécie aprende uma relação negativa que não existe em nenhuma espécie. Por isso você primeiro desenha os dados e só depois escolhe o modelo e os atributos.

import numpy as np
import pandas as pd

q = pd.read_csv("data/raw/anscombe.csv")
for name, d in q.groupby("dataset"):
    slope, intercept = np.polyfit(d.x, d.y, 1)
    print(f"set {name}: mean x {d.x.mean():.2f}, mean y {d.y.mean():.2f}, variance x {d.x.var():.2f}, variance y {d.y.var():.2f}, r {d.x.corr(d.y):.3f}, line y = {intercept:.2f} + {slope:.3f}x")
df = pd.read_csv("data/raw/penguins.csv").dropna(subset=["bill_length_mm", "bill_depth_mm"])
r = lambda d: d.bill_length_mm.corr(d.bill_depth_mm)
print(f"{len(df)} penguins, bill length vs bill depth: all r = {r(df):.3f}; " + ", ".join(f"{s} {r(g):.3f}" for s, g in df.groupby("species")))
rng = np.random.default_rng(0)
same = 0
for b in range(1000):
    s = df.sample(len(df), replace=True, random_state=rng)  # reamostragem com reposição: o mesmo número de pinguins, alguns duas vezes
    same += r(s) < 0 and all(r(g) > 0 for _, g in s.groupby("species"))
print(f"1000 bootstrap resamples: negative over all and positive in every species in {same}")

set I: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.13, r 0.816, line y = 3.00 + 0.500x
set II: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.13, r 0.816, line y = 3.00 + 0.500x
set III: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.12, r 0.816, line y = 3.00 + 0.500x
set IV: mean x 9.00, mean y 7.50, variance x 11.00, variance y 4.12, r 0.817, line y = 3.00 + 0.500x
342 penguins, bill length vs bill depth: all r = -0.235; Adelie 0.391, Chinstrap 0.654, Gentoo 0.643
1000 bootstrap resamples: negative over all and positive in every species in 1000