Vazamento de dados

Na aula 3.2 a validação cruzada dava uma estimativa honesta do modelo. Honesta com uma condição: nada da parte de teste pode tocar o treino antes. Quando toca, falamos de vazamento de dados. O modelo parece ótimo na validação e desmorona no uso real. Kapoor e Narayanan reuniram relatos de outros pesquisadores sobre vazamento em 294 artigos científicos de 17 áreas. Vamos começar pelo exemplo mais limpo: dados em que não há nada para aprender.

Experimente

• Com os atributos escolhidos antes da divisão, mova k de 5 a 50. Até onde sobe a nota com ruído puro?
• Com o mesmo k, troque para a escolha dentro da validação. Onde cai a barra, e onde caem os pontos dos 20 novos conjuntos de ruído?
• Na segunda parte do lab, encontre o passo que vaza em cada um dos 8 processos.

Depois de conferir no lab, vamos dar nome ao que você vê.

A ideia em poucas palavras

Vazamento de dados é qualquer informação que o modelo não teria no momento de uma previsão real e que mesmo assim chegou ao treino ou à avaliação dele. A validação deve fazer o papel do futuro: dados que o modelo nunca viu. O vazamento estraga esse papel, então a nota sobe e o modelo não fica nada melhor.

No lab, entre 1000 colunas de ruído sempre há algumas que combinam com os rótulos por acaso. A melhor tem correlação de 0,48 com o rótulo, quando o típico para ruído é cerca de 0,13. Escolher com as 60 amostras ajusta as colunas também às amostras que depois fazem o papel de teste. A validação cruzada então confere o modelo em dados que já o moldaram, e mostra 81,7%. Escolher dentro de uma dobra vê só 48 amostras de treino. As colunas que combinam com elas por acaso não dizem nada sobre as 12 amostras de teste, então a nota cai para 43,3%, dentro do cara ou coroa.

Kapoor e Narayanan dividiram o vazamento em 8 tipos, em três grupos:

• sem divisão limpa: sem conjunto de teste separado, pré-processamento ajustado em todos os dados, seleção de atributos com todos os dados, duplicatas dos dois lados da divisão;
• um atributo que você não conhece na hora de prever, por exemplo os dias no hospital quando o modelo deve prever a internação;
• um teste de outra distribuição que a do uso: uma divisão ao acaso de dados temporais, as mesmas pessoas no treino e no teste, um teste escolhido de outro jeito que os dados em que o modelo vai trabalhar.

Você vai encontrar cada um deles na segunda parte do lab.

Jak to policzono

• Ruído: 60 amostras, 1000 colunas de uma distribuição normal, 30 rótulos 0 e 30 rótulos 1 em ordem aleatória. O navegador o gera com a semente 1; os pontos são mais 20 conjuntos com outras sementes.
• Modelo: as k colunas com maior correlação com o rótulo (em valor absoluto), um classificador do centroide mais próximo, validação cruzada estratificada de 5 dobras (6 amostras de cada classe em cada dobra).
• Biópsias em “Erro comum”: Breast Cancer Wisconsin (Diagnostic), UCI, licença CC BY 4.0, 569 biópsias. Tipos de vazamento: S. Kapoor, A. Narayanan, “Leakage and the reproducibility crisis in machine-learning-based science”, Patterns, 2023.

Por que funciona

Uma avaliação só é honesta quando os dados de teste não influenciaram nenhuma decisão sobre o modelo. Selecionar atributos também é uma decisão, assim como preencher valores faltantes, escalonar, escolher um limiar ou ficar com o melhor de vários modelos. Se alguma delas viu os rótulos do teste, o teste deixa de ser independente. Quanto maior a escolha (10 colunas de 1000), mais ajuste ao acaso passa para a nota.

Um único conjunto de ruído poderia sair assim por acaso. Mas em nenhum dos 20 novos conjuntos do lab a nota com vazamento em k = 10 fica abaixo de 81,7%. No código abaixo o mesmo experimento roda em 50 conjuntos de ruído no scikit-learn: escolher antes da divisão dá em média 86,4% (no mínimo 73,3%), e escolher em cada dobra 50,0%.

Erro comum

Verdadeiro ou falso: “vazamento é só o rótulo escondido nos atributos”. Falso. No lab nenhuma coluna contém o rótulo, e mesmo assim a validação mostra 81,7% com ruído puro. O que vaza é uma decisão tomada com todos os dados. Nas biópsias, sobreamostrar as malignas antes da validação cruzada dá sensibilidade de 97,1%, e sobreamostrar só nos dados de treino dá 92,1%, em 50 de 50 divisões. As cópias caem dos dois lados da divisão, então o modelo reconhece biópsias que já viu. Duplicatas nos dados funcionam do mesmo jeito, e uma divisão ao acaso de dados temporais põe o futuro no treino.

Nem todo vazamento é igualmente perigoso. Um escalonador ajustado em todas as biópsias muda a acurácia de um modelo de vizinho mais próximo em 0,08 ponto em média: ele não vê os rótulos, então transmite muito pouco. A seleção de atributos e a sobreamostragem usam os rótulos, então transmitem muito. A regra é uma só: ajuste cada passo que aprende algo dos dados só na parte de treino.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.model_selection import StratifiedKFold, cross_val_score, cross_val_predict
from sklearn.neighbors import NearestCentroid, KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import recall_score

def noise(seed):  # 60 amostras x 1000 colunas de ruído puro, rótulos 30/30 em ordem aleatória
    rng = np.random.default_rng(seed)
    X, y = rng.normal(size=(60, 1000)), rng.permutation(np.repeat([0, 1], 30))
    cv = StratifiedKFold(5, shuffle=True, random_state=seed)
    leak = cross_val_score(NearestCentroid(), SelectKBest(f_classif, k=10).fit_transform(X, y), y, cv=cv).mean()  # 10 colunas escolhidas com as 60
    honest = cross_val_score(make_pipeline(SelectKBest(f_classif, k=10), NearestCentroid()), X, y, cv=cv).mean()  # escolhidas dentro de cada dobra
    return leak, honest
r = np.array([noise(s) for s in range(50)])
print(f"pure noise, 50 datasets: picked before the split {r[:, 0].mean():.1%} (lowest {r[:, 0].min():.1%}), inside CV {r[:, 1].mean():.1%}")

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # 1 = maligno
knn = lambda: KNeighborsClassifier(1)
scale = []
for s in range(50):
    cv = StratifiedKFold(5, shuffle=True, random_state=s)
    before = cross_val_score(knn(), StandardScaler().fit_transform(X), y, cv=cv).mean()  # escalonador ajustado em todas as biópsias
    inside = cross_val_score(make_pipeline(StandardScaler(), knn()), X, y, cv=cv).mean()  # ajustado em cada parte de treino
    scale.append(abs(before - inside))
print(f"breast cancer, 1-NN, 50 splits: scaling before the split changes accuracy by {np.mean(scale) * 100:.2f} points on average")
def oversample(rows, rng):  # copia malignas ao acaso até as duas classes ficarem iguais
    mal, ben = rows[y[rows] == 1], rows[y[rows] == 0]
    return np.r_[rows, rng.choice(mal, len(ben) - len(mal))]
rec = []
for s in range(50):
    rng, cv = np.random.default_rng(s), StratifiedKFold(5, shuffle=True, random_state=s)
    rows = oversample(np.arange(len(y)), rng)  # cópias feitas ANTES da divisão também caem nas dobras de teste
    before = recall_score(y[rows], cross_val_predict(make_pipeline(StandardScaler(), knn()), X[rows], y[rows], cv=cv))
    pred = np.empty(len(y))
    for tr, te in cv.split(X, y):  # cópias só dentro de cada parte de treino
        t = oversample(tr, rng)
        pred[te] = make_pipeline(StandardScaler(), knn()).fit(X[t], y[t]).predict(X[te])
    rec.append((before, recall_score(y, pred)))
rec = np.array(rec)
print(f"oversampling malignant before the split: recall {rec[:, 0].mean():.1%}, inside each training part: {rec[:, 1].mean():.1%}; higher before in {(rec[:, 0] > rec[:, 1]).sum()} of 50")

pure noise, 50 datasets: picked before the split 86.4% (lowest 73.3%), inside CV 50.0%
breast cancer, 1-NN, 50 splits: scaling before the split changes accuracy by 0.08 points on average
oversampling malignant before the split: recall 97.1%, inside each training part: 92.1%; higher before in 50 of 50