Validação e validação cruzada

Na lição anterior, escolhemos o melhor grau do polinômio dando uma espiada no conjunto de teste. Pareceu inofensivo, mas pense no que isso significa: testamos vários modelos e ficamos com o que o conjunto de teste mais gostou. O teste deixou de ser uma prova inédita — virou um juiz que consultamos durante a preparação. Como escolher configurações sem estragar a nossa única medida honesta?

Experimente

• Coloque o controle de k no menor valor e leia a acurácia de cada fold. Quão diferentes os folds são entre si?
• Aumente o controle de k passo a passo. Observe a média e a dispersão, e repare que cada fold agora tem menos vinhos.
• Com um k grande, procure folds com acurácia muito baixa ou muito alta. Com só um punhado de vinhos num fold, um único erro mexe muito na nota desse fold.
• Compare a dispersão com as diferenças entre configurações que você talvez queira ajustar. Um pequeno ganho na média é maior que a dispersão?

A ideia em poucas palavras

Vamos ver agora, em palavras simples, o que você acabou de manipular.

A primeira solução é uma terceira pilha de dados. Divida as linhas em conjuntos de treino, validação e teste. Treine os modelos candidatos no conjunto de treino, compare-os no de validação, escolha o vencedor e só então abra o conjunto de teste, uma vez, para relatar a nota final. O conjunto de validação absorve todas as espiadas para que o de teste não precise.

O problema: cada divisão custa dados. Com um conjunto de dados pequeno, um conjunto de validação grande o bastante para ser confiável deixa pouco demais para treinar, e a lição 2 mostrou que um conjunto pequeno dá uma nota que pula. A validação cruzada resolve isso reaproveitando os dados com esperteza.

Imagine avaliar uma cozinheira nova. Provar um prato só diz pouco: talvez tenha sido o melhor dela, talvez o pior. Então você pede vários pratos em dias diferentes e olha a média e o quanto eles variam. A validação cruzada faz o mesmo com um modelo.

Por que funciona

Na validação cruzada k-fold, os dados (sem contar o conjunto de teste final) são cortados em k partes iguais chamadas folds. O modelo é treinado k vezes. Em cada uma, um fold fica de fora para validação e os k − 1 restantes são usados no treino. No fim, cada linha foi usada exatamente uma vez para validação e k − 1 vezes para treino. Cada treinamento vê esta fração dos dados:

fração de treino = (k − 1) / k

O resultado não é uma nota, e sim k notas, uma por fold. A média delas é uma estimativa mais confiável que qualquer divisão única, porque não depende de uma divisão de linhas com sorte ou azar. A dispersão é igualmente valiosa: mostra o quanto a nota depende de quais linhas o modelo recebeu. Dois modelos cujas médias diferem menos que essa dispersão não podem ser realmente distinguidos.

A escolha de k é um dilema. Um k pequeno (digamos 2) treina cada modelo com só metade dos dados, então cada modelo é mais fraco que o que você vai construir no fim, e a estimativa é pessimista. Um k grande treina com quase todos os dados, mas cada fold é pequeno, então as notas de cada fold ficam mais ruidosas, e o cálculo leva k vezes o tempo de um único ajuste. Valores 5 ou 10 são um meio-termo comum.

O exemplo desta lição é o conjunto de dados Wine: 178 vinhos da mesma região da Itália, feitos com três cultivares de uva diferentes, cada um descrito por 13 resultados de análise química. A tarefa é distinguir os três cultivares.

Erro comum

A validação cruzada só protege você se tudo o que é aprendido dos dados acontecer dentro de cada fold. Se você padroniza os atributos ou seleciona os “melhores” atributos usando todas as linhas primeiro e só depois faz a validação cruzada, informação dos folds de validação já vazou para o treino, e as notas ficam otimistas demais. O segundo erro é ajustar dezenas de configurações com validação cruzada e relatar a melhor nota da validação cruzada como resultado final. Depois de tantas comparações, o vencedor tem uma parte de sorte; por isso um conjunto de teste separado, usado uma única vez, continua importando.

Com avaliação honesta na caixa de ferramentas, podemos explorar modelos mais poderosos sem nos enganar. Na próxima lição conhecemos o mais legível deles: a árvore de decisão.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_wine(return_X_y=True)
model = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=5))  # o escalonador é reajustado dentro de cada dobra
for k in (2, 10):
    runs = [cross_val_score(model, X, y, cv=StratifiedKFold(k, shuffle=True, random_state=s)) for s in range(20)]
    gap = np.mean([a.max() - a.min() for a in runs])
    print(f"k={k:2d}: mean accuracy {np.mean(runs):.3f}, average worst-to-best gap {gap:.3f}")

k= 2: mean accuracy 0.956, average worst-to-best gap 0.020
k=10: mean accuracy 0.966, average worst-to-best gap 0.113