Qual modelo, quando?

Você já conhece cinco famílias de modelos: regressão logística, k vizinhos mais próximos (kNN), floresta aleatória, gradient boosting e SVM com kernel RBF. Qual escolher? A resposta honesta: aquele que se sai melhor na validação com os seus dados. Esta lição verifica o quanto o resultado depende dos dados e como distinguir uma diferença real do ruído. Montamos um zoológico de modelos: cada um dos cinco modelos com as configurações padrão, sem ajuste, em cinco conjuntos de dados, e em cada conjunto com as mesmas 20 divisões. Em cada uma, 75% das linhas servem para aprender e 25% para validar.

Experimente você

• No início: dígitos, kNN contra SVM. A diferença das médias é menor que a dispersão do kNN entre as divisões. Em quantas das 20 divisões a SVM acerta mais?
• Mude para os tumores de mama e compare a SVM com o gradient boosting. Qual é a diferença das médias e como se repartem as divisões?
• Encontre um par de modelos em que um lidera nos dígitos e o outro nos pinguins.
• Em cada conjunto, veja a distância entre a pior e a melhor divisão do mesmo modelo.

Depois de conferir no lab, vamos pôr em palavras o que você vê.

A ideia em termos simples

O mesmo modelo no mesmo conjunto tem resultados diferentes conforme a divisão, porque a validação recebe ora exemplos mais fáceis, ora mais difíceis. Nos tumores, a regressão logística obtém de 89,4% a 96,5% em divisões isoladas. As diferenças entre modelos costumam ser bem menores. Por isso uma única divisão não basta para ordená-los.

É melhor comparar os modelos em pares: na mesma divisão, os dois têm a tarefa igualmente fácil ou difícil. Contamos em quantas divisões cada um acerta mais. Nos tumores, a SVM obtém 94,2% em média e o gradient boosting 93,9%. A SVM acerta mais em 10 divisões, o boosting em 7, e 3 empatam. Uma diferença assim de 0,3 ponto é um empate, não uma vitória. O inverso também acontece. Nos dígitos, a SVM está só 0,7 ponto à frente do kNN, enquanto o resultado do kNN salta de uma divisão para outra de 96,0% a 99,1%. Mesmo assim, a SVM acerta mais em 16 das 20 divisões, e o kNN em 2. O que conta é a vantagem se repetir, não o tamanho da média.

Quando uma vantagem se repete? Se os dois modelos fossem igualmente bons, cada divisão sem empate seria como cara ou coroa. Uma moeda dá 16 a 2 menos de uma vez em 100 séries, e 10 a 7 com frequência. O lab chama uma vantagem de repetida quando um resultado assim sairia menos de uma vez em 100 séries. É o teste dos sinais. Os empates não pesam nele: simplesmente não são contados.

O mais importante: a ordem depende dos dados. Nos dígitos, a SVM acerta mais que a regressão logística em 17 das 20 divisões, e a regressão mais que a SVM em 3. Nos pinguins é o contrário: a regressão acerta mais em 9 divisões, a SVM em nenhuma, e 11 empatam. As duas vantagens passam no teste dos sinais. Nos dígitos, a SVM acerta mais que cada um dos outros modelos em pelo menos 16 divisões.

Tudo isso com as configurações padrão, sem ajuste, em conjuntos pequenos (de 150 a 1797 linhas) só com variáveis numéricas. Não é um veredito sobre os modelos em geral. Em tabelas maiores, com variáveis de tipos variados e depois de ajustar, a ordem pode ser outra (o boosting é tema da lição 5.3). A conclusão é outra: uma classificação não se copia da tabela de outra pessoa, ela se verifica nos seus dados.

O líder também é fácil de superestimar. Pegue o modelo com a melhor média nas divisões 1–10 e veja quem lidera nas divisões 11–20. Nas íris, nos vinhos e nos pinguins, ali já lidera outro modelo. Quando vários modelos estão próximos, o ruído decide em boa parte qual fica na frente, como na escolha das configurações na lição 3.5.

Jak to policzono

• Dados: Iris (Fisher, 1936), Wine (Aeberhard e Forina, 1992), Breast Cancer Wisconsin (Wolberg et al., 1993; 10 medidas “mean”) e Digits (Alpaydin e Kaynak, 1998), todos da UCI sob licença CC BY 4.0; Palmer Penguins (Gorman et al., 2014; Horst et al., 2020; licença CC0 1.0), 342 pinguins com 4 medidas corporais.
• Modelos: configurações padrão do scikit-learn, sem ajuste. Regressão logística (C = 1), kNN (k = 5), floresta aleatória (100 árvores), gradient boosting (100 árvores, passo 0,1, profundidade 3), SVM com kernel RBF (C = 1). A regressão, o kNN e a SVM recebem variáveis escalonadas em cada divisão usando só a parte de aprendizado.
• Concordância com o scikit-learn nas mesmas 20 divisões: a SVM acerta as mesmas linhas em cada divisão, a regressão e o kNN diferem no máximo em 3 linhas por divisão. As árvores do lab cortam cada variável em no máximo 32 intervalos, enquanto o scikit-learn constrói árvores exatas, então aqui as diferenças são maiores: nos tumores, a floresta tem o mesmo resultado em 3 das 20 divisões, e o boosting em 4. Com árvores exatas, a melhor média nos tumores é a do boosting, não a da SVM. As conclusões desta lição sobre os pares saem iguais nas duas versões.
• Divisões: 20 divisões estratificadas, 75% para aprender e 25% para validar, as mesmas para cada modelo. Aqui não há teste. Os 500 resultados foram calculados pelo código do lab, e o teste os recalcula do zero. O teste dos sinais é bilateral, nas divisões sem empate, com limiar de 1%.

Por que funciona

O teorema “não existe almoço grátis” (Wolpert, 1996) diz que, na média sobre todas as tarefas possíveis, nenhum algoritmo de aprendizado é melhor que outro. Um modelo só ganha quando as suas suposições combinam com os dados em questão: fronteiras retas para a regressão logística, vizinhos parecidos para o kNN, limiares em variáveis isoladas para as árvores. Por isso escolher um modelo é uma medição, não um saber de tabela.

A comparação em pares funciona porque a dificuldade de uma divisão afeta os dois modelos ao mesmo tempo e se cancela na diferença. Uma ressalva: 20 divisões do mesmo conjunto compartilham linhas, então não são 20 lançamentos de moeda independentes. Os testes estatísticos usuais sobre esses resultados tendem a ser confiantes demais (Dietterich, 1998). Por isso o limiar é rígido, e uma vantagem repetida é um bom indício, não uma prova.

Um modelo também pode ter o seu próprio acaso. A floresta sorteia linhas e variáveis para cada árvore. Nos dígitos, nas mesmas 20 divisões, a floresta com semente aleatória 1 acerta mais que a regressão em 15 divisões e menos em 5, e com a semente 4 mais em 11 e menos em 9. Com nenhuma semente de 1 a 5 essa vantagem passa no teste dos sinais. Por isso os exemplos desta lição se apoiam em modelos sem acaso: a regressão, o kNN e a SVM.

O código abaixo faz o mesmo no scikit-learn, com outras divisões e árvores exatas. A liderança muda: lá a SVM tem a melhor média em quatro conjuntos e a regressão logística nos pinguins. A direção dos pares desta lição se mantém, mas nem toda vantagem passa lá no teste dos sinais. Mais um motivo para não chamar de vitória uma diferença dentro do ruído.

Um erro comum

Verdadeiro ou falso: “um modelo com média 0,3 ponto mais alta é melhor”. Falso. Nos tumores, a SVM obtém 94,2% e o gradient boosting 93,9%, mas a SVM só acerta mais em 10 das 20 divisões, e o boosting em 7. No código abaixo, o mesmo par reparte as divisões 10 a 7, e a diferença das médias é 0,002.

Um segundo erro comum: “use sempre boosting, por exemplo XGBoost”. Neste zoológico, com as configurações padrão, nos vinhos a regressão logística acerta mais que o gradient boosting em 15 das 20 divisões, e o boosting mais que ela em 2. Não é um veredito contra o boosting, só contra escolher sem validação.

import pandas as pd
from scipy.stats import binomtest
from sklearn.datasets import load_iris, load_wine, load_breast_cancer, load_digits
from sklearn.model_selection import StratifiedShuffleSplit, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.svm import SVC

body = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
peng = pd.read_csv("data/raw/penguins.csv").dropna(subset=body)
cancer = load_breast_cancer()
data = {"iris": load_iris(return_X_y=True), "wine": load_wine(return_X_y=True), "cancer": (cancer.data[:, :10], cancer.target),
        "penguins": (peng[body].values, peng["species"].values), "digits": load_digits(return_X_y=True)}
# o scaler fica dentro de cada pipeline, então aprende as médias só com a parte de aprendizado de cada divisão
models = {"logistic": make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)),
          "kNN": make_pipeline(StandardScaler(), KNeighborsClassifier()),
          "forest": RandomForestClassifier(random_state=0),
          "boosting": GradientBoostingClassifier(random_state=0),
          "SVM": make_pipeline(StandardScaler(), SVC())}
splits = StratifiedShuffleSplit(n_splits=20, test_size=0.25, random_state=0)
acc = {}
for name, (X, y) in data.items():
    acc[name] = {m: cross_val_score(model, X, y, cv=splits) for m, model in models.items()}
    row = " | ".join(f"{m} {a.mean():.3f}" for m, a in acc[name].items())
    best = max(acc[name], key=lambda m: acc[name][m].mean())
    print(f"{name:8s} {row}  best: {best}")
# teste dos sinais: só as divisões sem empate; com modelos igualmente bons, cada uma seria cara ou coroa
for name, a, b in [("digits", "SVM", "kNN"), ("digits", "SVM", "logistic"), ("penguins", "logistic", "SVM"), ("cancer", "SVM", "boosting")]:
    d = acc[name][a] - acc[name][b]
    win, lose = (d > 0).sum(), (d < 0).sum()
    print(f"{name}: {a} beats {b} in {win} of 20 splits, loses in {lose}; sign test p = {binomtest(win, win + lose).pvalue:.3f}; mean difference {d.mean():.3f}")

iris     logistic 0.955 | kNN 0.945 | forest 0.949 | boosting 0.947 | SVM 0.959  best: SVM
wine     logistic 0.982 | kNN 0.964 | forest 0.981 | boosting 0.946 | SVM 0.986  best: SVM
cancer   logistic 0.931 | kNN 0.938 | forest 0.930 | boosting 0.939 | SVM 0.942  best: SVM
penguins logistic 0.988 | kNN 0.985 | forest 0.978 | boosting 0.973 | SVM 0.983  best: logistic
digits   logistic 0.969 | kNN 0.974 | forest 0.975 | boosting 0.964 | SVM 0.979  best: SVM
digits: SVM beats kNN in 14 of 20 splits, loses in 4; sign test p = 0.031; mean difference 0.006
digits: SVM beats logistic in 17 of 20 splits, loses in 3; sign test p = 0.003; mean difference 0.010
penguins: logistic beats SVM in 7 of 20 splits, loses in 1; sign test p = 0.070; mean difference 0.005
cancer: SVM beats boosting in 10 of 20 splits, loses in 7; sign test p = 0.629; mean difference 0.002