Ensembles: por que muitas árvores vencem uma só

Peça a uma pessoa para adivinhar quantas balas há num pote grande, e o palpite pode errar feio. Peça a algumas centenas de pessoas e tire a média dos palpites, e o resultado costuma ficar espantosamente perto. Ninguém ficou mais esperto. Os erros simplesmente apontavam para lados diferentes e se anularam. Dá para construir um modelo do mesmo jeito, a partir de vários modelos medianos?

Experimente

• Comece com o controle do número de árvores em um e compare a floresta com a árvore única. Com uma árvore só, a “floresta” é apenas uma árvore aleatorizada.
• Aumente aos poucos o número de árvores e observe a acurácia de teste da floresta. Repare onde ela para de melhorar de forma perceptível.
• Continue aumentando o número de árvores. A acurácia da floresta começa a cair, como a da árvore profunda na lição 9, ou se estabiliza?
• Compare a árvore única com a floresta grande. Em qual você confiaria para um caso que nunca viu?

A ideia em poucas palavras

Vamos ver agora, em palavras simples, o que você acabou de manipular.

Um ensemble é um modelo feito de vários modelos cujas previsões são combinadas, por votação no caso de categorias ou por média no caso de números. O ensemble mais famoso é a floresta aleatória (random forest), apresentada por Leo Breiman em 2001: um grande número de árvores de decisão, cada uma crescida de um jeito um pouco diferente, votando juntas.

A lição 9 terminou com uma fraqueza das árvores: uma pequena mudança nos dados pode produzir uma árvore completamente diferente. Uma única árvore profunda é como um palpiteiro confiante demais — afiado, mas instável. Uma floresta transforma essa instabilidade numa vantagem. Se cada árvore comete erros diferentes, a votação por maioria acerta com mais frequência que uma árvore típica.

Por que funciona

A palavra-chave é diferentes. Tirar a média de modelos idênticos não muda nada; os erros são os mesmos. Uma random forest faz as árvores diferirem de duas maneiras. Primeiro, cada árvore é treinada numa amostra bootstrap: linhas sorteadas do conjunto de treino com reposição, então cada árvore vê um conjunto de dados um pouco diferente, com algumas linhas repetidas e outras de fora. Essa ideia se chama bagging. Segundo, em cada divisão a árvore só pode escolher entre um subconjunto aleatório dos atributos, para que nem todas se apoiem no mesmo atributo mais forte.

A estatística nos diz quanto isso ajuda. Se o erro de cada árvore tem variância σ² e os erros de duas árvores quaisquer têm correlação ρ, a média de n árvores tem variância

ρ·σ² + (1 − ρ)·σ² / n

O segundo termo encolhe conforme você adiciona árvores e desaparece para n grande. O primeiro, não: é a parte do erro que todas as árvores compartilham. É por isso que a aleatoriedade importa. Quanto menos as árvores se parecem entre si (quanto menor o ρ), mais a floresta ganha — e é por isso que adicionar árvores além de certo ponto quase não traz nada.

Uma consequência agradável: adicionar mais árvores não faz uma floresta decorar mais. Cada árvore nova só entra na votação, e as previsões da floresta se estabilizam em vez de ficarem mais malucas. O custo de mais árvores é tempo de computação, não overfitting.

Existe uma segunda grande família de ensembles, o boosting, que funciona ao contrário: em vez de árvores independentes que votam, ele constrói árvores pequenas uma depois da outra, cada uma corrigindo os erros das anteriores. Árvores com gradient boosting vencem com frequência em dados tabulares, inclusive em muitas competições do Kaggle.

Erro comum

Um ensemble não consegue criar informação que não está nos atributos. Se todas as árvores são enganadas do mesmo jeito — por exemplo, por um atributo que vaza a resposta ou por dados que não representam as pessoas para quem você vai prever —, a votação só repete o mesmo erro com mais confiança. O termo correlacionado da fórmula é exatamente esse erro compartilhado. Outro erro é supor que mais árvores sempre ajudam: depois que os ganhos se achatam, árvores extras só custam tempo. Por fim, uma floresta é muito mais difícil de ler que uma árvore única; você troca o fluxograma por acurácia.

Árvores e florestas dividem o espaço de atributos em caixas. Na próxima lição conhecemos um modelo que, em vez disso, curva a fronteira suavemente: a rede neural.

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

df = pd.read_csv("data/raw/titanic.csv")
X = pd.DataFrame({"female": (df["sex"] == "female").astype(int)}).join(df[["pclass", "age", "sibsp", "parch", "fare"]])
Xtr, Xte, ytr, yte = train_test_split(X, df["survived"], test_size=0.3, stratify=df["survived"], random_state=1)
Xtr, Xte = Xtr.fillna({"age": Xtr["age"].median()}), Xte.fillna({"age": Xtr["age"].median()})  # mediana do treino para ambos
tree = DecisionTreeClassifier(random_state=0).fit(Xtr, ytr)
print(f"one full tree: test {tree.score(Xte, yte):.3f}")
for n in (1, 10, 100, 500):
    forest = RandomForestClassifier(n_estimators=n, max_features=2, random_state=0).fit(Xtr, ytr)
    print(f"forest of {n:3d}: test {forest.score(Xte, yte):.3f}")
oob = RandomForestClassifier(n_estimators=500, max_features=2, oob_score=True, random_state=0).fit(Xtr, ytr)
print(f"out-of-bag estimate (500 trees, training rows only): {oob.oob_score_:.3f}")

one full tree: test 0.780
forest of   1: test 0.754
forest of  10: test 0.806
forest of 100: test 0.802
forest of 500: test 0.802
out-of-bag estimate (500 trees, training rows only): 0.809