Ensembles: Warum viele Bäume einen schlagen

Bitte eine einzelne Person zu schätzen, wie viele Bonbons in einem großen Glas sind, und die Schätzung liegt vielleicht weit daneben. Frag ein paar Hundert Leute und bilde den Durchschnitt ihrer Schätzungen, und das Ergebnis liegt oft verblüffend nah dran. Keiner der Schätzenden ist klüger geworden. Ihre Fehler zeigten einfach in verschiedene Richtungen und haben sich aufgehoben. Kann man ein Modell genauso bauen, aus vielen mittelmäßigen? Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Stell den Regler für die Zahl der Bäume zu Beginn auf eins und vergleiche den Wald mit dem einzelnen Baum. Mit einem Baum ist der „Wald“ nur ein einzelner zufallsgesteuerter Baum.
• Erhöhe die Zahl der Bäume nach und nach und beobachte die Testgenauigkeit des Waldes. Achte darauf, wo sie sich nicht mehr spürbar verbessert.
• Erhöhe die Zahl der Bäume weiter. Beginnt die Genauigkeit des Waldes zu fallen wie beim tiefen Baum in Lektion 9, oder pendelt sie sich ein?
• Vergleiche den einzelnen Baum mit dem großen Wald. Welchem würdest du einen Fall anvertrauen, den du noch nie gesehen hast?

Die Idee in einfachen Worten

Ein Ensemble ist ein Modell aus vielen Modellen, deren Vorhersagen kombiniert werden – per Abstimmung bei Kategorien oder per Mittelwert bei Zahlen. Das berühmteste Ensemble ist der Random Forest (Zufallswald), 2001 von Leo Breiman vorgestellt: eine große Zahl von Entscheidungsbäumen, jeder ein wenig anders gewachsen, die gemeinsam abstimmen.

Lektion 9 endete mit einer Schwäche von Bäumen: Eine kleine Änderung in den Daten kann einen völlig anderen Baum erzeugen. Ein einzelner tiefer Baum ist wie ein übermütiger Schätzer – scharfsinnig, aber sprunghaft. Ein Wald macht aus dieser Sprunghaftigkeit einen Vorteil. Wenn jeder Baum andere Fehler macht, liegt die Mehrheitsabstimmung öfter richtig als ein typischer Baum.

Warum es funktioniert

Das Schlüsselwort ist andere. Identische Modelle zu mitteln, ändert nichts; ihre Fehler sind dieselben. Ein Random Forest sorgt auf zwei Arten dafür, dass sich seine Bäume unterscheiden. Erstens wird jeder Baum auf einer Bootstrap-Stichprobe trainiert: Zeilen, die zufällig und mit Zurücklegen aus den Trainingsdaten gezogen werden, sodass jeder Baum einen leicht anderen Datensatz sieht, in dem manche Zeilen mehrfach vorkommen und andere fehlen. Diese Idee heißt Bagging. Zweitens darf ein Baum bei jeder Teilung nur unter einer zufälligen Teilmenge der Merkmale wählen, sodass sich nicht alle Bäume auf dasselbe stärkste Merkmal stützen.

Die Statistik sagt uns, wie viel das bringt. Hat der Fehler jedes Baums die Varianz σ² und sind die Fehler zweier Bäume mit der Korrelation ρ verbunden, dann hat der Durchschnitt von n Bäumen die Varianz

ρ·σ² + (1 − ρ)·σ² / n

Der zweite Term schrumpft, wenn man Bäume hinzufügt, und verschwindet bei großem n. Der erste Term nicht: Er ist der Teil des Fehlers, den alle Bäume teilen. Deshalb ist Zufall so wichtig. Je weniger sich die Bäume ähneln (je kleiner ρ), desto mehr gewinnt der Wald – und deshalb bringen zusätzliche Bäume ab einem gewissen Punkt fast nichts mehr.

Eine angenehme Folge: Mehr Bäume lassen einen Wald nicht mehr auswendig lernen. Jeder neue Baum gibt einfach seine Stimme ab, und die Vorhersagen des Waldes beruhigen sich, statt wilder zu werden. Der Preis für mehr Bäume ist Rechenzeit, keine Überanpassung.

Es gibt eine zweite große Familie von Ensembles, das Boosting, das umgekehrt vorgeht: Statt unabhängiger Bäume, die abstimmen, baut es kleine Bäume nacheinander, und jeder korrigiert die Fehler der vorherigen. Gradient-Boosted Trees gewinnen häufig bei tabellarischen Daten, auch in vielen Kaggle-Wettbewerben.

Häufiger Fehler

Ein Ensemble kann keine Information erzeugen, die nicht in den Merkmalen steckt. Wenn jeder Baum auf dieselbe Weise getäuscht wird – etwa durch ein Merkmal, das die Antwort verrät, oder durch Daten, die die Menschen, für die man vorhersagt, nicht repräsentieren –, wiederholt die Abstimmung denselben Fehler nur mit mehr Überzeugung. Der korrelierte Term in der Formel ist genau dieser gemeinsame Fehler. Ein weiterer Fehler ist die Annahme, mehr Bäume helfen immer: Wenn die Gewinne abflachen, kosten zusätzliche Bäume nur Zeit. Und schließlich ist ein Wald viel schwerer zu lesen als ein einzelner Baum; du tauschst das Flussdiagramm gegen Genauigkeit.

Bäume und Wälder zerlegen den Merkmalsraum in Kästen. In der nächsten Lektion lernen wir ein Modell kennen, das seine Grenze stattdessen sanft biegt: das neuronale Netz.

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

df = pd.read_csv("data/raw/titanic.csv")
X = pd.DataFrame({"female": (df["sex"] == "female").astype(int)}).join(df[["pclass", "age", "sibsp", "parch", "fare"]])
Xtr, Xte, ytr, yte = train_test_split(X, df["survived"], test_size=0.3, stratify=df["survived"], random_state=1)
Xtr, Xte = Xtr.fillna({"age": Xtr["age"].median()}), Xte.fillna({"age": Xtr["age"].median()})  # Median der Trainingsdaten für beide
tree = DecisionTreeClassifier(random_state=0).fit(Xtr, ytr)
print(f"one full tree: test {tree.score(Xte, yte):.3f}")
for n in (1, 10, 100, 500):
    forest = RandomForestClassifier(n_estimators=n, max_features=2, random_state=0).fit(Xtr, ytr)
    print(f"forest of {n:3d}: test {forest.score(Xte, yte):.3f}")
oob = RandomForestClassifier(n_estimators=500, max_features=2, oob_score=True, random_state=0).fit(Xtr, ytr)
print(f"out-of-bag estimate (500 trees, training rows only): {oob.oob_score_:.3f}")

one full tree: test 0.780
forest of   1: test 0.754
forest of  10: test 0.806
forest of 100: test 0.802
forest of 500: test 0.802
out-of-bag estimate (500 trees, training rows only): 0.809