Lepszy w każdej grupie, gorszy w sumie

1. Haczyk

Dwóch chirurgów. Pierwszy ma lepsze wyniki i przy prostych zabiegach, i przy trudnych. W podsumowaniu szpitala to jednak drugi wygląda lepiej. Nikt nie oszukał w liczeniu. Pierwszy chirurg po prostu bierze większość trudnych przypadków.

2. Przewidź

Rekrutacja na studia w Berkeley, jesień 1973, sześć największych wydziałów. Przyjęto 44,5% podań mężczyzn i 30,4% podań kobiet. Jak myślisz, w ilu wydziałach kobiety miały niższy odsetek przyjęć niż mężczyźni: we wszystkich, w większości czy w mniejszości?

Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.

3. Wyjaśnienie

Rozwiązanie. W mniejszości: tylko w 2 z 6 wydziałów. W pozostałych 4 kobiety miały wyższy odsetek przyjęć niż mężczyźni. Na wydziale A przyjęto 82,4% kobiet i 62,1% mężczyzn.

Jak to możliwe? Wydziały bardzo różniły się trudnością. Część przyjmowała większość kandydatów, część tylko niewielką ich część. Kobiety składały podania głównie tam, gdzie przyjmowano mało osób: na wydziały, które przyjmowały mniejszą część kandydatów niż cała uczelnia, trafiło 92,8% podań kobiet i tylko 48,5% podań mężczyzn. Suma miesza więc dwie rzeczy naraz: decyzje wydziałów i to, kto gdzie aplikował.

To jest paradoks Simpsona: zależność widoczna w każdej grupie osobno może zniknąć albo się odwrócić po połączeniu grup. Winna jest trzecia zmienna (tu: trudność wydziału), która wpływa i na podział ludzi między grupy, i na wynik.

Sprawdź sam. W haśle przełączasz widok między sumą a wydziałami i patrzysz, jak przewaga zmienia stronę.

• Hasło z ilustracją: paradoks Simpsona

4. Częsty błąd

„Więcej danych w jednej tabeli daje prawdziwszy obraz.” Nie zawsze. Zsumowanie grup może ukryć zmienną, która rządzi wynikiem. Działa to też w drugą stronę: nie dziel danych na coraz mniejsze grupy, dopóki coś nie wyjdzie. Każdy kolejny podział to nowa szansa na przypadkowy wynik.

5. Gdzie ta analogia się psuje

Chirurg sam wybiera pacjentów, a w Berkeley kandydaci sami wybierali wydziały. Sam paradoks nie mówi, który obraz jest „prawdziwy”. To zależy od pytania: czy pytasz o decyzje wydziałów, czy o to, ile kobiet w ogóle dostało się na studia. Żeby to rozstrzygnąć, trzeba mieć pomysł, co na co wpływa (wnioskowanie przyczynowe).

6. Dlaczego to ważne w pracy

Raport w stylu „średnia wzrosła” albo „konwersja spadła” zawsze warto rozbić na główne grupy: kanał, kraj, typ klienta. Gdy zmienia się udział grup, średnia potrafi się ruszyć, choć w żadnej grupie nic się nie zmieniło. Więcej w haśle korelacja to nie przyczynowość.

7. Pytanie powtórkowe

Odpowiedź na pytanie z poprzedniego numeru

Dwa sposoby: ograniczyć głębokość drzewa, czyli dać mu mniej pytań, albo zastąpić jedno drzewo lasem losowym, który uśrednia wiele drzew. W lekcji o drzewach najlepszy wynik testowy, 79,5%, daje drzewo o głębokości 3, a nie najgłębsze.

Nowe pytanie

Wracamy do wycieku danych. Skalujesz wszystkie dane tak, żeby każda kolumna miała średnią zero, a dopiero potem dzielisz je na trening i test. Co jest nie tak?

Odpowiedź w następnym numerze.