Newsletter · kurs „ML w 10 dni” · dzień 3 z 10 · ok. 2 min czytania
Najlepsza prosta przez chmurę punktów
W skrócie
Dzień 3 kursu mailowego „ML w 10 dni”: regresja liniowa, czyli jak znaleźć najlepszą prostą przez chmurę punktów i co mówi o niej współczynnik R².
Pojęcie: Regresja liniowa ·
1. Haczyk
Patrzysz na wykres: wzrost znajomych i rozmiar ich butów. Odruchowo widzisz w tych punktach linię. Regresja liniowa robi to samo, tylko dokładnie liczy, która linia jest najlepsza.
2. Przewidź
Dane o cukrzycy: BMI pacjenta i postęp choroby po roku. Dopasowujesz najlepszą prostą. Jaką część zmienności postępu choroby tłumaczy sam BMI: około 80%, około 34% czy około 5%?
Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.
3. Wyjaśnienie
Regresja liniowa szuka prostej ŷ = a·x + b, która najlepiej pasuje do punktów. „Najlepiej” znaczy tu: z najmniejszą sumą kwadratów pionowych odległości punktów od prostej. Kwadrat sprawia, że duże pomyłki ważą dużo więcej niż małe.
Rozwiązanie: około 34%. Najlepsza prosta ma R² = 0,34. Jej błąd średniokwadratowy to 3890, a płaskiej linii na poziomie średniej 5930. BMI tłumaczy więc mniej więcej jedną trzecią zmienności, a pozostałe 66% zależy od czegoś innego.
R² mówi, o ile lepiej prosta przewiduje niż samo zgadywanie średniej. R² równe zeru znaczy „nic lepiej niż średnia”, a równe jeden znaczy idealne dopasowanie.
Sprawdź sam. W lekcji sam przesuwasz prostą i patrzysz, jak zmienia się błąd, a potem porównujesz swój wynik z najlepszą prostą.
4. Częsty błąd
„Prosta pokazuje, że BMI powoduje postęp choroby.” Pokazuje tylko, że obie liczby idą w parze. Przyczyna może być wspólna, na przykład styl życia, który wpływa i na wagę, i na cukrzycę. Drugi błąd: wyrzucanie modelu z R² = 0,34 jako bezwartościowego. W medycynie jeden czynnik rzadko tłumaczy więcej.
5. Gdzie ta analogia się psuje
Oko łatwo ignoruje pojedynczy dziwny punkt. Metoda najmniejszych kwadratów robi odwrotnie: przez kwadrat jeden bardzo odległy punkt potrafi mocno przechylić prostą. Zanim zaufasz prostej, popatrz na wykres.
6. Dlaczego to ważne w pracy
Regresja liniowa to pierwszy model przy prognozach sprzedaży, wycenach czy budżetach i punkt odniesienia dla bardziej złożonych modeli. W scikit-learn to LinearRegression. Jeśli złożony model nie bije prostej, coś jest nie tak z modelem albo z danymi.
7. Pytanie powtórkowe
Odpowiedź na pytanie z poprzedniego dnia
Bo model zna te dane. Mógł je po prostu zapamiętać, więc wynik na nich mówi, jak dobrze model pamięta, a nie jak poradzi sobie z nowymi przypadkami.
Nowe pytanie
Wracamy do dnia 1. Algorytm wyuczył próg na biopsjach treningowych i na nich jest to najlepszy możliwy próg. Czy będzie też najlepszy na nowych biopsjach?
Odpowiedź w następnym dniu kursu.