ML Atlas

Blog · Na start ·

Matematyka do ML: co naprawdę jest potrzebne na start

W skrócie

Na start wystarczy szkoła: procenty, średnia i wykres. Prawdopodobieństwo przydaje się szybko, pochodne i macierze dopiero przy sieciach neuronowych.

Krótka odpowiedź

Żeby zacząć uczyć się uczenia maszynowego, wystarczy matematyka ze szkoły: procenty, średnia, wykres x–y. Resztę możesz dokładać po kolei, wtedy, gdy jest potrzebna:

  1. Statystyka i prawdopodobieństwo: przydają się najwcześniej, bo bez nich nie ocenisz wyniku modelu.
  2. Pochodna: potrzebna, żeby zrozumieć, jak model się uczy (spadek gradientu).
  3. Wektory i macierze: potrzebne przy sieciach neuronowych i modelach językowych.

Nie musisz najpierw przerabiać całej analizy matematycznej i algebry liniowej. To najczęstszy powód, dla którego ludzie rezygnują, zanim zbudują pierwszy model.

Podobnie mówi Google przy swoim darmowym kursie ML: wymaga swobody ze zmiennymi, równaniami liniowymi, wykresami funkcji, histogramami i średnią, a pochodne opisuje jako opcjonalne, do tematów zaawansowanych, i dodaje, że nie trzeba ich liczyć.

Szkoła: procenty i średnia (od pierwszej lekcji)

Trafność modelu to po prostu procent. W pierwszej lekcji naszego kursu drzewo decyzyjne rozpoznaje gatunek 98 ze 103 pingwinów, których nie widziało: 95,1%. Czy to dużo? Tu przydaje się druga szkolna umiejętność, porównanie. Zgadywanie bez modelu, „zawsze najczęstszy gatunek”, trafia 45 ze 103, czyli 43,7%. Dopiero ta para liczb mówi, że model coś umie.

Sprawdzisz to sam w lekcji Cały proces w 15 minut.

Prawdopodobieństwo (bardzo szybko)

Najważniejsza idea na start to prawdopodobieństwo warunkowe: „jak często A, jeśli wiemy, że B”. Bez niej łatwo dać się nabrać na wysoki procent.

Przykład w liczbach na 1000 osób. Choroba dotyczy 1% ludzi, czyli 10 osób. Test wykrywa 90% chorych, czyli 9. Myli się też u 10% zdrowych, a zdrowych jest dużo, więc daje 99 fałszywych alarmów. Wynik dodatni dostaje 108 osób, a chorych jest wśród nich tylko 9. Szansa, że osoba z wynikiem dodatnim jest chora, to 8,3%, a nie 90%.

Dokładnie ten sam rachunek stoi za oceną modeli: precyzja i czułość to dwa różne prawdopodobieństwa warunkowe. Te same liczby ustawisz suwakami w haśle błąd zaniedbania stopy bazowej, a podstawy znajdziesz w haśle prawdopodobieństwo warunkowe.

Pochodna (gdy chcesz wiedzieć, jak model się uczy)

Pochodna mówi, w którą stronę i jak stromo rośnie funkcja. Model uczy się tak, że liczy, jak bardzo się myli, i robi mały krok w stronę, w którą błąd maleje. Tę stronę wskazuje właśnie pochodna. To cały pomysł spadku gradientu.

Nie musisz umieć liczyć pochodnych ręcznie: biblioteki robią to same. Wystarczy obraz „schodzenia ze zbocza we mgle” i wiedza, że za duży krok może przeskoczyć dolinę. Zobaczysz to w lekcji Spadek gradientu: nauka małymi krokami i w haśle pochodna.

Wektory i macierze (przy sieciach neuronowych)

Wektor to lista liczb, które opisują jedną rzecz: pingwina (długość dzioba, płetwy, masa), zdjęcie (jasności pikseli) albo słowo w modelu językowym. Macierz to tabela liczb, która zamienia jeden wektor w inny. Sieć neuronowa to w dużej mierze mnożenie wektorów przez macierze, warstwa po warstwie.

Do klasycznych modeli, takich jak drzewa decyzyjne, wystarczy myśleć „tabela z kolumnami”. Gdy dojdziesz do sieci neuronowych, przeczytaj hasła wektory i przestrzenie oraz macierze jako przekształcenia.

Jak uczyć się matematyki, żeby nie utknąć

  • Od potrzeby, nie od podręcznika. Najpierw zobacz, do czego służy pojęcie w modelu, potem doczytaj teorię. W kursie ML Atlas matematyka formalna jest w zwijanej warstwie „Matematyka” przy lekcjach.
  • Po polsku za darmo: Khan Academy po polsku ma matematykę szkolną z ćwiczeniami, w tym dział „Statystyka i prawdopodobieństwo”.
  • Na później, po angielsku: książka „Mathematics for Machine Learning” (Deisenroth, Faisal, Ong), z bezpłatnym PDF na stronie autorów, zbiera algebrę liniową, pochodne i prawdopodobieństwo pod kątem ML. To dobra lektura, gdy podstawy już masz.

Co dalej

Źródła

Tagi: matematyka statystyka prawdopodobienstwo na-start

W Atlasie