Kartkówka z kursu ML

Po co chowamy część danych przed modelem?

1. Żeby model uczył się szybciej na mniejszej liczbie przykładów
2. Żeby sprawdzić go na przykładach, których nigdy nie widział
3. Żeby usunąć błędne pomiary, które zepsułyby wynik modelu

Model rozpoznaje gatunek 75 na 100 pingwinów. Czego potrzebujesz, żeby ocenić, czy to dobrze?

1. Wyniku prostego zgadywania na tych samych danych testowych
2. Większej liczby pomiarów każdego pingwina w całej tabeli
3. Dłuższego treningu modelu, bo wtedy wynik zawsze rośnie

Która kolejność kroków projektu jest właściwa?

1. dane → model → ocena → podział → punkt odniesienia
2. dane → podział → punkt odniesienia → model → ocena
3. model → dane → punkt odniesienia → ocena → podział

Model ma 99% trafności na pingwinach, na których się uczył. Co to mówi o nowych pingwinach?

1. Że na nowych pingwinach też będzie miał około 99% trafności
2. Że na nowych pingwinach trafność będzie jeszcze wyższa niż 99%
3. Niewiele: trzeba to sprawdzić na schowanej części danych

W danych 95 na 100 maili to zwykłe wiadomości. Filtr spamu ma 95% trafności. Co możesz powiedzieć?

1. Że filtr działa świetnie, bo 95% trafności to bardzo dużo
2. Że może nie robić nic, bo „nigdy spam” też daje 95%
3. Że filtr myli się tylko na wiadomościach, które są spamem

Dlaczego jeden podział danych to za mało, żeby w pełni ufać wynikowi?

1. Bo inny losowy podział daje trochę inny wynik na teście
2. Bo model uczy się tylko na pierwszym podziale w historii
3. Bo jeden podział zawsze zawyża wynik o kilka punktów

Poprawiasz regułę tak długo, aż ma rację dla każdego przykładu treningowego. Co to mówi o następnej pacjentce?

1. Że reguła zadziała też u następnej pacjentki, bo zna wszystkie przykłady z treningu
2. Niewiele — nowe przypadki oceni dopiero zbiór, którego reguła nie widziała
3. Że jej trafność na teście wyniesie tyle samo, ile na treningu

Co w tej lekcji znaczy „nauczyć się progu”?

1. Komputer czyta podręczniki medyczne i wybiera wartość, którą w nich znajdzie
2. Sprawdzić progi na przykładach z etykietami i zostawić ten z najmniejszą liczbą pomyłek
3. Wziąć środek między najmniejszym a największym pomiarem w danych
4. Poprosić patomorfologa o wartość progu i zapisać ją w programie

Model ma rację w mniej więcej 60% przypadków na tych danych o guzach. Dlaczego to nie robi wrażenia?

1. Bo na danych medycznych trafności w ogóle nie da się wiarygodnie mierzyć
2. Bo „zawsze łagodny” trafia już w prawie dwóch trzecich przypadków
3. Bo zbiór testowy guzów jest za mały, żeby cokolwiek z niego wywnioskować

Reguła ma 100% trafności na zbiorze treningowym. Co to mówi o jej działaniu na nowych guzach?

1. Że na nowych guzach pomyli się najwyżej kilka razy, bo trening był bezbłędny
2. Że nowe guzy będą wyglądać jak te treningowe, więc ten sam wynik na pewno się utrzyma
3. Niewiele — dopiero zbiór testowy, którego reguła nie widziała, pokaże jej wynik

Jak algorytm „uczy się” progu w regule „powyżej progu → złośliwy”?

1. Zapisuje wartość pomiaru pierwszego guza złośliwego, który zobaczył w danych treningowych
2. Sprawdza wiele progów na przykładach z etykietami i zostawia ten z najmniej pomyłek
3. Wybiera taki próg, przy którym po obu jego stronach jest tyle samo guzów

W zbiorze jest 569 guzów, w tym 357 łagodnych. Jaką trafność ma „reguła”, która zawsze odpowiada „łagodny”?

1. Około 37%, bo tyle guzów w zbiorze jest złośliwych, a reguła ich nie wykrywa
2. Dokładnie 50%, bo reguła obstawia zawsze jedną z dwóch możliwych klas
3. Około 63%, bo tyle guzów w zbiorze jest łagodnych

Dlaczego zbioru testowego nie wolno ruszać aż do końca?

1. Bo model, który go nie widzi, uczy się szybciej i dokładniej
2. Bo szacuje wynik na nowych danych, tylko jeśli nie oparto na nim żadnej decyzji
3. Bo wiersze testowe zwykle zawierają błędy, które psują uczenie modelu

Zmieniasz tylko ziarno losowania podziału, a trafność na teście się zmienia. Co to pokazuje?

1. Że model jest zepsuty i trzeba go wytrenować od zera
2. Że ziarno zmienia sposób, w jaki model uczy się reguły, więc wynik nie ma znaczenia
3. Że wynik testu zależy od tego, które wiersze akurat trafiły do testu
4. Że w danych nie ma cech, które cokolwiek przewidują

Ile kosztuje bardzo duży zbiór testowy?

1. Wynik testu staje się mniej wiarygodny, bo wierszy jest za dużo
2. Zostaje mniej wierszy na uczenie modelu, bo reszta jest odłożona
3. Model zaczyna widzieć etykiety testowe w czasie treningu i się do nich dopasowuje

Wypróbowujesz pięć modeli i podajesz wynik tego, który ma najwyższą trafność na zbiorze testowym. Co jest z tym nie tak?

1. Problem znika, jeśli każdy model trenowano na tych samych danych
2. Wynik jest zbyt optymistyczny, bo zbiór testowy posłużył do podjęcia decyzji
3. Wynik jest zawyżony tylko przy małym zbiorze testowym, a przy dużym problemu nie ma

Dwie osoby trenują ten sam model na tych samych danych, każda z innym ziarnem podziału. Jedna ma na teście 91%, druga 94%. Co jest najbardziej prawdopodobne?

1. Jedna z nich popełniła błąd w kodzie, bo wyniki powinny być identyczne
2. Jedna z nich użyła innego modelu, bo ten sam model zawsze daje ten sam wynik
3. Ich zbiory testowe zawierają inne wiersze, więc wyniki trochę się różnią
4. Wyższy wynik ma model lepszy, bo trafił na ziarno, które lepiej dzieli dane

Odkładasz 50% wierszy na test zamiast 20%. Co zyskujesz, a co tracisz?

1. Zyskujesz lepiej wyuczony model, a tracisz wiarygodność oceny
2. Nic nie tracisz, bo wiersze testowe i tak nigdy nie biorą udziału w uczeniu modelu
3. Zyskujesz pewniejszą ocenę, a tracisz wiersze, z których model mógłby się uczyć

Co jest punktem odniesienia w klasyfikacji?

1. Odpowiedź „zawsze najczęstsza klasa z danych do nauki”
2. Najlepszy model, jaki udało się znaleźć w podobnym zadaniu
3. Trafność modelu na tych samych danych, na których się uczył

W teście jest 108 biopsji, w tym 1 złośliwa. „Zawsze łagodny” ma 99,1%, reguła 90,7%. Który model jest lepszy do badań przesiewowych?

1. „Zawsze łagodny”, bo ma wyższą trafność na tym samym teście
2. Żaden, bo przy jednej złośliwej biopsji nie da się nic powiedzieć
3. Reguła, bo wykrywa złośliwą, a „zawsze łagodny” nie wykryje nigdy

Model regresji ma błąd 4096, a średnia 5076. O ile model jest lepszy od punktu odniesienia?

1. O 4096, bo tyle wynosi błąd modelu na schowanych danych
2. O 19,3%, bo 1 − 4096 / 5076 ≈ 0,193, czyli niewiele
3. O 80,7%, bo tyle wynosi błąd modelu jako część błędu średniej

Co jest punktem odniesienia w regresji, np. w przewidywaniu postępu choroby?

1. Prosta dopasowana do najważniejszego pomiaru pacjenta
2. Średnia wartość z pacjentów do nauki, podana każdemu
3. Zero, bo model bez pomiarów nie powinien nic przewidywać

Choruje 1 osoba na 100. Test „zawsze zdrowy” ma 99% trafności. Co o nim wiesz?

1. Że nie wykrywa ani jednego chorego, mimo wysokiej trafności
2. Że myli się tylko w jednym przypadku na sto, więc jest dobry
3. Że po dłuższym treningu jego trafność wzrośnie powyżej 99%

Jak sprawdzić, czy przewaga modelu nad punktem odniesienia to nie przypadek?

1. Policzyć trafność modelu jeszcze raz na tych samych danych testowych
2. Zwiększyć zbiór testowy kosztem danych, na których model się uczy
3. Powtórzyć porównanie na wielu podziałach danych i zobaczyć, jak często wygrywa

Jak kNN odpowiada na pytanie o nowy przypadek?

1. Stosuje regułę z progami, którą wyuczył się na danych do nauki
2. Bierze k najbliższych przykładów do nauki i wybiera ich większość
3. Liczy średnią ze wszystkich przykładów do nauki tej samej klasy

kNN z k = 1 ma 100% na danych do nauki. Co to mówi o nowych danych?

1. Że na nowych danych też będzie miał około 100% trafności
2. Prawie nic, bo każdy przykład do nauki jest swoim sąsiadem
3. Że k = 1 jest najlepszym wyborem dla tych konkretnych danych

Dlaczego przed kNN zwykle standaryzuje się pomiary?

1. Bo bez tego kNN nie umie liczyć odległości między przykładami
2. Bo standaryzacja usuwa z danych przykłady, które są wyjątkami
3. Bo pomiar w dużych jednostkach, np. gramach, zagłusza pozostałe

Co robi kNN w czasie „uczenia”, zanim padnie pierwsze pytanie?

1. Dobiera wagi pomiarów, żeby błąd na danych do nauki był jak najmniejszy
2. Buduje drzewo pytań tak/nie, które dzieli dane na czyste grupy
3. Tylko zapamiętuje przykłady; całą pracę wykonuje dopiero przy pytaniu

Co się dzieje, gdy k jest bardzo duże, np. 101 z 239 pingwinów do nauki?

1. Granice stają się bardziej poszarpane i idą za każdym wyjątkiem
2. Granice są gładkie, a rzadki gatunek przegrywa coraz więcej głosowań
3. Model zaczyna trafiać wszystkie pingwiny, także te testowe

Pingwiny opisane długością dzioba w mm i masą w g, bez skalowania. Co decyduje, kto jest sąsiadem?

1. Prawie wyłącznie masa, bo jej różnice idą w setki gramów
2. Prawie wyłącznie dziób, bo jest pierwszym pomiarem w tabeli
3. Oba pomiary po równo, bo kNN sam wyrównuje ich jednostki

Dlaczego regresja liniowa podnosi reszty do kwadratu, zamiast je po prostu dodać?

1. Bo reszty podniesione do kwadratu liczy się szybciej niż wartości zwykłe
2. Bo reszty są zawsze ujemne, więc kwadrat zmienia je na dodatnie
3. Żeby pudła w obie strony się nie znosiły, a duże kosztowały więcej

Przy nachyleniu ustawionym na zero, jaki wyraz wolny daje najmniejsze MSE?

1. Zero, bo prosta pozioma bez nachylenia musi przechodzić przez początek układu
2. Największą wartość przewidywanej zmiennej w danych
3. Medianę wartości cechy, czyli środek osi poziomej
4. Średnią wartości przewidywanej zmiennej w danych treningowych

Najlepsza prosta ma dodatnie nachylenie. Co z tego wynika?

1. Że sztuczne podniesienie pacjentowi BMI przyspieszy chorobę
2. Że w tych danych wyższemu BMI przeciętnie towarzyszy większy postęp choroby
3. Że BMI wyjaśnia wszystkie różnice w postępie choroby między pacjentami

Jeden punkt leży 3 jednostki nad prostą, a drugi 3 jednostki pod nią. Co by wyszło, gdyby zamiast kwadratów po prostu dodać reszty?

1. 6, bo reszty zawsze dodają się do siebie, niezależnie od strony prostej
2. 0, jakby prosta była idealna, choć pudła w obie strony się zniosły
3. 18, tak samo jak przy podnoszeniu reszt do kwadratu

Chcesz przewidzieć postęp choroby jedną liczbą dla wszystkich pacjentów, bez żadnej cechy. Jaka liczba da najmniejsze MSE?

1. Zero, bo bez cechy model nie ma na czym oprzeć przewidywania
2. Największy postęp choroby w danych, żeby nikogo nie niedoszacować
3. Mediana BMI pacjentów, czyli środek danych na osi poziomej
4. Średni postęp choroby pacjentów w danych treningowych

Według prostej pacjent o wyższym BMI ma wyższy przewidywany postęp choroby. Co to mówi o BMI i chorobie?

1. Że podwyższone BMI wywołuje szybszy postęp choroby u każdego pacjenta
2. Że w tych danych wyższemu BMI towarzyszy przeciętnie wyższy postęp choroby
3. Że z BMI da się bezbłędnie odczytać postęp choroby każdego pacjenta

Co gradient mówi algorytmowi w każdym kroku?

1. Gdzie dokładnie leżą najlepsze parametry i jak do nich dojść
2. Ile kroków zostało do minimum przy obecnym współczynniku uczenia
3. W którą stronę i jak stromo rośnie strata w bieżącym punkcie

Strata rośnie z każdym krokiem. Jaka jest najbardziej prawdopodobna przyczyna?

1. Za mały współczynnik uczenia, przez który strata prawie się nie zmienia
2. Za duży współczynnik uczenia, przez który kroki przeskakują minimum
3. Za dużo przykładów w danych, które przeciążają gradient

Dlaczego w sieciach neuronowych używa się spadku gradientu zamiast dokładnego wzoru?

1. Bo dokładny wzór istnieje, ale gradient zawsze daje lepsze parametry od niego
2. Bo wzoru na najlepsze parametry zwykle nie ma, a gradient da się policzyć
3. Bo wzorów nie da się liczyć na karcie graficznej, a gradient tak

Stoisz na zboczu we mgle i wyczuwasz, w którą stronę teren rośnie. Co odpowiada temu w spadku gradientu?

1. Gradient wskazuje wprost dno doliny, więc jeden krok wystarczy i jesteś na miejscu
2. Gradient pokazuje, gdzie strata rośnie, więc krok robisz w przeciwną stronę
3. Gradient podaje liczbę kroków do minimum, a kierunek wybierasz sam

Przy η = 1,1 strata po 5 krokach wynosi 159823, a przy η = 0,1 tylko 6595. Co to oznacza?

1. Że η = 1,1 jest za małe, więc strata nie zdążyła jeszcze wyraźnie spaść po 5 krokach
2. Że przy η = 1,1 kroki przeskakują dolinę, więc strata rośnie zamiast spadać
3. Że dane są zepsute i trzeba zmienić model, a nie współczynnik uczenia

Czego z tych rzeczy spadek gradientu naprawdę potrzebuje?

1. Wzoru na najlepsze parametry, z którego wystarczy odczytać wynik
2. Umiejętności policzenia nachylenia straty w bieżącym punkcie
3. Mapy całego krajobrazu błędu, żeby wybrać najniższe miejsce

Co zwraca regresja logistyczna, zanim zastosuje się próg?

1. Od razu nazwę gatunku, bez żadnych liczb pośrednich
2. Liczbę od 0 do 1 — prawdopodobieństwo jednej z klas
3. Odległość pingwina od najbliższego pingwina innego gatunku

Podnosisz próg z 0,5 do 0,8. Co dzieje się z granicą?

1. Obraca się wokół punktu, bo zmienia się kierunek podziału
2. Znika, bo przy takim progu model trzeba wytrenować od nowa
3. Przesuwa się równolegle, więc do gatunku B trafia mniej pingwinów

Dlaczego regresja logistyczna używa straty logarytmicznej zamiast błędu kwadratowego?

1. Bo błędu kwadratowego nie da się policzyć dla klas, tylko dla liczb
2. Bo mocno karze pewne i błędne odpowiedzi, co pasuje do prawdopodobieństw
3. Bo strata logarytmiczna zawsze daje wyższą trafność niż błąd kwadratowy w każdym zbiorze

Model daje pingwinowi wynik 0,9. Jak to rozumieć, zanim ustawisz próg?

1. Jako prawdopodobieństwo gatunku B; dopiero próg zamienia je w decyzję
2. Jako pewność, że to na pewno gatunek B, bo 0,9 jest bardzo bliskie jedności
3. Jako odległość pingwina od granicy decyzji, wyrażoną w centymetrach

Obniżasz próg z 0,5 do 0,2. Co dzieje się z granicą i z pingwinami przypisanymi do gatunku B?

1. Granica obraca się, a do gatunku B trafia mniej pingwinów
2. Granica zostaje na miejscu, zmienia się tylko kolor punktów na wykresie
3. Granica przesuwa się równolegle, a do gatunku B trafia więcej pingwinów

Model jest pewny na 99%, że pingwin to gatunek B, a to gatunek A. Jak oceni to strata logarytmiczna?

1. Łagodnie, bo pomyłka dotyczy tylko jednego pingwina z całego zbioru
2. Tak samo jak pomyłkę przy 51% pewności, bo liczy się tylko to, że odpowiedź jest zła
3. Bardzo surowo: pewna i błędna odpowiedź kosztuje najwięcej

Model przesiewowy przeocza wiele nowotworów, ale prawie nigdy nie podnosi fałszywego alarmu. Która liczba jest niska?

1. Precyzja, czyli odsetek trafnych alarmów
2. Czułość, czyli odsetek wykrytych nowotworów
3. Liczba prawdziwie negatywnych, czyli trafnie rozpoznanych zdrowych

Obniżasz próg decyzji. Co zwykle się dzieje?

1. Rosną i precyzja, i czułość, bo model staje się ostrożniejszy
2. Trafność zawsze rośnie, bo model częściej uznaje przypadki za chore
3. Czułość rośnie, a precyzja zwykle spada, bo alarmów jest więcej
4. Nic się nie zmienia, bo model zostaje ten sam, tylko inaczej opisany

Dlaczego trafność może wprowadzać w błąd na danych o guzach?

1. Bo przy dwóch klasach trafności w ogóle nie da się policzyć
2. Bo trafność liczy fałszywe alarmy podwójnie, więc zawyża ich wagę w ostatecznym wyniku
3. Bo przy przewadze łagodnych model ma dobrą trafność, choć przeocza każdy nowotwór

Model oznacza jako złośliwe prawie wyłącznie guzy naprawdę złośliwe, ale pomija połowę wszystkich nowotworów. Co jest wysokie, a co niskie?

1. Precyzja niska, bo alarmy są fałszywe, a czułość wysoka, bo nowotwory są wykrywane
2. Precyzja wysoka, bo alarmy są trafne, a czułość niska, bo połowa nowotworów umyka
3. Obie wysokie, bo model rzadko się myli w tych guzach, które oznacza

Podnosisz próg decyzji z 0,5 do 0,9. Co zwykle się dzieje?

1. Czułość rośnie, bo model staje się bardziej wymagający wobec guzów
2. Obie miary spadają, bo wyższy próg odbiera modelowi część informacji
3. Precyzja zwykle rośnie, a czułość spada, bo alarmów jest mniej
4. Nic się nie zmienia, bo próg wpływa tylko na opis osi na wykresie

Na 1000 badanych 10 osób ma chorobę. Jaką trafność i jaką czułość ma model, który zawsze odpowiada „zdrowy”?

1. Trafność 50%, czułość 50%, bo model w każdym przypadku zgaduje jedną z dwóch odpowiedzi
2. Trafność 90%, czułość 10%, bo tylu chorych wykrywa przypadkiem
3. Trafność 99%, czułość 0%, bo trafia we wszystkich zdrowych i w żadnym chorym

Co pokazuje krzywa ROC?

1. Trafność modelu przy domyślnym progu 0,5 dla kolejnych biopsji
2. Czułość wobec odsetka fałszywych alarmów, dla wszystkich progów naraz
3. Precyzję modelu dla kolejnych porcji danych użytych do jego uczenia

Złośliwych jest 5% zamiast 37%. ROC AUC prawie stoi. Dlaczego AP spada?

1. Bo model gorzej sortuje biopsje, gdy złośliwych jest w danych mniej
2. Bo te same fałszywe alarmy są teraz dużo większą częścią wszystkich alarmów
3. Bo AP liczy się tylko z łagodnych biopsji, a tych jest w danych więcej

Kiedy krzywa PR mówi więcej niż krzywa ROC?

1. Gdy klasa pozytywna jest rzadka, a liczy się, ile alarmów jest trafnych
2. Gdy klasy są równe, a model ma tylko dwa możliwe wyniki do wyboru
3. Zawsze, bo krzywa ROC w ogóle nie uwzględnia czułości modelu

Przesuwasz próg z 0,5 na 0,3. Co dzieje się z punktem na krzywej ROC?

1. Idzie w prawo i w górę: więcej wykrytych złośliwych i więcej fałszywych alarmów
2. Idzie w lewo i w dół: mniej alarmów, ale też mniej wykrytych złośliwych biopsji
3. Zostaje w miejscu, a zmienia się cała krzywa, bo model ma teraz inny próg decyzji

Model ma ROC AUC 0,77 przy 5% złośliwych. Co wiesz o jego fałszywych alarmach?

1. Że jest ich mało, bo AUC 0,77 to wynik wyraźnie lepszy od zgadywania
2. Że jest ich dokładnie 23%, bo tyle brakuje do idealnego AUC równego 1
3. Nic pewnego: ich udział zależy od rzadkości klasy, więc patrz na precyzję

AP modelu wynosi 0,14 przy 5% złośliwych. Jak ocenić ten wynik?

1. Jako słaby, bo AP poniżej 0,5 oznacza model gorszy od zgadywania
2. Względem zgadywania: tu jego AP to udział złośliwych, około 0,05
3. Jako niemożliwy, bo AP nie może być niższe niż ROC AUC modelu

Co znaczy, że model jest skalibrowany?

1. Że przy progu 0,5 myli się rzadziej niż każdy inny model
2. Że wśród przypadków z wynikiem 0,8 około 80% to klasa pozytywna
3. Że jego ROC AUC jest bliskie 1, czyli prawie idealnie sortuje

Naiwny Bayes ma ROC AUC 0,966, a deklaruje 98,3% przy trafności 88,3%. Co z tego wynika?

1. Dobrze sortuje biopsje, ale jego procenty są przesadzone
2. Źle sortuje biopsje, bo trafność jest niższa od deklaracji
3. Jest skalibrowany, bo ROC AUC powyżej 0,9 to gwarantuje

Regresja logistyczna deklaruje 92,5% i trafia w 91,2%. Temperatura daje T = 0,93. Co zrobić?

1. Skalibrować, bo kalibracja zawsze poprawia każdy model
2. Zmienić model, bo różnica deklaracji i trafności jest za duża
3. Zostawić: model jest prawie skalibrowany, a Brier się nie poprawia

Skalibrowany model daje 200 pacjentom wynik około 0,3. Ilu z nich jest chorych?

1. Żaden, bo 0,3 to mniej niż próg 0,5, więc wszyscy są zdrowi
2. Około 60, czyli mniej więcej 30% z tych 200 pacjentów
3. Wszyscy, bo każdy wynik powyżej zera oznacza chorobę

Temperatura T = 4,12 dzieli wynik naiwnego Bayesa przed sigmoidą. Co się zmienia?

1. Decyzje przy progu 0,5, bo wyniki są teraz bliżej zera
2. Tylko procenty: decyzje i ROC AUC zostają takie same
3. ROC AUC, bo zmienia się kolejność biopsji w rankingu

Prawda czy fałsz: „model zwrócił 0,99, więc na 99% ma rację”. Co wiesz?

1. Prawda, bo model zawsze podaje prawdziwe prawdopodobieństwo
2. Nic pewnego, dopóki nie sprawdzisz kalibracji na nowych danych
3. Fałsz, bo modele zawsze zaniżają swoją pewność o kilka punktów

W nauce zostaje 8 zamiast 159 złośliwych biopsji. Dlaczego trafność prawie tego nie pokazuje?

1. Bo łagodnych jest na walidacji więcej, a model rozpoznaje je coraz pewniej
2. Bo trafność liczy się tylko na złośliwych biopsjach z części walidacyjnej
3. Bo model z 8 złośliwymi uczy się tej samej reguły co ze wszystkimi 159

Co mierzy zbalansowana trafność?

1. Trafność policzoną po usunięciu z danych części przykładów częstszej klasy
2. Średnią czułości obu klas, więc „zawsze częstsza klasa” dostaje dokładnie 0,5
3. Trafność modelu uczonego na danych z wyrównaną liczbą przykładów obu klas

Wagi klas przy 8 złośliwych w nauce podnoszą czułość z 61,5% do 80,0%. Czego nie robią?

1. Nie zmieniają kary za pomyłki: każda biopsja liczy się w nauce tak samo
2. Nie przesuwają granicy decyzji, więc model wykrywa te same złośliwe biopsje
3. Nie dodają nowych przykładów, więc do pełnych danych wciąż czegoś brakuje

Model wykrywa coraz mniej złośliwych, a jego trafność rośnie. Jak to możliwe?

1. To niemożliwe: mniej wykrytych złośliwych zawsze oznacza niższą trafność
2. Łagodnych jest dużo więcej, więc zyski na nich przykrywają straty na złośliwych
3. Trafność rośnie, bo model ma do nauki mniej danych i mniej się przeucza

Przy 20 złośliwych na 357 łagodnych „zawsze łagodny” ma 94,7% trafności. Jaką ma zbalansowaną trafność?

1. 0,5, bo wykrywa 100% łagodnych i 0% złośliwych, a to średnio połowa
2. 0,947, bo przy dwóch klasach zbalansowana trafność równa się trafności
3. 0, bo nie wykrywa żadnej złośliwej biopsji, a tylko one się tu liczą

SMOTE przy 30 złośliwych podnosi wykrywalność z 60,0% do 86,7%. Co dzieje się z precyzją?

1. Rośnie, bo syntetyczne przykłady uczą model nowych cech złośliwych guzów
2. Spada z 90,0% do 42,9%, bo granica przesuwa się w stronę łagodnych biopsji
3. Zostaje taka sama, bo SMOTE zmienia tylko dane do nauki, a nie walidację

Przeoczenie kosztuje 10, fałszywy alarm 1, a model jest skalibrowany. Jaki próg wynika z teorii decyzji?

1. 0,5, bo skalibrowany model zawsze dzieli klasy w połowie skali
2. 1 / (1 + 10) ≈ 0,09, bo alarm opłaca się już przy małym ryzyku
3. 10 / (10 + 1) ≈ 0,91, bo przeoczenie jest dziesięć razy droższe

Filtr spamu: dobry mail w spamie kosztuje 5 razy więcej niż spam w skrzynce. Gdzie postawić próg na P(spam)?

1. Na 0,5, bo filtr nie powinien faworyzować żadnej z dwóch klas
2. Nisko, bo im więcej spamu złapiesz, tym mniej szkody w skrzynce
3. Wysoko, około 5 / (5 + 1) ≈ 0,83: do spamu tylko pewne przypadki

Model ma najlepsze F1 przy progu 0,65. Przeoczenie kosztuje 10, alarm 1. Co z tym progiem?

1. Jest najtańszy, bo F1 łączy precyzję i czułość w jedną liczbę
2. Jest drogi: kosztuje 276, a najtańszy próg 0,06 tylko 111
3. Jest tak samo dobry jak każdy inny próg powyżej progu 0,5

Czemu najtańszy próg z labu (0,06) nie jest dokładnie równy teoretycznemu 0,09?

1. Bo teoria decyzji działa tylko dla modeli, które się nie mylą
2. Bo 569 biopsji to niedużo, a dno krzywej kosztu jest płaskie
3. Bo model jest źle skalibrowany i jego procenty są przesadzone

Bank: przeoczone oszustwo kosztuje 50, a blokada uczciwej karty 1. Co mierzyć i jaki próg wybrać?

1. Trafność przy progu 0,5, bo oszustw jest w danych bardzo mało
2. Koszt pomyłek i niski próg, około 1 / (1 + 50) ≈ 0,02
3. F1 przy jego najlepszym progu, bo łączy precyzję i czułość

W labie przy równych cenach najtańszy próg i próg najlepszy dla F1 to oba 0,65. Co z tego wynika?

1. Że przy równych cenach te dwa progi są zawsze takie same
2. Nic ogólnego: na 20 innych podziałach różnią się w 3
3. Że F1 i koszt pomyłek to dwie nazwy tej samej rzeczy

Co dzieje się z błędem treningowym, gdy rośnie stopień wielomianu?

1. Rośnie, bo coraz bardziej skomplikowaną krzywą trudniej dopasować do punktów
2. Spada albo stoi w miejscu, bo giętsza krzywa może skopiować prostszą
3. Układa się w literę U, jak błąd testowy, bo model zaczyna się przeuczać

Błąd treningowy jest malutki, a testowy duży. Jaka diagnoza jest najbardziej prawdopodobna?

1. Niedouczenie, czyli model zbyt prosty na te dane
2. Przeuczenie, czyli model dopasowany do szumu treningu
3. Zbyt mały współczynnik uczenia, który spowolnił trening

Dlaczego więcej danych treningowych zwykle czyni elastyczny model bezpieczniejszym?

1. Bo więcej danych zmniejsza elastyczność modelu, więc nie może się już przeuczyć
2. Bo przy większej liczbie punktów szum się uśrednia, więc krzywa nie goni szumu
3. Bo więcej danych usuwa szum z każdego pojedynczego pomiaru w zbiorze

Błąd treningowy wynosi 60,2 dla stopnia 1 i 51,1 dla stopnia 10. Dlaczego stopień 10 nie mógł wypaść gorzej?

1. Bo wyższy stopień ma do dyspozycji więcej danych treningowych niż niższy, więc uczy się lepiej
2. Bo błąd treningowy zawsze maleje wraz z rozmiarem zbioru testowego
3. Bo wielomian stopnia 10 może skopiować prostą jako swój szczególny przypadek

Wielomian stopnia 10 ma błąd treningowy 51,1 i testowy 132,6, a stopnia 1 odpowiednio 60,2 i 64,1. Który lepiej poradzi sobie z nowymi pacjentami?

1. Stopnia 10, bo jego błąd treningowy jest mniejszy niż drugiego
2. Stopnia 1, bo jego błąd testowy jest ponad dwa razy mniejszy
3. Oba tak samo, bo te różnice mieszczą się w szumie

Zbiór treningowy rośnie z 30 do 300 pacjentów, a stopień wielomianu zostaje 10. Co zwykle dzieje się z różnicą między błędem treningowym a testowym?

1. Rośnie, bo większy zbiór zawiera więcej szumu, który wielomian może zapamiętać
2. Maleje, bo szum się uśrednia i krzywa nie goni za pojedynczymi punktami
3. Zostaje taka sama, bo zależy wyłącznie od stopnia wielomianu

Ile razy w 5-krotnej walidacji krzyżowej każdy wiersz trafia do walidacji?

1. Dokładnie raz — w jednym z pięciu foldów
2. Pięć razy, bo tyle jest przebiegów walidacji
3. Nigdy, bo walidacja używa osobnego zbioru

Model A ma średnią trafność z walidacji krzyżowej odrobinę wyższą niż model B, ale rozrzut między foldami jest dużo większy niż ta różnica. Co z tego wynika?

1. Model A jest wyraźnie lepszy, bo ma wyższą średnią trafność
2. Model B jest wyraźnie lepszy, bo jego wynik jest stabilniejszy
3. Dane nie pokazują wiarygodnej różnicy między tymi modelami
4. Walidację krzyżową wykonano źle, bo foldy powinny dawać ten sam wynik

Dlaczego skalowanie cech na wszystkich wierszach przed walidacją krzyżową to błąd?

1. Bo skalowanie spowalnia modele, szczególnie przy wielu foldach
2. Bo statystyki z foldów walidacyjnych przeciekają do treningu i zawyżają wyniki
3. Bo skalowanie zmienia etykiety i fałszuje, co jest poprawną odpowiedzią

W 10-krotnej walidacji krzyżowej każdy wiersz leży w jednym z 10 foldów. Ile razy dany wiersz trafia do walidacji?

1. Dziesięć razy, bo każdy z dziesięciu przebiegów waliduje na wszystkich wierszach
2. Raz, w przebiegu, w którym czeka jego fold; w dziewięciu pozostałych uczy model
3. Ani razu, bo walidacja zawsze korzysta z osobnych wierszy spoza foldów

Dwa modele mają średnie z walidacji krzyżowej 91,2% i 91,6%, a trafności pięciu foldów jednego z nich rozciągają się od 86% do 96%. Co można uczciwie powiedzieć?

1. Drugi model jest lepszy, bo 91,6% to więcej niż 91,2%
2. Różnica 0,4 pkt proc. jest mniejsza niż rozrzut foldów, więc z tych liczb nie da się wiarygodnie odróżnić modeli
3. Walidacja jest zepsuta, bo trafność nie powinna się zmieniać między poszczególnymi foldami
4. Rozrzut foldów nie ma znaczenia, bo liczy się wyłącznie średnia

Wybierasz pięć „najlepszych” cech na całym zbiorze, a dopiero potem robisz walidację krzyżową. Dlaczego wynik jest zbyt optymistyczny?

1. Bo pięć cech to za mało, żeby model mógł się czegokolwiek nauczyć
2. Bo wybór cech widział etykiety z foldów walidacyjnych, więc te foldy nie są już nieznane
3. Bo walidacja krzyżowa działa poprawnie tylko wtedy, gdy model dostaje wszystkie dostępne cechy naraz

Trening ma 100%, walidacja 82,3%, a krzywa walidacji wciąż rośnie. Co najpewniej pomoże?

1. Więcej danych do nauki, bo duża luka oznacza, że model zapamiętuje
2. Bogatszy model, bo przy takiej luce obecny model jest za prosty
3. Nic, bo 82,3% na walidacji to wynik, którego model już nie poprawi

Model rozmytych cyfr ma przy 1438 obrazach 86,9% na treningu i 85,0% na walidacji. Co zrobić?

1. Zebrać kilka razy więcej obrazów, bo walidacja wciąż trochę rośnie
2. Zostawić, bo mała luka oznacza, że model jest najlepszy z możliwych
3. Zmienić model na bogatszy, bo obie krzywe zeszły się nisko

Dlaczego trafność na treningu spada, gdy danych do nauki przybywa?

1. Bo model z większą liczbą danych uczy się wolniej i gorzej
2. Bo coraz trudniej zapamiętać wszystkie przykłady, więc model uogólnia
3. Bo nowe obrazy są gorszej jakości niż te z małego zbioru

Przy 1438 obrazach model szczegółowy ma lukę 2,2 pkt proc. i walidację 95,8%. Co mówi mała luka?

1. Że model jest za prosty i trzeba dodać mu więcej pikseli
2. Że model jest blisko swojego sufitu i każde podwojenie da mniej
3. Że model przeucza się, bo trening wciąż ma więcej niż walidacja

Model szczegółowy uczy się na 100 obrazach, a rozmyty na 1438. Który ma lepszą walidację?

1. Szczegółowy: 87,6% kontra 85,0%, choć ma kilkanaście razy mniej danych
2. Rozmyty, bo kilkanaście razy więcej danych zawsze wygrywa z modelem
3. Remis, bo obu modelom brakuje danych do nauczenia się reguły

Co rysuje krzywa uczenia?

1. Trafność modelu w kolejnych krokach uczenia na tych samych danych
2. Trafność na zbiorze testowym dla coraz bardziej złożonych modeli
3. Wynik na treningu i walidacji dla coraz większego zbioru do nauki

Czym różni się kara ridge od kary lasso?

1. Ridge zeruje wagi po kolei, a lasso ściąga je wszystkie naraz w stronę zera
2. Ridge ściąga wszystkie wagi, a lasso część z nich ustawia dokładnie na zero
3. Ridge działa tylko dla klasyfikacji, a lasso tylko dla regresji liniowej

W labie lasso zostawia 3 cechy, a R² na teście spada z 0,470 do 0,386. Co to znaczy?

1. Że model z trzema cechami jest lepszy, bo jest prostszy od pełnego
2. Że R² na teście nie zależy od tego, ile cech zostawia model lasso
3. Że prostszy model kosztuje trochę trafności: trzeba ważyć oba cele

Prawda czy fałsz: „lasso dało cesze wagę zero, więc nie ma ona związku z chorobą”.

1. Prawda, bo lasso zeruje tylko cechy bez żadnego związku z celem
2. Fałsz, bo z pary skorelowanych cech lasso często zostawia jedną
3. Prawda, ale tylko wtedy, gdy kara α jest większa od jedności

Chcesz modelu, który sam wybierze kilka cech z wielu. Którą karę bierzesz?

1. Lasso, bo przy rosnącym α kolejne wagi stają się dokładnie zerem
2. Ridge, bo jego kara rośnie najszybciej przy dużych wartościach wag
3. Żadną, bo kara zawsze zostawia wszystkie cechy w gotowym modelu

Dlaczego przed ridge i lasso cechy sprowadza się do odchyleń standardowych?

1. Bo kara liczy wielkość wag, a ta zależy od jednostek cech
2. Bo bez tego lasso w ogóle nie potrafi wyzerować żadnej wagi
3. Bo standaryzacja sama w sobie zawsze podnosi R² na teście

W labie s3 ma wagę zero przy α = 0,158, a przy α = 0,398 znów ją ma. Dlaczego?

1. Bo lasso ma błąd numeryczny i wagi skaczą przy małych α
2. Bo s3 jest skorelowana z s4 i lasso przerzuca między nimi wagę
3. Bo przy większej karze lasso dodaje cechy, zamiast je usuwać

Co to jest hiperparametr?

1. Ustawienie wybierane przed treningiem, którego model sam nie uczy się z danych
2. Waga cechy, którą model dopasowuje w czasie treningu na danych treningowych
3. Wynik modelu na zbiorze testowym, podawany razem z odchyleniem standardowym

Zwycięzca strojenia ma 93,7% w walidacji krzyżowej. Czego się spodziewać na nowych danych?

1. Dokładnie 93,7%, bo walidacja krzyżowa usuwa każdy szum z wyniku
2. Raczej mniej, bo wybór najlepszego z wielu wyników wybiera też szczęście
3. Raczej więcej, bo model końcowy uczy się na większej liczbie danych

Jak uczciwie ocenić model, którego hiperparametry dobrałeś walidacją krzyżową?

1. Podać wynik zwycięzcy z tej samej walidacji, bo to średnia z 5 części
2. Sprawdzić go na odłożonym teście albo w zagnieżdżonej walidacji krzyżowej
3. Powtórzyć strojenie na zbiorze testowym i zgłosić najlepszy uzyskany wynik

Która para to przykłady hiperparametrów?

1. Waga cechy BMI i wyraz wolny regresji liniowej po treningu
2. Maksymalna głębokość drzewa i siła kary α w lasso
3. Trafność na teście i liczba biopsji w zbiorze testowym

Wypróbowujesz 20 ziaren podziału i zgłaszasz najlepszy wynik testu. Co się stało?

1. Nic złego, bo kod modelu i dane są przez cały czas te same
2. Wynik jest uczciwszy, bo sprawdzono więcej podziałów danych
3. To strojenie na zbiorze testowym: zgłoszony wynik jest zawyżony

Prawda czy fałsz: „sprawdziłem 110 ustawień, więc wynik najlepszego jest pewniejszy”.

1. Fałsz: im więcej ustawień, tym bardziej maksimum jest zawyżone
2. Prawda: im więcej ustawień, tym mniej szumu w wyniku zwycięzcy
3. Prawda, ale tylko przy przeszukiwaniu siatki, a nie losowym

Na podstawie czego wczesne zatrzymanie decyduje, kiedy przerwać trening?

1. Straty treningowej: trening staje, gdy przestaje ona spadać
2. Straty walidacyjnej: trening staje, gdy przestaje ona spadać
3. Liczby epok: trening zawsze staje po połowie zaplanowanych

Przy 20% losowych etykiet sieć po 100 epokach ma 99,7% na treningu i 76,3% na teście. Co to znaczy?

1. Sieć zapamiętała także błędne etykiety, a to psuje jej odpowiedzi na nowych danych
2. Sieć jest bardzo dobra, bo prawie bezbłędnie odtwarza wszystkie dane treningowe
3. Zbiór testowy jest zepsuty, bo trafność na nim jest dużo niższa niż na treningu

Cierpliwość 5 zatrzymuje trening w epoce 23 i zostawia epokę 18, choć najniższa strata jest w epoce 28. Dlaczego?

1. Bo cierpliwość 5 zawsze zatrzymuje trening dokładnie w połowie
2. Bo krzywa walidacyjna drga i za mała cierpliwość myli drganie ze szczytem
3. Bo w epoce 18 sieć ma najniższą stratę treningową z całego przebiegu

Co robi sieć, gdy wczesne zatrzymanie przerywa trening?

1. Zostawia wagi z ostatniej epoki, bo są najnowsze i najdokładniejsze
2. Wraca do wag z epoki, w której strata walidacyjna była najniższa
3. Zaczyna trening od nowa z mniejszym krokiem i innym ziarnem losowym

Prawda czy fałsz: „im dłużej trenuję, tym lepszy model”.

1. Prawda, bo strata treningowa spada z każdą kolejną epoką treningu
2. Prawda, ale tylko wtedy, gdy sieć ma bardzo dużo warstw i neuronów
3. Fałsz, bo po pewnym czasie sieć zaczyna dopasowywać szum w danych

Przy czystych etykietach trening do 100 epok daje 94,5%, a wagi z epoki 30 dają 93,9%. Co z tego wynika?

1. Bez szumu w etykietach dłuższy trening tu nie szkodzi, a zatrzymanie oszczędza czas
2. Wczesne zatrzymanie zawsze szkodzi, więc trzeba je wyłączać przy każdym treningu
3. Zbiór walidacyjny jest za mały, więc wynik zatrzymania w ogóle nie ma znaczenia

Co pokazuje kwartet Anscombe'a?

1. Że korelacja zawsze dobrze opisuje związek między dwiema zmiennymi
2. Że te same statystyki opisowe mogą kryć zupełnie różne układy danych
3. Że prosta regresji zależy tylko od średniej x i od średniej y zbioru

Dla wszystkich pingwinów korelacja długości i głębokości dzioba to −0,235, a w każdym gatunku jest dodatnia. Dlaczego?

1. Bo w danych jest błąd pomiaru, który odwraca znak przy dużej próbce
2. Bo korelacja liczona dla mniejszej grupy zawsze wychodzi dodatnia
3. Bo gatunki różnią się średnimi, a jedna liczba porównuje głównie je

Prawda czy fałsz: „statystyki opisowe wystarczą, rysowanie danych to strata czasu”.

1. Prawda, bo średnia, wariancja i korelacja opisują dane w całości
2. Fałsz, bo te same liczby mogą kryć łuk, grupy albo jeden daleki punkt
3. Prawda, ale tylko wtedy, gdy zbiór ma więcej niż kilkaset punktów

Dwa zbiory mają tę samą średnią, wariancję i korelację. Co wiesz o tym, jak wyglądają?

1. Że wyglądają prawie tak samo, bo te liczby opisują cały kształt danych
2. Niewiele: kształt, grupy i punkty odstające trzeba zobaczyć na wykresie
3. Że oba zbiory leżą na prostej, bo mają tę samą korelację i to samo nachylenie

Model ma przewidzieć głębokość dzioba z jego długości, ale nie zna gatunku. Czego się nauczy?

1. Ujemnego związku, którego nie ma w żadnym gatunku pingwinów z danych
2. Dodatniego związku, bo w każdym z trzech gatunków związek jest dodatni
3. Niczego, bo bez znajomości gatunku żaden model nie może się uczyć

W zbiorze IV usuwasz punkt (19; 12,50). Co dzieje się z nachyleniem prostej?

1. Prawie się nie zmienia, bo jeden punkt z jedenastu niewiele waży
2. Rośnie dwa razy, bo prosta przestaje być ściągana przez ten punkt
3. Nie da się go policzyć, bo pozostałe punkty mają to samo x = 8

W tabeli pingwinów płci brakuje u 11, a pomiarów u 2 tych samych pingwinów. Ile zostaje po usunięciu każdego wiersza z brakiem?

1. 331, bo braki płci i braki pomiarów dotyczą różnych pingwinów
2. 333, bo 2 pingwiny bez pomiarów są wśród 11 pingwinów bez płci
3. 342, bo usunięcie każdego wiersza z brakiem pomija braki płci

BMI brakuje u 110 najcięższych pacjentów. Co robi wpisanie średniej z pozostałych?

1. Osłabia związek BMI z chorobą, bo chorzy najbardziej lądują przy przeciętnym BMI
2. Wzmacnia związek BMI z chorobą, bo średnia usuwa z danych skrajne wartości BMI
3. Nic nie zmienia, bo średnia BMI w całej kolumnie zostaje dokładnie taka sama

Prawda czy fałsz: „braki wypełnij średnią i po sprawie”.

1. Prawda, bo średnia nie zmienia średniej kolumny, więc model widzi to samo
2. Fałsz, bo średnia zaniża rozrzut i ukrywa brak, który może coś znaczyć
3. Prawda, o ile braków jest mniej niż połowa, bo reszta danych to wyrówna

Model przewiduje masę pingwina z trzech pozostałych pomiarów. Które wiersze usunąć?

1. Każdy wiersz z brakiem, bo pusta komórka psuje każdy model
2. Tylko wiersze, którym brakuje kolumn, z których korzysta model
3. Żadnych, bo model sam pominie komórki, w których nic nie ma

Po wpisaniu średniej odchylenie standardowe BMI spada z 4,4 do 2,3. Dlaczego?

1. Bo średnia z pozostałych pacjentów jest niższa niż średnia dla wszystkich
2. Bo 110 wpisanych wartości jest identycznych i siedzi w środku kolumny
3. Bo wpisanie średniej usuwa z kolumny wszystkich pacjentów o skrajnym BMI

Kiedy kolumna 0/1 „BMI brakowało” nic nie daje?

1. Gdy braki dotyczą najcięższych pacjentów i jest ich naprawdę bardzo dużo
2. Gdy braki są losowe i pacjenci bez BMI nie różnią się niczym od reszty
3. Gdy model to regresja liniowa, bo nie umie użyć kolumny złożonej z 0 i 1

Dlaczego kNN bez skalowania ma na winach trafność tylko 0,695?

1. Bo kNN nie potrafi rozróżniać więcej niż dwóch odmian naraz
2. Bo prolina ma ogromny rozrzut i to ona rządzi całą odległością
3. Bo 13 pomiarów to za mało, żeby rozpoznać trzy odmiany wina

Wyspy zapisano jako Biscoe = 0, Dream = 1, Torgersen = 2. Co zakłada regresja liniowa z jedną wagą na tę kolumnę?

1. Że Dream leży w połowie drogi między Biscoe a Torgersen, w równych krokach
2. Że wyspy są zupełnie niezależne i każda ma własne przesunięcie masy
3. Że kolejność wysp nie ma znaczenia, bo liczby to tylko ich etykiety

Prawda czy fałsz: „kategorie zakoduj jako 1, 2, 3, model sobie poradzi”.

1. Prawda, bo model sam nauczy się, które kody są do siebie podobne
2. Fałsz, bo kody wprowadzają porządek i odstępy, których w danych nie ma
3. Prawda, o ile kategorii jest mniej niż dziesięć i są to nazwy miejsc

Skaler liczy średnie i odchylenia pomiarów. Na których danych go dopasować?

1. Na wszystkich danych, żeby średnie i odchylenia były najdokładniejsze
2. Tylko na części treningowej, osobno w każdym podziale walidacji
3. Tylko na części walidacyjnej, bo to na niej sprawdzasz potem wynik

Zmieniasz tylko kolejność kodów wysp, a R² spada z 0,469 do 0,193. Co to mówi?

1. Że w danych pojawił się błąd, bo te same dane dają ten sam wynik
2. Że wynik zależy od przypadkowej kolejności, której wyspy nie mają
3. Że kolejność alfabetyczna jest właściwą kolejnością tych trzech wysp

Płeć ma dwie kategorie. Czy jedna kolumna 0/1 wystarczy?

1. Tak, bo przy dwóch kategoriach nie ma środka ani kolejności do pomylenia
2. Nie, bo każdą kategorię zawsze trzeba zapisać jako osobną kolumnę one-hot
3. Nie, bo model liniowy nie potrafi w ogóle użyć kolumny złożonej z 0 i 1

Dlaczego jeden próg na samych flawonoidach nie oddzieli odmiany 2?

1. Bo zawartość flawonoidów w ogóle nie różni się między trzema odmianami win
2. Bo odmiana 2 leży pośrodku osi, a jeden próg nie wytnie środkowego przedziału
3. Bo win testowych jest za mało, żeby jakikolwiek model wskazał odmianę 2

Do 13 pomiarów win dokładasz 200 kolumn losowego szumu. Co dzieje się z kNN?

1. Trafność rośnie, bo model ma więcej liczb do porównania między winami
2. Trafność spada, bo szum przykrywa w odległości prawdziwe różnice między winami
3. Nic się nie zmienia, bo kNN sam pomija kolumny, które nic nie mówią o odmianie

Prawda czy fałsz: „więcej cech to lepszy model”.

1. Prawda, bo model sam zignoruje cechy, które nie są mu do niczego potrzebne
2. Fałsz, bo cechy bez informacji dokładają szum i potrafią obniżyć trafność
3. Prawda, o ile każda nowa cecha jest liczbą w tej samej skali co pozostałe

Co robi z granicą modelu liniowego nowa kolumna x²?

1. Prosta w płaszczyźnie (x, x²) to na osi x dwa progi, czyli przedział
2. Zamienia model liniowy w drzewo decyzyjne, które ma dwa poziomy pytań
3. Przesuwa jeden próg dokładnie w miejsce średniej dla odmiany numer 2

Przy 13 pomiarach najdalsze wino leży o 296,5% dalej niż najbliższe, przy 200 kolumnach szumu o 25,7%. Co to znaczy?

1. Że wina z różnych odmian zaczynają się do siebie upodabniać chemicznie
2. Że wszystkie wina leżą prawie równie daleko, więc „najbliższy” mało znaczy
3. Że przy szumie kNN potrzebuje mniejszego k, żeby trafiać tak jak wcześniej

Która nowa kolumna najpewniej pomoże modelowi liniowemu wskazać odmianę 2?

1. Kolumna z losowymi liczbami, bo daje modelowi więcej swobody w dopasowaniu
2. Kwadrat flawonoidów, bo oddziela wina ze środka osi od win z obu jej końców
3. Kopia kolumny flawonoidów, bo dwa razy ta sama cecha mocniej wpływa na wynik

Wybór 10 kolumn na wszystkich 60 próbkach daje w walidacji krzyżowej 81,7% na czystym szumie. Skąd ten wynik?

1. Model naprawdę znalazł w szumie słaby, ale prawdziwy sygnał
2. Kolumny wybrano także pod etykiety próbek, które potem udają test
3. Walidacja krzyżowa zawsze zawyża wynik przy małej liczbie próbek

Uzupełniasz braki średnią z całego pliku, dzielisz dane na trening i test, uczysz model na treningu i liczysz wynik na teście. Który krok przecieka?

1. Uzupełnianie braków średnią policzoną na całym pliku
2. Podział danych na trening i test po uzupełnieniu braków
3. Liczenie wyniku na teście po nauce modelu na treningu

Skalowanie przed podziałem zmienia wynik na biopsjach średnio o 0,08 pkt proc., a powielanie złośliwych przed podziałem podnosi czułość z 92,1% do 97,1%. Skąd ta różnica?

1. Skalowanie nigdy nie jest wyciekiem, a powielanie jest nim zawsze
2. Skaler nie patrzy na etykiety, a kopie złośliwych trafiają też do testu
3. Czułość reaguje na każdy wyciek mocniej niż trafność modelu

Uczciwa walidacja z wyborem kolumn w każdym foldzie daje 43,3%. Czemu nie równo 50%?

1. Bo przy 60 próbkach przypadek przesuwa wynik o kilka punktów w obie strony
2. Bo uczciwa walidacja zawsze zaniża wynik modelu o kilka punktów
3. Bo model nauczył się szumu na odwrót i myli się częściej niż moneta

Sprzedaż z 3 lat, dzień po dniu, a model ma prognozować przyszły miesiąc. Który krok przecieka?

1. Dodanie cech „dzień tygodnia” i „święto” do każdego dnia
2. Losowy podział dni na trening i test bez patrzenia na daty
3. Liczenie błędu prognozy na dniach z części testowej

Prawda czy fałsz: „wyciek to tylko etykieta ukryta wśród cech”?

1. Prawda, bo bez etykiety w cechach model nie ma skąd znać testu
2. Fałsz, bo przecieka też każda decyzja podjęta na całych danych
3. Fałsz, ale tylko przy danych czasowych, gdzie liczy się kolejność

Dlaczego skaler dopasowujesz tylko na części treningowej?

1. Bo na treningu średnie wychodzą dokładniej niż na wszystkich danych razem
2. Bo skaler to część modelu, a test ma udawać dane, których model nie widział
3. Bo scikit-learn w ogóle nie pozwala niczego dopasować na danych testowych

Pingwiny przychodzą do modelu po jednym, a ktoś dopasowuje skaler osobno na każdym z nich. Co się dzieje?

1. Nic złego, bo każdy pingwin dostaje dokładnie tę samą skalę co trening
2. Każdy pingwin staje się zerem w każdej kolumnie, a model mówi o każdym to samo
3. Model działa wolniej, ale rozpoznaje gatunki równie dobrze jak w pipeline’ie

Co robi walidacja krzyżowa na treningu, gdy skaler siedzi w pipeline’ie?

1. Dopasowuje skaler w każdym foldzie od nowa, tylko na jego części do nauki
2. Dopasowuje skaler raz na całym treningu, a dopiero potem dzieli dane na foldy
3. Pomija skaler, bo walidacja krzyżowa sprawdza tylko sam model kNN, bez reszty

Skaler dopasowany na wszystkich 342 pingwinach daje 99,0%, tyle co pipeline. Co z tego wynika?

1. Że kolejność kroków jest obojętna i skaler można dopasować tam, gdzie wygodniej
2. Że ten wyciek jest mały, ale test i tak przestał być całkiem niezależny od nauki
3. Że skaler z całych danych jest lepszy, bo uczy się na większej liczbie pingwinów

Prawda czy fałsz: „Skaler można też dopasować na samym teście”.

1. Prawda, bo test przeliczony własną średnią ma tę samą skalę co trening
2. Fałsz, bo test dostaje własną średnią i rozrzut, a model zna te z treningu
3. Prawda, o ile cały test przechodzi przez skaler naraz, a nie po kawałku

Który pipeline jest ułożony bez wycieku?

1. skaler na wszystkich danych, potem podział, kNN na treningu i wynik na teście
2. podział, potem pipeline ze skalerem i kNN dopasowany na treningu, wynik na teście
3. podział, potem skaler dopasowany osobno na treningu i na teście, kNN na treningu

Jak drzewo decyzyjne wybiera pytanie na każdym kroku?

1. Losuje cechę i próg, a potem sprawdza, czy podział pomógł
2. Zawsze dzieli według cechy o największych liczbach w danych
3. Sprawdza możliwe pytania i wybiera to, po którym grupy są najczystsze

Drzewo bez limitu głębokości osiąga prawie idealną trafność treningową. Dlaczego to sygnał ostrzegawczy?

1. Bo drzewa nie mogą być trafniejsze od regresji logistycznej
2. Bo pewnie zapamiętało pasażerów z treningu, więc gorzej uogólni
3. Bo oznacza to, że dane treningowe nie zawierają żadnego szumu ani błędów

Ile wynosi indeks Giniego grupy, w której przeżyli wszyscy pasażerowie?

1. 1 — grupa jest najczystsza z możliwych
2. 0,5 — grupa jest idealnie wymieszana
3. 0 — grupa jest idealnie czysta

Algorytm rozważa dwa pytania. Po pierwszym grupy mają Gini 0,45 i 0,40, po drugim 0,10 i 0,30. Które wybierze i dlaczego?

1. Pierwsze, bo jego grupy są bardziej zróżnicowane i niosą więcej informacji
2. Drugie, bo po nim obie grupy są czystsze, czyli mają niższy Gini
3. Któreś losowo, bo drzewo wybiera pytania bez porównywania grup

Drzewo o głębokości 20 ma 98,7% na treningu i 73,9% na teście, a drzewo o głębokości 3 ma 79,5% na teście. Co z tego wynika?

1. Głębokie drzewo jest lepsze, bo jego trafność treningowa jest dużo wyższa niż płytkiego drzewa
2. Głębokie drzewo zapamiętało pasażerów z treningu, więc na nowych wypada gorzej od płytkiego
3. Wynik testowy jest przypadkowy, więc tych dwóch drzew nie da się porównać

Ile wynosi indeks Giniego grupy, w której połowa pasażerów przeżyła, a połowa nie?

1. 0 — grupa jest idealnie czysta, bo wszystkie przykłady są takie same
2. 1 — grupa jest najczystsza z możliwych, bo ma najwięcej przykładów
3. 0,5 — to największa nieczystość przy dwóch klasach

Dlaczego uśrednianie wielu drzew pomaga tylko wtedy, gdy drzewa się różnią?

1. Bo identycznych drzew nie da się w ogóle uśrednić w jedną wspólną odpowiedź
2. Bo identyczne drzewa mylą się tak samo, więc uśrednianie nic nie znosi
3. Bo różne drzewa zawsze mają wyższą trafność każde z osobna

Czym jest próba bootstrapowa?

1. Pierwszą połową danych treningowych, wziętą po kolei
2. Wierszami, na których pomyliło się poprzednie drzewo
3. Wierszami wylosowanymi ze zbioru treningowego ze zwracaniem
4. Losową próbką cech wybieraną przy każdym podziale drzewa w lesie

Zwiększasz las losowy z 300 do 3000 drzew. Jaki jest najbardziej prawdopodobny skutek?

1. Silne przeuczenie, podobne jak przy bardzo głębokim drzewie
2. Trafność rośnie bez końca, bo każde drzewo dodaje nową wiedzę
3. Trafność zostaje mniej więcej taka sama, a trening trwa dużo dłużej

Las składa się ze 100 drzew, które są kopiami jednego drzewa. Co daje takie uśrednianie?

1. Znacznie mniejszy błąd, bo każda kopia dokłada własny głos
2. Nic: kopie mylą się tak samo, więc średnia ma błąd jednego drzewa
3. Mniejszy błąd tylko na teście, a na treningu błąd zostaje taki sam

Zbiór treningowy ma 1000 wierszy. Jak powstaje próba bootstrapowa dla jednego drzewa?

1. Losuje się 500 wierszy bez zwracania, a pozostałe 500 wierszy odrzuca i nie używa
2. Losuje się 1000 razy ze zwracaniem, więc część wierszy się powtarza, a części brakuje
3. Bierze się wszystkie 1000 wierszy w tej samej kolejności, ale tylko z losowo wybraną połową cech

Las losowy ze 100 drzew ma 76,9% na teście. Co najpewniej da dołożenie kolejnych 900 drzew?

1. Wyraźny spadek trafności, bo las się przeuczy
2. Wzrost trafności o kilkanaście punktów, bo każde drzewo dodaje wiedzę
3. Niewielką zmianę wyniku i dłuższy trening

Czego uczy się drugie drzewo w gradient boostingu?

1. Tego samego co pierwsze drzewo, tylko na losowej próbce pacjentów
2. Reszt pierwszego drzewa, czyli tego, o ile ono wciąż się myli
3. Odwrotnej odpowiedzi niż pierwsze, żeby razem dawały średnią

Krok 1, drzewa z trzema pytaniami: trening spada z 3713 do 2287, test rośnie z 4319 do 5944. Co się dzieje?

1. Model jest za prosty i potrzebuje jeszcze więcej drzew, żeby trafiać
2. Test jest zepsuty, bo więcej drzew zawsze poprawia każdy model
3. Przeuczenie: późne drzewa poprawiają szum pacjentów treningowych

Prawda czy fałsz: „więcej rund boostingu zawsze pomaga”.

1. Prawda, bo każda runda zmniejsza błąd na pacjentach treningowych
2. Fałsz, bo po pewnym czasie kolejne rundy poprawiają już tylko szum
3. Prawda, o ile każde drzewo ma najwyżej jedno pytanie o jedną cechę

Czym gradient boosting różni się od lasu losowego z lekcji 5.2?

1. Drzewa powstają po kolei i każde poprawia błędy wszystkich poprzednich
2. Drzewa powstają niezależnie i każde głosuje z taką samą wagą jak inne
3. Drzewa są głębokie i każde z nich uczy się całych danych na pamięć

Jak wybrać liczbę drzew w boostingu, nie oszukując się?

1. Wziąć liczbę drzew, przy której MSE na teście jest najniższe
2. Wziąć liczbę drzew z najniższym błędem walidacji na treningu
3. Wziąć jak najwięcej drzew, bo błąd treningu wtedy najniższy

Po co w boostingu mały krok uczenia, na przykład 0,1?

1. Każde drzewo poprawia tylko część błędu, więc mniej szumu trafia do wyniku
2. Mały krok sprawia, że drzewa uczą się szybciej i wystarczy ich mniej
3. Mały krok wyłącza przeuczenie, więc liczba drzew przestaje mieć znaczenie

Co naiwny Bayes mnoży, żeby ocenić, czy kwiat to versicolor?

1. Odległości kwiatu od pięciu najbliższych kwiatów każdego z gatunków
2. Prior versicolor i gęstość każdego pomiaru u versicolor, osobno
3. Wagi prostej, która najlepiej oddziela versicolor od pozostałych

U versicolor długość i szerokość płatka korelują z r = 0,80, a model trafia 93,3% kwiatów testowych. Co z tego wynika?

1. Do decyzji wystarczy, że właściwy gatunek dostaje największy iloczyn
2. Korelacja r = 0,80 jest za mała, żeby w ogóle wpływać na naiwny Bayes
3. Test jest za mały, a przy większym model myliłby się co drugi raz

Prawda czy fałsz: „fałszywe założenie to bezużyteczny model”.

1. Prawda, bo model zbudowany na nieprawdzie musi się mylić bardzo często
2. Prawda, o ile w każdej klasie cechy wyraźnie korelują ze sobą nawzajem
3. Fałsz, bo trafność bywa wysoka, choć założenie psuje podawane procenty

Dlaczego ten model nazywa się „naiwny”?

1. Bo uczy się na bardzo małej liczbie przykładów i z nich zgaduje
2. Bo zawsze wybiera gatunek, który jest najczęstszy w całych danych
3. Bo zakłada, że w obrębie klasy pomiary są od siebie niezależne

Do promienia guza dokładasz obwód i pole, prawie te same informacje. Co dzieje się z naiwnym Bayesem na biopsjach kalibracyjnych?

1. Trafność i pewność rosną razem, bo model dostał trzy razy więcej danych
2. Pewność rośnie z 89,2% do 96,5%, a trafność wcale nie rośnie (86,4%)
3. Nic się nie zmienia, bo model sam pomija pomiary, które się powtarzają

Na 171 biopsjach walidacyjnych naiwny Bayes deklaruje 98,3% pewności, a trafia w 88,3%. Co zrobić, gdy potrzebujesz uczciwych procentów?

1. Wyrzucić model, bo zawyżona pewność oznacza, że jego decyzje są losowe
2. Skalibrować go na osobnych danych, na przykład temperaturą z lekcji 2.4
3. Dodać więcej podobnych pomiarów, żeby model miał więcej dowodów naraz

Które kwiaty wyznaczają granicę liniowego SVM?

1. Wszystkie kwiaty treningowe, każdy z taką samą wagą
2. Wektory nośne: kwiaty na brzegu pasa, w nim albo za nim
3. Kwiaty leżące najdalej od granicy, bo są najpewniejsze

C rośnie z 0,01 do 100, pas kurczy się z 3,9 do 0,15 cm, a test zostaje przy 26–27 z 30. Co z tego wynika?

1. Duże C zawsze psuje model, bo granicę trzyma za mało kwiatów
2. C zmienia geometrię bardziej niż wynik, bo gatunki leżą daleko
3. C nie ma znaczenia w żadnym zadaniu, więc nie trzeba go stroić

Prawda czy fałsz: „zawsze bierz jądro RBF, bo jest najbardziej elastyczne”.

1. Prawda, bo RBF narysuje każdą granicę, więc nigdy nie przegra
2. Prawda, o ile γ jest duże, bo wtedy model widzi więcej szczegółów
3. Fałsz, bo na płatkach liniowy trafia tyle samo, a RBF trzeba stroić

Co oznacza małe C w SVM?

1. Naruszenia są tanie, więc pas jest szeroki, a wektorów nośnych dużo
2. Naruszenia są drogie, więc pas jest wąski, a wektorów nośnych mało
3. Model bierze mniej cech, bo C to liczba pomiarów, na które patrzy

Jak wybrać C, nie oszukując się?

1. Wziąć C z najlepszym wynikiem na teście, bo test to nowe kwiaty
2. Wziąć C z najlepszą walidacją krzyżową wewnątrz treningu
3. Wziąć jak największe C, bo wtedy trening jest bezbłędny

Po co sztuczka jądrowa, skoro można dopisać cechy √2·x i x²?

1. Jądro daje inną granicę niż jawne cechy, zawsze lepszą
2. Daje tę samą granicę bez liczenia kolumn, nawet nieskończenie wielu
3. Jądro samo skaluje cechy, więc skalowanie przestaje być potrzebne

Dlaczego wynik z jednego podziału nie wystarczy, żeby wybrać model?

1. Bo na jednym podziale wszystkie modele zawsze mają ten sam wynik
2. Bo sam podział przesuwa wynik modelu o kilka punktów procentowych
3. Bo walidacja na jednym podziale zawsze zawyża wynik o połowę

Na cyfrach SVM ma więcej trafień niż regresja logistyczna w 17 z 20 podziałów, a na pingwinach w żadnym (regresja w 9, remis w 11). Co z tego wynika?

1. SVM jest lepszy, bo wygrał na zbiorze z większą liczbą cech
2. Regresja jest lepsza, bo na pingwinach nie przegrała ani razu
3. Który model lepszy, zależy od danych, więc sprawdzasz to na swoich

Prawda czy fałsz: „model ze średnią wyższą o 0,3 pkt proc. jest lepszy”.

1. Prawda, bo średnia z 20 podziałów nie może się już pomylić
2. Fałsz: przy takiej różnicy podziały dzielą się prawie po równo
3. Prawda, o ile oba modele mają te same ustawienia domyślne

Jak porównać dwa modele uczciwiej niż samą średnią?

1. Policzyć je na różnych podziałach i wziąć lepszy z dwóch wyników
2. Na tych samych podziałach policzyć, w ilu który ma więcej trafień
3. Wybrać ten, który ma najwyższy pojedynczy wynik spośród podziałów

Pięć modeli, pięć zbiorów: czy któryś jest w czołówce na wszystkich?

1. Nie: SVM wygrywa z regresją na cyfrach, a przegrywa na pingwinach
2. Tak, gradient boosting, bo na tabelach modele z drzew wygrywają
3. Tak, SVM, bo na każdym zbiorze ma kilka punktów więcej niż reszta

Dwa modele wypadają w walidacji na remis. Który wybrać?

1. Ten, który wypadnie lepiej na teście, bo test to nowe dane
2. Prostszy, szybszy albo łatwiejszy do wyjaśnienia, a test na końcu
3. Zawsze ten bardziej złożony, bo przy remisie ma zapas mocy

Dlaczego sieć neuronowa potrzebuje funkcji aktywacji?

1. Żeby trening był szybszy, bo sieć wykonuje wtedy mniej mnożeń
2. Żeby znormalizować wejścia, jak przy skalowaniu cech przed treningiem
3. Bo bez niej kilka warstw działa jak jedna ważona suma i rysuje prostą

Co daje dodanie neuronów ukrytych?

1. Zawsze poprawia trafność na teście, bo sieć ma więcej parametrów do dopasowania
2. Daje elastyczność: złożone granice, ale też ryzyko uczenia się na pamięć
3. Zmniejsza liczbę wag do nauczenia, dzięki czemu sieć jest prostsza i szybsza

Co liczy propagacja wsteczna?

1. Najlepszą liczbę neuronów ukrytych dla danego zbioru danych
2. Ostateczne przewidywanie sieci dla przykładu, czyli wynik ostatniej warstwy
3. Ile każda waga dołożyła do błędu, żeby gradient mógł ją poprawić

Sieć ma trzy warstwy, ale w żadnej nie ma funkcji aktywacji. Jaką granicę decyzji może narysować?

1. Dowolnie wygiętą krzywą, bo ma aż trzy warstwy
2. Kilka prostokątów, tak jak drzewo decyzyjne
3. Tylko prostą, jak pojedynczy neuron

Sieć z 2 neuronami ukrytymi ma 81,3% na teście, a z 32 — 70,7%, choć trafność treningowa rośnie z 81,3% do 94,7%. Jak to wyjaśnić?

1. Sieć z 32 neuronami nie została wytrenowana, bo trening nigdy nie osiąga aż 94,7%
2. Większa sieć dopasowała się do przypadkowych szczegółów próbki i gorzej uogólnia
3. Różnica wynika tylko z innego ziarna losowania

Po przejściu przykładu przez sieć znamy błąd. Co robi propagacja wsteczna, zanim spadek gradientu zmieni wagi?

1. Wybiera nowy, mniejszy zestaw neuronów ukrytych do dalszego treningu
2. Przepuszcza przykład jeszcze raz od wyjścia do wejścia i zapisuje nowe przewidywanie
3. Cofa się warstwa po warstwie i liczy, ile każda waga dołożyła do błędu

Na jakim zadaniu trenuje się duży model językowy?

1. Na wyszukiwaniu odpowiedzi w bazie sprawdzonych faktów
2. Na przewidywaniu następnego tokenu na podstawie wcześniejszych
3. Na tłumaczeniu każdego zdania na język logiki formalnej

Obniżasz temperaturę losowania. Co dzieje się z generowanym tekstem?

1. Tekst z definicji staje się zgodniejszy z faktami, bo model jest wtedy mniej losowy
2. Model zapomina rzadkie słowa i uczy się tylko częstych
3. Dominują najbardziej prawdopodobne tokeny, więc tekst staje się przewidywalny

Dlaczego model językowy może z pewnością stwierdzić coś fałszywego?

1. Bo uczono go na zbyt małej ilości danych, żeby wiedzieć lepiej
2. Bo składa prawdopodobne ciągi dalsze, a prawdopodobne nie znaczy prawdziwe
3. Bo temperatura jest zawsze ustawiona za wysoko, więc model losuje fakty z całego słownika

Co robi model językowy podczas treningu na ogromnej ilości tekstu?

1. Zapamiętuje wszystkie zdania, żeby potem wyszukać te pasujące do pytania
2. Uczy się dawać wysokie prawdopodobieństwo faktycznemu następnemu tokenowi
3. Ocenia, które zdania są prawdziwe, i zapamiętuje tylko te prawdziwe

Podnosisz temperaturę z 1 do 3. Co dzieje się z rozkładem prawdopodobieństw następnego słowa?

1. Najczęstsze słowo zdominuje rozkład, bo wyższa temperatura wyostrza wybór słów
2. Rozkład się spłaszcza: najczęstsze słowo traci przewagę, a rzadsze zyskują szansę
3. Model nauczy się nowych słów, bo wyższa temperatura poszerza jego słownik o rzadsze

Model językowy płynnie i pewnym tonem podaje nieistniejący cytat. Co najlepiej to tłumaczy?

1. Zajrzał do bazy cytatów, w której ktoś wcześniej wpisał błędną wersję tego cytatu
2. Złożył ciąg słów, który brzmi prawdopodobnie, choć nie ma pokrycia w faktach
3. Zbyt niska temperatura zmusiła go do wymyślania rzeczy spoza danych