ML Atlas

Blog · Kaggle ·

Kaggle w październiku: od czego zacząć, jeśli się uczysz

W skrócie

Playground S6E10 o satysfakcji pasażerów (ROC AUC, do 31.10), agenci do gry Pokémon TCG i stałe konkursy dla początkujących. Plan pierwszego tygodnia.

Na Kaggle trwają teraz konkursy, które dobrze nadają się do nauki. Nie potrzeba w nich dużych GPU ani doświadczenia z leaderboardami. Poniżej trzy propozycje, każda sprawdzona na stronie konkursu 10 października 2026, oraz plan, jak zacząć.

1. Playground Series S6E10: „Predicting Airline Satisfaction”

Dziesiąty odcinek szóstego sezonu Playground Series trwa od 1 do 31 października 2026 (termin o 23:59 UTC). Zadanie to klasyfikacja binarna na danych tabelarycznych: dla każdego pasażera ze zbioru testowego trzeba podać prawdopodobieństwo zmiennej satisfaction. Metryką jest pole pod krzywą ROC (ROC AUC).

Dane są syntetyczne. Według opisu konkursu wygenerowano je na wzór publicznego zbioru Airline satisfaction, a rozkłady cech są „bliskie, ale nie identyczne” z oryginałem. Konkurs ma tag „beginner”, a nagrodą są gadżety Kaggle, przyznawane jednej osobie najwyżej raz w całej serii. Do 10 października zgłosiło się już ponad 1300 zespołów.

Poprzedni odcinek, S6E9 „Predicting Electric Vehicle Purchases”, zakończył się 30 września. Też był klasyfikacją binarną z metryką ROC AUC. Jego opublikowane notebooki to gotowy materiał do porównania własnego podejścia.

2. Pokémon TCG AI Battle Challenge Playground: dla chętnych na RL

Jeśli dane tabelaryczne cię nudzą, sprawdź konkurs, w którym pisze się agenta grającego w karciankę Pokémon TCG. Trwa od 29 września 2026 do 8 stycznia 2027 (dołączyć można do 1 stycznia 2027). Agent w każdej turze dostaje obserwację (stan planszy, log gry, listę dozwolonych ruchów) i zwraca wybór. Można zgłosić do 5 agentów dziennie. W trakcie konkursu ranking opiera się na ocenie umiejętności modelowanej rozkładem normalnym N(μ, σ²) ze startowym μ = 600, a niepewność σ maleje z każdą rozegraną partią. Ostateczny ranking ustali turniej Bradleya–Terry’ego na partiach rozegranych w ciągu około dwóch tygodni po terminie zgłoszeń. To świetne pole do eksperymentów z uczeniem ze wzmocnieniem, ale próg wejścia jest wyższy niż w Playground.

3. Konkursy „Getting Started” bez terminu

Spaceship Titanic (klasyfikacja binarna, metryka: accuracy) i House Prices (regresja, metryka: RMSLE) mają termin ustawiony na 2030 rok. Można w nich ćwiczyć bez presji czasu.

Plan pierwszego tygodnia z S6E10

  1. Dzień 1: model bazowy. Zanim cokolwiek wymyślisz, wyślij regresję logistyczną albo domyślny LightGBM. Bez modelu bazowego nie wiesz, czy kolejne pomysły w ogóle pomagają.
  2. Dzień 2: walidacja. Ustaw 5-krotną stratyfikowaną walidację krzyżową i zapisuj wynik CV obok wyniku z leaderboardu. Publiczny leaderboard liczy się tylko na części zbioru testowego, więc decyzje opieraj na CV (zob. lokalne CV a leaderboard).
  3. Dzień 3: gradient boosting. Na danych tabelarycznych to zwykle najmocniejszy punkt startu. Porównaj XGBoost, LightGBM i CatBoost. CatBoost wygodnie obsługuje cechy kategoryczne.
  4. Dzień 4: oryginalny zbiór. W Playground często próbuje się dołączyć do treningu dane oryginalne. Rób to tylko wewnątrz foldów treningowych i oceniaj wyłącznie na foldach syntetycznych. Inaczej CV przestaje mierzyć to, co mierzy leaderboard, a to prosta droga do wycieku danych.
  5. Dzień 5: nie poprawiaj kalibracji dla AUC. ROC AUC zależy tylko od kolejności przewidywań. Każda rosnąca transformacja (np. pierwiastek z prawdopodobieństwa) daje dokładnie ten sam wynik. Czas lepiej poświęcić na cechy.

Na co uważać

  • Przeuczenie leaderboardu. Kilkadziesiąt zgłoszeń dobieranych pod publiczny wynik to selekcja na zaszumionym pomiarze. Finalne zgłoszenia wybieraj według CV, nie według publicznego leaderboardu (zob. przeuczenie leaderboardu).
  • Różnice w czwartym miejscu po przecinku. Różnica 0,0001 w AUC bywa mniejsza niż rozrzut wyniku między foldami. Patrz na odchylenie standardowe wyników CV, a nie tylko na średnią.

Więcej o całym procesie piszemy w haśle o pracy nad konkursem Kaggle.

Źródła

Tagi: kaggle tabular cross-validation gradient-boosting

W Atlasie