ML Atlas

Blog · Na start ·

Darmowe zbiory danych do pierwszego projektu ML (legalnie)

W skrócie

Osiem otwartych zbiorów na pierwszy projekt, od 150 irysów po 70 000 obrazków ubrań, każdy ze sprawdzoną licencją. Jak czytać CC0, CC BY i MIT.

Krótka odpowiedź

Na pierwszy projekt weź mały, czysty zbiór z jasną licencją, która pozwala na użycie: CC0 (bez warunków), CC BY 4.0 (wolno prawie wszystko, ale trzeba podać autora) albo MIT. Najlepsze na start są zbiory, które wczytasz jedną linijką i które mają jedno jasne pytanie: pingwiny, irysy, wina, guzy piersi i cyfry. Każdy ma w Atlasie stronę z opisem kolumn, a na pingwinach przejdziesz cały proces w lekcji Cały proces w 15 minut. Gdy zechcesz czegoś większego, sięgnij po Adult, Bike Sharing albo Fashion-MNIST.

Popularny nie znaczy otwarty: Titanic, najsłynniejszy zbiór startowy, nie ma jasnej licencji (piszemy o tym na jego stronie).

Pięć małych zbiorów na pierwszy raz

  • Pingwiny: 344 pingwiny trzech gatunków, cztery pomiary ciała i kilka braków danych do obsłużenia. Pytanie: jaki to gatunek? Licencja CC0.
  • Irysy: 150 kwiatów, trzy gatunki, cztery pomiary. Najprostszy zbiór do klasyfikacji, w scikit-learn jako load_iris(). Licencja CC BY 4.0.
  • Wina: 178 win trzech odmian, 13 wyników analizy chemicznej w bardzo różnych skalach. Dobre do nauki skalowania cech. load_wine(), licencja CC BY 4.0.
  • Guzy piersi: 569 biopsji, diagnoza złośliwy albo łagodny. Tu uczysz się, że pomyłki mają różną cenę. load_breast_cancer(), licencja CC BY 4.0.
  • Cyfry: 1797 ręcznie pisanych cyfr w obrazkach 8 × 8 pikseli, czyli pierwszy krok w stronę obrazów. load_digits(), licencja CC BY 4.0.

Pingwiny wczytasz z pliku CSV autorów zbioru, pokazujemy to we wpisie Pierwszy projekt ML na otwartych danych krok po kroku.

Trzy większe, gdy małe już nie wystarczą

  • Adult (UCI): 48 842 osoby ze spisu ludności USA i pytanie, czy roczny dochód przekracza 50 tysięcy dolarów. Ma braki danych i kolumny z kategoriami, czyli prawdziwe problemy z tabel. Ma też płeć i rasę, więc dobrze nadaje się do pytania o sprawiedliwość modelu. Licencja CC BY 4.0, w scikit-learn przez fetch_openml("adult", version=2).
  • Bike Sharing (UCI): wypożyczenia rowerów miejskiego systemu Capital Bikeshare z lat 2011 i 2012, z pogodą i kalendarzem. Pytanie: ile rowerów wypożyczą w danej godzinie albo dniu? To regresja i pierwsze spotkanie z danymi w czasie, gdzie nie wolno losowo mieszać przeszłości z przyszłością. Licencja CC BY 4.0.
  • Fashion-MNIST (Zalando Research): 70 000 obrazków ubrań w 10 klasach, każdy 28 × 28 pikseli w odcieniach szarości, gotowo podzielonych na 60 000 do nauki i 10 000 do testu. Dobry pierwszy zbiór dla sieci neuronowych. Licencja MIT.

Jak czytać licencję w minutę

  • CC0: autor zrzeka się praw, na ile pozwala prawo. Kopiujesz, zmieniasz i publikujesz bez pytania, także komercyjnie.
  • CC BY 4.0: wolno prawie wszystko, ale podajesz autora i źródło, link do licencji i informację, czy coś zmieniłeś. W projekcie wystarczy akapit „Dane” z tymi informacjami.
  • MIT: wolno używać i rozpowszechniać, ale kopie mają zawierać notę o prawach autorskich i tekst licencji.
  • Brak licencji nie znaczy „wolno wszystko”. Nie wrzucaj kopii takich danych do swojego repozytorium ani na stronę, tylko podaj link do źródła.

Licencję sprawdzaj u autorów zbioru, nie tylko na stronie kopii. Przykład: UCI podaje dla Adult licencję CC BY 4.0, a kopia w OpenML ma w polu licencji tylko „Public”.

Gdzie szukać dalej

  • UCI Machine Learning Repository: setki klasycznych zbiorów, przy każdym liczba wierszy, opis kolumn i licencja.
  • OpenML: otwarta platforma z danymi, modelami i ich porównaniami; zbiory wczytasz w scikit-learn funkcją fetch_openml.
  • dane.gov.pl: polski portal otwartych danych publicznych. Przy zbiorach są opisane warunki ponownego wykorzystania, ale dane nie są przygotowane pod ML: pytanie i etykietę musisz wymyślić sam, a to dobre ćwiczenie z formułowania problemu.

Zanim zbudujesz model na nowym zbiorze, zrób dwie rzeczy: zapisz jednym zdaniem, co przewidujesz i z czego, i obejrzyj dane (EDA). To tam, w brakach i dziwnych wartościach, zwykle czekają pierwsze niespodzianki.

Co dalej

Źródła

Tagi: dane zbiory-danych licencje pierwszy-projekt na-start

W Atlasie