ML Atlas

Blog · Wiadomości ·

Tydzień w ML: limit arXiv, EmbeddingGemma 2, SynthID

W skrócie

Przegląd 1–10 października 2026: arXiv ogranicza zgłoszenia, Google wydaje EmbeddingGemma 2 i otwiera SynthID Detector, OpenAI publikuje 719 dowodów.

Krótki przegląd czterech wydarzeń z pierwszych dziesięciu dni października 2026. Każde sprawdziliśmy w źródle pierwotnym: na blogu instytucji, w notach wydania albo w samym repozytorium. Pomijamy tematy, które opisaliśmy już osobno, czyli modele Beam i Mistral Large 4 oraz AI Act.

1. arXiv: najwyżej dwa zgłoszenia miesięcznie (1 października)

Serwis z preprintami arXiv zaostrzył limity zgłoszeń. Jedna osoba zgłaszająca może teraz wysłać najwyżej dwie prace w miesiącu kalendarzowym i mieć jednocześnie najwyżej trzy aktywne zgłoszenia. Limit liczy zgłoszenia, a nie opublikowane prace, więc odrzucone teksty też się wliczają. Dotyczy tylko osoby, która wysyła pracę, a nie wszystkich współautorów. arXiv nazywa to rozwiązaniem tymczasowym, na czas ulepszania narzędzi moderacji.

Powód podano w liczbach: we wrześniu 2016 roku arXiv dostał 9869 zgłoszeń, we wrześniu 2024 roku 20 569, a we wrześniu 2026 roku rekordowe 40 363, czyli prawie dwa razy więcej niż dwa lata wcześniej. Same wrześniowe zgłoszenia wygenerowały prawie 9000 zgłoszeń do obsługi dla zespołu i moderatorów. arXiv wskazuje na cienkie prace o wąskim zakresie, dzielenie jednego wyniku na kilka tekstów i gęste prace pisane przez AI.

Dlaczego to ważne dla uczącego się ML. Preprint na arXiv nie przeszedł recenzji, a moderacja sprawdza tylko podstawy. Gdy liczba prac staje się miarą dorobku, rośnie pokusa, by ją pompować, co dobrze opisuje prawo Goodharta. Czytając preprint, szukaj kodu, danych i szczegółów, które pozwalają wynik powtórzyć.

2. EmbeddingGemma 2: wektory dla tekstu, obrazu, dźwięku i wideo (6 października)

Google DeepMind opublikował EmbeddingGemma 2, otwarty model do tworzenia embeddingów na licencji Apache 2.0. Model zamienia tekst, kod, obrazy, dźwięk i wideo na wektory w jednej wspólnej przestrzeni o 768 wymiarach. Pełna wersja multimodalna ma 740 mln parametrów, ale do samego tekstu wystarcza część o 270 mln parametrów. Enkoder obrazu (170 mln) i dźwięku (300 mln) są opcjonalne. Według Google po kwantyzacji na telefonie Pixel 11 Pro wersja tekstowa zajmuje około 191 MB pamięci RAM, a multimodalna około 567 MB. Na benchmarku MTEB Code wynik wzrósł z 68,76 w pierwszej wersji do 78,68. To liczby producenta. Wagi są na Hugging Face, a obsługę modelu dodano tego samego dnia w bibliotece Transformers 5.19.0.

Dlaczego to ważne dla uczącego się ML. Wspólna przestrzeń oznacza, że zapytanie tekstowe „pies na plaży” można porównać podobieństwem cosinusowym z wektorem zdjęcia lub nagrania. Na tym opiera się wyszukiwanie wektorowe i RAG. Model używa uczenia „matrioszkowego” (Matryoshka Representation Learning), więc wektor można przyciąć do 512, 256 albo 128 wymiarów. Przy 4 bajtach na liczbę wektor 768-wymiarowy zajmuje 3072 bajty, a 128-wymiarowy 512 bajtów, czyli 6 razy mniej. Ceną jest zwykle nieco gorsza jakość wyszukiwania, więc warto zmierzyć ją na własnych danych. Do tego dochodzi kwantyzacja, dzięki której model mieści się w pamięci telefonu.

3. OpenAI publikuje 719 manuskryptów matematycznych i wycofuje trzy (6–7 października)

6 października OpenAI założyło publiczne repozytorium openai/math z manuskryptami matematycznymi, które według firmy wytworzył jej wewnętrzny, niewydany model. Według README modelowi postawiono około 4000 problemów, a jeden wynik zużywał średnio trzy godziny obliczeń w trybie myślenia ChatGPT Pro. Obecny katalog liczy 719 manuskryptów w 372 rodzinach tematycznych. Autorzy piszą wprost, że wyniki są na różnych etapach weryfikacji i że część niesformalizowanych może zawierać błędy.

Dzień później to się potwierdziło. W historii zmian repozytorium z 7 października OpenAI opisuje błąd znaku w jednym z dowodów. Unieważnił on ten dowód i konstrukcję, na której opierały się dwie inne prace, więc wycofano wszystkie trzy. Poprawiono też 14 innych manuskryptów. Formalne dowody w Lean, czyli sprawdzone przez komputer, obejmują 300 z 719 głównych wyników, około 42%.

Dlaczego to ważne dla uczącego się ML. Przekonujący tekst modelu językowego to jeszcze nie dowód. Błąd w jednym ogniwie przenosi się na wszystko, co z niego korzysta. Weryfikacja, którą można sprawdzić automatycznie, jest tu odpowiednikiem dobrego zbioru testowego. Więcej o tym, skąd biorą się pewne siebie, a błędne odpowiedzi, piszemy w haśle o halucynacjach, a o mierzeniu modeli w haśle o ewaluacji LLM.

4. SynthID Detector dostępny dla wszystkich (7 października)

Google udostępnił SynthID Detector wszystkim użytkownikom na świecie, na razie po angielsku. Wcześniej działała tylko wczesna wersja dla przedstawicieli mediów. Detektor sprawdza, czy obraz, wideo lub plik dźwiękowy niesie znak wodny SynthID dodany przez AI Google albo partnerów: OpenAI, NVIDIA i Kakao, a wkrótce także Apple. Według Google od startu SynthID oznaczono ponad 180 mld obrazów i filmów oraz 240 tys. lat nagrań dźwiękowych.

Dlaczego to ważne dla uczącego się ML. Wykrywanie znaku wodnego to coś innego niż zgadywanie, czy treść „wygląda na AI”. Detektor rozpozna tylko znaki dodane przez narzędzia, które SynthID stosują. Brak znaku nie dowodzi więc, że plik zrobił człowiek. Wynik testu zależy też od tego, jak często dana treść w ogóle pochodzi z oznaczanych źródeł, o czym przypomina błąd pomijania częstości bazowej.

Źródła

Tagi: tydzien-w-ml embeddings arxiv llm watermarking

W Atlasie