ML Atlas

Blog · Wiadomości · · aktualizacja

Beam i Mistral Large 4: dwa wielkie MoE z otwartymi wagami

W skrócie

Reflection i Mistral zapowiedziały w październiku modele MoE z otwartymi wagami. Co znaczą „501 mld, 23 mld aktywnych” i co z tego wynika dla uczących się.

Aktualizacja 25.10.2026: Reflection opublikowała wagi Beam 16 października 2026 na Hugging Face, na licencji Apache 2.0, w repozytorium reflection/Beam-1.0-501B-A23B. Obok są wersje skwantyzowane (FP8 i NVFP4). Wag Mistral Large 4 na dzień 25 października 2026 nie ma na koncie Mistrala na Hugging Face, a ogłoszenie Mistrala nadal zapowiada je „do końca miesiąca”. Dalszy tekst opisuje stan z 9 października i zostawiamy go bez zmian.

W pierwszym tygodniu października dwie firmy zapowiedziały duże modele językowe, których wagi mają być publicznie dostępne. Oba to modele typu mieszanka ekspertów (MoE), więc to dobra okazja, żeby zobaczyć, co naprawdę mówią liczby z nagłówków.

Beam od Reflection (5 października)

Reflection przedstawiła Beam, swój pierwszy model z otwartymi wagami: rzadki model MoE z 501 mld parametrów, z których 23 mld są aktywne przy każdym tokenie. Według firmy model był wstępnie trenowany na 23,8 bln tokenów, a etap uczenia ze wzmocnieniem wygenerował ponad 100 mln przebiegów (rolloutów) na 10,5 tys. GPU NVIDIA GB300 w ciągu 4 tygodni. Wagi mają zostać opublikowane w październiku na licencji Apache 2.0. Na dzień publikacji tego tekstu (9 października 2026) jeszcze ich nie ma: model przechodzi końcowe testy bezpieczeństwa i ewaluacje (red-teaming), a na wczesny dostęp można się zapisać na liście oczekujących.

Reflection twierdzi, że na zadaniach rozumowania Beam osiąga wyniki porównywalne z GLM-5.2, zużywając 3–4 razy mniej obliczeń przy wnioskowaniu. To deklaracja producenta, a nie niezależny pomiar, dlatego nie przepisujemy tu konkretnych liczb z tabel benchmarków. TechCrunch opisał tę premierę jako próbę konkurowania z chińskimi modelami otwartymi.

Mistral Large 4 (6 października)

Dzień później Mistral uruchomił publiczny podgląd Mistral Large 4 (ML4): natywnie multimodalny model z około bilionem parametrów (według dokumentacji dokładnie 1,05 bln), z których 52 mld są aktywne. Firma pisze, że wagi opublikuje „do końca miesiąca”, a do tego czasu testuje model (red-teaming) z ekspertami od cyberbezpieczeństwa, zweryfikowanymi partnerami i organami państwowymi. Model trenowano od zera na 3800 GPU NVIDIA Grace Blackwell w europejskich centrach danych Mistrala. Według firmy znaczna część danych treningowych była wielojęzyczna, obejmowała ponad 160 języków, w tym wszystkie języki urzędowe UE, a więc także polski.

Co znaczy „501 mld, w tym 23 mld aktywnych”?

W modelu MoE warstwa ekspertów składa się z wielu równoległych podsieci. Mała sieć-router wybiera dla każdego tokena tylko kilka z nich. Stąd dwie różne liczby:

  • Parametry łącznie decydują o pamięci. W formacie bf16 każdy parametr zajmuje 2 bajty, więc 501 mld parametrów Beam to około 1 TB samych wag, a 1,05 bln parametrów ML4 to około 2 TB. Po kwantyzacji do 4 bitów (pół bajta na parametr) wychodzi odpowiednio około 250 GB i 525 GB. „Otwarte wagi” nie znaczą więc „uruchomisz na laptopie”.
  • Parametry aktywne decydują o koszcie jednego tokena. Popularne przybliżenie mówi o około 2 operacjach zmiennoprzecinkowych na aktywny parametr na token. Dla Beam daje to około 46 mld operacji na token, dla ML4 około 104 mld. To tylko szacunek, bo pomija uwagę i narzut routera.

Udział aktywnych parametrów wynosi 4,6% w Beam (23/501) i 5,0% w ML4 (52/1050). Właśnie ten rozjazd między pamięcią a obliczeniami jest powodem, dla którego MoE stały się tak popularne w dużych modelach. Model „wie” tyle, ile pomieści w łącznych parametrach, a płaci obliczeniami tylko za mały ułamek. Szerzej piszemy o tym w haśle o prawach skalowania.

Dlaczego to ważne dla uczących się

  1. Otwarte wagi pozwalają sprawdzić, a nie tylko uwierzyć. Gdy wagi będą dostępne, wyniki z ogłoszeń będzie można odtworzyć na własnym zbiorze. Liczby producenta to punkt wyjścia, a nie werdykt. Jak czytać takie tabele, opisujemy w haśle o ewaluacji LLM.
  2. „Zapowiedziane” to nie „wydane”. Na dzień 9 października 2026 Mistral Large 4 jest dostępny w publicznym podglądzie, na Beam można się zapisać na wczesny dostęp, a wagi obu modeli obiecano na październik i nie zostały jeszcze opublikowane. Warto to rozróżniać, czytając nagłówki.
  3. Licencja ma znaczenie. Reflection podaje Apache 2.0. Mistral w ogłoszeniu i dokumentacji nie podał licencji wag, więc przed użyciem w projekcie trzeba ją sprawdzić w dniu publikacji.

Źródła

Tagi: llm open-weights mixture-of-experts

W Atlasie