Czy agent AI odtworzy wynik z artykułu? Benchmark RECLAIM

Odtworzenie wyniku z cudzej pracy to jedno z najlepszych ćwiczeń w uczeniu maszynowym. Trzeba zainstalować środowisko, zrozumieć metodę, uruchomić eksperyment i porównać liczby. Pod koniec września ukazała się praca, która mierzy, jak radzą sobie z tym agenci AI. Wynik jest ciekawy także dla ludzi, bo pokazuje, gdzie najczęściej się potykamy.

Co to jest RECLAIM

RECLAIM (zgłoszony na arXiv 23 września 2026, autorzy: Salunkhe, Ding, Verma, Kindratenko) to benchmark złożony ze 100 artykułów z konferencji NeurIPS 2025. Dla każdego artykułu z góry ustalono trzy rzeczy: który wynik trzeba odtworzyć, co liczy się jako udana reprodukcja i ile godzin GPU wolno zużyć. Agent dostaje artykuł i wszystko, co opublikowali autorzy.

Trudność zależy od tego, co autorzy udostępnili:

• Run: jest kod, dane i wagi, wystarczy poprawnie uruchomić.
• Retrain: brak wag, więc agent musi sam wytrenować model.
• Reimplement: brak kodu, więc agent pisze metodę od zera na podstawie opisu.

Benchmark można co roku budować od nowa z prac z kolejnej konferencji. To ważne, bo zmniejsza ryzyko, że zadania „wyciekną” do danych treningowych przyszłych modeli. To kuzyn problemu, który w klasycznym ML nazywamy wyciekiem danych.

Wyniki

Autorzy uruchomili cztery agenty, każdy raz na każdym artykule. Najlepszy agent w danej kategorii (w Run i Retrain był to ten sam agent, w Reimplement inny) odtworzył wynik w:

• 41% artykułów z kategorii Run,
• 27% z kategorii Retrain,
• 15% z kategorii Reimplement, gdzie wszystkie agenty wypadły najsłabiej.

Dwa szczegóły są ciekawsze niż same procenty. Po pierwsze, nieudane próby zużywały średnio tylko 29% przyznanego budżetu, więc agenty zwykle kończyły, mając jeszcze czas i GPU. Po drugie, najczęstszy błąd, obecny w 63 z 400 przebiegów, polegał na tym, że agent zaimplementował metodę i nie sprawdził żadnej jej części z liczbami podanymi w artykule.

Kto ocenia?

Przebiegi ocenia osobny model językowy na podstawie logów i plików wynikowych, a nie raportów pisanych przez agenty. To rozsądne, bo agent opisujący własny sukces jest stroną w sprawie. Według pełnej wersji pracy zgodność tego „audytora” z trzema ludzkimi oceniającymi (każdy z 396 rozpoczętych przebiegów ocenił jeden z nich, bez znajomości werdyktu audytora) wyniosła F1 = 0,82 dla decyzji „odtworzono / nie odtworzono”. To dużo, ale nie 1,0, więc pojedyncze werdykty mogą być błędne.

Kontekst: kto właściwie pisze dziś testy?

Osiem dni wcześniej, 15 września, na arXiv ukazała się praca „What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks”. Autor przejrzał 14 767 prac z arXiv (styczeń 2022 – sierpień 2026), które wprowadzają lub aktualizują zasoby do ewaluacji. Zauważa, że coraz więcej benchmarków dotyczy działania, interakcji i zastosowań zawodowych. Udział modeli rośnie przy tym nierówno: ocenianie odpowiedzi przez modele językowe (LLM jako sędzia) rośnie zarówno w benchmarkach dla agentów, jak i w pozostałych, ale materiały testowe generowane przez modele nie pokazują w nowszych rocznikach prac porównywalnego, trwałego wzrostu. Autor stawia też pytanie: skoro AI bierze udział w tworzeniu testów, w ich rozwiązywaniu i w ocenianiu odpowiedzi, czy rozbudowa ewaluacji daje więcej niezależnych dowodów, czy powiela preferencje i ślepe plamki samych modeli? RECLAIM jest dobrym przykładem tego napięcia: ocenia go model, ale zweryfikowany na ludziach.

Co z tego dla uczącego się ML

• Sprawdzaj pośrednie liczby. Najczęstszy błąd agentów to dokładnie ten błąd, który popełniamy my: piszemy całą metodę i dopiero na końcu widzimy, że wynik się nie zgadza. Lepiej porównywać po drodze, np. rozmiar zbioru po wczytaniu, wynik modelu bazowego, metrykę po pierwszej epoce. Więcej w haśle o debugowaniu modeli.
• Udostępniaj wagi i kod. Spadek z 41% do 15% to liczbowy argument za tym, co piszemy w haśle o powtarzalności.
• Nie oceniaj się własnym raportem. Zasada „oceniaj dowody, nie deklaracje” działa też przy walidacji modeli. Gdy metryka staje się celem, łatwo ją oszukać, o czym mówi prawo Goodharta.

Zastrzeżenie: to preprint, jeszcze bez recenzji, a wyniki dotyczą konkretnych czterech agentów i jednego przebiegu na artykuł.

Poprawka 25.10.2026: doprecyzowaliśmy opis pracy Wanga. Według jej streszczenia rośnie ocenianie przez modele, a nie generowanie testów przez modele.

Źródła

• Salunkhe M., Ding H., Verma S., Kindratenko V., „RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?”, arXiv:2609.28850, 23.09.2026: https://arxiv.org/abs/2609.28850
• Pełny tekst (HTML, v1), walidacja oceniającego: https://arxiv.org/html/2609.28850v1
• Wang C., „What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks”, arXiv:2609.19182, 15.09.2026: https://arxiv.org/abs/2609.19182