ML Atlas

Blog · Ciekawostki ·

Perceptron 1958: maszyna, która miała „być świadoma”

W skrócie

W 1958 roku prasa obiecywała, że perceptron będzie chodził, mówił i był świadomy. Jedenaście lat później przyszła książka „Perceptrons” i zima. Co się stało?

Pokaz z lipca 1958

W lipcu 1958 roku amerykańskie Biuro Badań Marynarki Wojennej (Office of Naval Research) pokazało dziennikarzom wynalazek Franka Rosenblatta, psychologa z Cornell Aeronautical Laboratory. Jak relacjonuje Cornell Chronicle, komputer IBM 704, ważący 5 ton i wielki jak pokój, dostawał serię kart perforowanych. Po 50 próbach sam nauczył się odróżniać karty oznaczone po lewej stronie od kart oznaczonych po prawej.

Nagłówek „New York Timesa” z 8 lipca 1958 brzmiał: „Nowe urządzenie Marynarki uczy się przez działanie”. Tekst przytaczał zapowiedź Marynarki, że z tego „zarodka” powstanie komputer, który będzie umiał chodzić, mówić, widzieć, pisać, reprodukować się i będzie świadomy własnego istnienia (cytat za The Conversation). „New Yorker” nazwał perceptron pierwszym poważnym rywalem ludzkiego mózgu (za Cornell Chronicle).

Teoretyczny opis ukazał się w tym samym roku w „Psychological Review” jako „The perceptron: A probabilistic model for information storage and organization in the brain”.

Co perceptron naprawdę umiał

Perceptron to pojedynczy neuron progowy: ważona suma wejść plus próg. Jego granica decyzji to prosta (w wielu wymiarach hiperpłaszczyzna). Zadanie z pokazu, czyli „znak po lewej czy po prawej”, jest liniowo separowalne. Dla takich zadań reguła uczenia perceptronu ma dowód zbieżności: po skończonej liczbie poprawek znajdzie granicę bezbłędną (twierdzenie o zbieżności). Pokaz był więc uczciwy, ale zadanie leżało dokładnie w obszarze, w którym perceptron ma gwarancję sukcesu. Przepaść między „odróżnia lewo od prawa po 50 kartach” a „będzie świadomy” wypełniła wyobraźnia.

1969: „Perceptrons”

Marvin Minsky z MIT był wobec twierdzeń Rosenblatta głęboko sceptyczny. Według Cornell Chronicle on i Rosenblatt spierali się publicznie na konferencjach, a Rosenblatt nazywał go „lojalną opozycją”. W 1969 roku Minsky i Seymour Papert wydali książkę „Perceptrons: An Introduction to Computational Geometry”, w której formalnie zbadali, czego perceptron nie potrafi obliczyć. Najprostszym symbolem tych ograniczeń stała się funkcja XOR, czyli parzystość dwóch bitów: (0,1) i (1,0) dają 1, a (0,0) i (1,1) dają 0. Żadna prosta nie oddziela tych par punktów (problem XOR).

Wiadomo było, że sieci z warstwą ukrytą nie mają tego ograniczenia. Brakowało natomiast skutecznej metody ich trenowania. W kolejnych latach finansowanie badań nad sieciami neuronowymi mocno zmalało. Cornell Chronicle pisze o nadejściu „zimy AI”, a sam Rosenblatt tracił setki tysięcy dolarów rocznie z grantów rządowych. Zginął w 1971 roku w wypadku żeglarskim na zatoce Chesapeake, w dniu swoich 43. urodzin.

Czy książka „zabiła” sieci neuronowe?

To popularna wersja, ale historycy nauki ją komplikują. Mikel Olazaran w studium z 1996 roku („Social Studies of Science” 26(3), s. 611–659) pokazuje, że interpretacja dowodów Minsky'ego i Paperta jako wyroku na całe podejście była w dużej mierze skutkiem wzrostu i legitymizacji symbolicznej AI, z jej systemem podziału grantów i autorytetów. Na poziomie samych badaczy panowała spora „elastyczność interpretacyjna”. Po odrodzeniu sieci pod koniec lat 80. oficjalną historię sporu napisano od nowa.

Odrodzenie przyszło m.in. z pracą Rumelharta, Hintona i Williamsa w „Nature” z 1986 roku, która upowszechniła trenowanie sieci wielowarstwowych propagacją wsteczną. XOR stał się wtedy ćwiczeniem dla studentów, a nie zarzutem.

Lekcja na dziś

  1. Pokaz to nie dowód ogólności. Zadanie z 1958 roku było liniowo separowalne. Zanim uwierzysz w demo, zapytaj, czy zadanie nie zostało dobrane pod model.
  2. Ograniczenie modelu to nie ograniczenie podejścia. Minsky i Papert analizowali sieci jednowarstwowe. Ich wynik był prawdziwy, ale wniosek „sieci nie mają przyszłości” już nie.
  3. Cykle entuzjazmu i rozczarowania się powtarzają. Szerzej opisujemy je w historii uczenia maszynowego.

Źródła

Tagi: historia perceptron sieci-neuronowe

W Atlasie