W początkach informatyki dostępne technologie nadawały się bardziej do badania procesów rozumowania niż do radzenia sobie ze światem rzeczywistym. Pierwsze komputery cyfrowe zaczęły pojawiać się na uniwersytetach pod koniec lat 40. XX wieku, ale ówczesne urządzenia sensoryczne – mikrofony i pierwsze kamery telewizyjne – były nadal analogowe. Ich wyjściami były sygnały elektryczne, które musiały zostać przekształcone na sygnały cyfrowe, zanim mogły zostać przetworzone przez komputery. Kiedy w latach 60. XX wieku rozpoczęły się badania nad widzeniem komputerowym, naukowcy digitalizowali czarno-białe rysunki liniowe, ponieważ praca z kamerami była po prostu zbyt trudna. W latach 50. XX wieku nauka o tym, jak mózg przetwarza sygnały sensoryczne, również dopiero się rozwijała. Neurobiolodzy David Hubel i Torsten Wiesel zarejestrowali w pierwotnej korze wzrokowej znieczulonego kota, wyświetlając mu przed oczami proste wzory światła. Znaleźli pojedyncze neurony korowe, które były szczególnie wrażliwe na paski światła prezentowane w różnych orientacjach, co sugeruje obecność komórek detekcji krawędzi w mózgu. Był to przydatny dowód na to, że mózg nie przechwytuje bezpośredniej kopii tego, co widzimy oczami, a następnie nie prezentuje tego umysłowi na pewnego rodzaju wewnętrznym ekranie. Zamiast tego mózg zaczyna dekonstruować bodziec sensoryczny od samego początku, wybierając przydatne elementy, które mogą informować o tym, co dzieje się na świecie i co robić dalej. To, że neurony mogą działać jako detektory cech, aby znajdować krawędzie w scenie wizualnej, a następnie znajdować i rozpoznawać obiekty i tak dalej, jest częścią tego procesu. Mniej więcej w tym samym czasie, gdy Hubel i Wiesel dokonywali swoich odkryć, młody inżynier o nazwisku Frank Rosenblatt3 zbudował pierwsze fizyczne urządzenie do utworzenia sztucznej sieci neuronowej. Znana jako perceptron (połączenie słów percept-ion i neu-ron), maszyna Rosenblatta połączyła warstwę elektronicznych, binarnych urządzeń wejściowych z „neuronem” decyzyjnym, w którym każde wejście było połączone z decydentem za pomocą modyfikowalnego, ważonego połączenia o wartościach rzeczywistych. Decydent miał również modyfikowalny próg; jego wyjście było równe jeden, jeśli ważona suma wejść była większa od tego progu i zero w przeciwnym wypadku. Innymi słowy, podejmował binarną decyzję tak/nie. Rosenblatt wykorzystał regułę uczenia się z korekcją błędów, znaną obecnie jako reguła perceptronu, do trenowania swojego urządzenia w zakresie problemów rozpoznawania wzorców, takich jak rozpoznawanie odręcznych liter i cyfr. Chociaż późniejsze urządzenia zawierały system obrazowania, we wczesnych prototypach wzorce były wprowadzane bezpośrednio do komputera za pomocą perforowanych kart. Na przykład, jeśli celem było rozpoznanie litery X, perceptronowi przedstawiono by wiele odręcznych wersji litery X wraz z przykładami innych liter. Reguła uczenia Rosenblatta wykorzystywała różnicę między docelowym wynikiem a rzeczywistym wynikiem. Istnieją dwa sposoby, w jakie perceptron mógłby błędnie sklasyfikować obraz. Po pierwsze, jeśli obraz nie był literą X i odpowiedziałby jedynką (tak), wówczas sygnał błędu byłby ujemny (0−1 = −1). Po drugie, jeśli obraz był literą X i odpowiedziałby zerem (nie), wówczas sygnał błędu byłby dodatni (1−0 = +1). Jeśli klasyfikacja byłaby poprawna, błąd wynosiłby zero, a wagi nie uległyby zmianie. Stosując tę regułę uczenia, perceptron stopniowo poprawiałby swoje zadanie, wzmacniając wagi detektorów cech, które konsekwentnie aktywowały się, gdy X był obecny, i osłabiając wagi detektorów, które aktywowały się, gdy X był nieobecny. Z czasem błędów i sygnałów uczenia się niezerowych byłoby coraz mniej. Gdy perceptron poprawnie klasyfikował wszystkie obrazy, wagi w ogóle by się nie zmieniały. W terminach wyszukiwania można by powiedzieć, że zakończył on proces spadku gradientu. W 1959 roku dwaj inżynierowie elektrycy, Bernard Widrow i Ted Hoff, odkryli nową regułę uczenia się, znaną obecnie jako reguła delty, którą można traktować jako uogólnienie reguły uczenia się perceptronu. Nowa reguła nie ograniczała się do binarnych wejść i wyjść, a minimalizowała sumę kwadratów błędów dla wszystkich wzorców w zbiorze danych w sposób, który można było powiązać z metodami stosowanymi przez statystyków do wyszukiwania wzorców w danych. Oznaczało to, że oprócz wiedzy o działaniu reguły uczenia się istniało dobre wyjaśnienie, dlaczego ona działa. Widrow i Hoff opracowali również sprzętowe urządzenie klasyfikacyjne o nazwie Adaline, które implementowało ich model uczenia się. Obecnie modele takie jak Perceptron i Adaline są opisywane jako należące do klasy jednowarstwowych sieci neuronowych (patrz rysunek 5.2, po prawej) i postrzegane jako pionierskie kroki w kierunku potężnych sieci neuronowych AI XXI wieku. Pod koniec lat 50. XX wieku AI budziła duże zainteresowanie. Na przykład Perceptron Rosenblatta został okrzyknięty przez „New York Times” „elektronicznym mózgiem, który „uczy się” sam”. Drugi artykuł w „Timesie”, oparty na konferencji prasowej z udziałem samego Rosenblatta, mówił o komputerze elektronicznym, który „byłby w stanie chodzić, mówić, widzieć, pisać, reprodukować się i być świadomym swojego istnienia”. Jednak w ciągu dekady badacze sztucznej inteligencji odwrócili się od obietnicy sieci neuronowych i powrócili do mniej inspirowanych mózgiem form sztucznej inteligencji. Powód? Jednowarstwowe sieci neuronowe nie są w stanie rozwiązać wielu rodzajów problemów klasyfikacyjnych, w tym tych stosunkowo łatwych dla ludzi i obejmujących podstawowy układ logiczny znany jako wyłączny-lub. To ograniczenie zostało szeroko omówione w słynnej książce „Perceptrons”, opublikowanej w 1969 roku przez Marvina Minsky’ego i jego kolegę Seymoura Paperta.7 Minsky i Rosenblatt chodzili razem do liceum, ale podobno byli rywalami, co może częściowo tłumaczyć entuzjazm Minsky’ego dla rozwiania bańki Rosenblatta. W 1972 roku kolejna wpływowa książka filozofa Huberta Dreyfusa zatytułowana „Czego komputery nie potrafią”, przypuściła ostry atak na sztuczną inteligencję, krytykując jej zdolność do pozyskiwania ludzkiej wiedzy eksperckiej. Dreyfus argumentował, że ludzka wiedza jest kontekstowa, często ukryta i intuicyjna, a zatem trudna do wyjaśnienia lub uchwycenia za pomocą programów komputerowych. Odrzucał możliwość, że komputery cyfrowe mogłyby być przydatne do zrozumienia mózgu, i nie doceniał podejścia Rosenblatta do modelowania sieci neuronowych przypominających mózgi. Dreyfus zauważył w szczególności, że ludzie są ekspertami w dostrzeganiu wzorców w danych, w tym w naszym codziennym doświadczeniu percepcyjnym, a rozpoznawanie wzorców wykracza poza fizyczne podobieństwo i jest silnie zależne od kontekstu. Dla Dreyfusa sztuczna inteligencja była czysto bierna i odcieleśniona, podczas gdy ludzka inteligencja była aktywna, ucieleśniona i zaangażowana. Percepcja była holistyczną czynnością, w której „znaczenie szczegółów” było określane równolegle do znaczenia całości.