Miesiąc: czerwiec 2021

Studium stuletnie nad sztuczną inteligencją na Uniwersytecie Stanforda (znane również jako AI100) zwołuje panele ekspertów w celu przedstawienia raportów na temat stanu wiedzy w zakresie sztucznej inteligencji. W ich raporcie z 2016 r. stwierdzono, że „Znaczny wzrost przyszłych zastosowań sztucznej inteligencji, w tym większa liczba autonomicznych samochodów, diagnostyka opieki zdrowotnej i ukierunkowane leczenie oraz pomoc fizyczna w opiece nad osobami starszymi może należy się spodziewać” i że „Społeczeństwo znajduje się obecnie w kluczowym momencie określania, w jaki sposób wdrożyć technologie oparte na sztucznej inteligencji w sposób, który promuje, a nie utrudnia demokratyczne wartości, takie jak wolność, równość i przejrzystość”. AI100 tworzy również indeks AI na aiindex.org, aby pomóc śledzić postępy. Niektóre najważniejsze informacje ze sprawozdań z 2018 i 2019 r. (w porównaniu z poziomem odniesienia z 2000 r., o ile nie zaznaczono inaczej):

* Publikacje: liczba artykułów AI wzrosła 20-krotnie w latach 2010-2019 do około 20 000 rocznie. Najpopularniejszą kategorią było uczenie maszynowe. (Artykuły dotyczące uczenia maszynowego w arXiv.org podwajały się co roku od 2009 do 2017 r.) Widzenie komputerowe i przetwarzanie języka naturalnego były kolejnymi najbardziej popularnymi.

* Nastroje: około 70% artykułów prasowych na temat sztucznej inteligencji jest neutralnych, ale artykuły o pozytywnym tonie wzrosły z 12% w 2016 r. do 30% w 2018 r. Najczęstsze problemy to kwestie etyczne: prywatność danych i błąd algorytmu.

* Studenci: Zapisy na kurs wzrosły 5-krotnie w Stanach Zjednoczonych i 16-krotnie w skali międzynarodowej w stosunku do stanu wyjściowego z 2010 roku. AI to najpopularniejsza specjalizacja w informatyce.

* Różnorodność: profesorowie AI na całym świecie to około 80% mężczyzn, 20% kobiet. Podobne liczby dotyczą doktoratów. studentów i pracowników przemysłu.

* Konferencje: frekwencja w NeurIPS wzrosła o 800% od 2012 roku do 13.500 uczestników. Inne konferencje odnotowują roczny wzrost o około 30%.

* Branża: liczba start-upów AI w USA wzrosła 20-krotnie, do ponad 800.

* Internacjonalizacja: Chiny publikują więcej artykułów rocznie niż Stany Zjednoczone i mniej więcej tyle samo, co cała Europa. Jednak pod względem wpływu ważonego cytowaniami autorzy amerykańscy wyprzedzają o 50% autorów chińskich. Singapur, Brazylia, Australia, Kanada i Indie to kraje najszybciej rozwijające się pod względem liczby zatrudnionych AI.

* Wizja: Wskaźniki błędów wykrywania obiektów (osiągnięte w LSVRC, Large-Scale Visual Recognition Challenge) poprawiły się z 28% w 2010 r. do 2% w 2017 r., przekraczając ludzkie możliwości. Dokładność w otwartych wizualnych odpowiedziach na pytania (VQA) poprawiła się z 55% do 68% od 2015 roku, ale pozostaje w tyle za ludzką wydajnością na poziomie 83%.

* Szybkość: czas szkolenia dla zadania rozpoznawania obrazu spadł 100-krotnie w ciągu zaledwie dwóch ostatnich lat. Ilość mocy obliczeniowej wykorzystywanej w najlepszych aplikacjach AI podwaja się co 3,4 miesiąca.

* Język: dokładność odpowiedzi na pytania, mierzona wynikiem F1 w zestawie danych dotyczących odpowiedzi na pytania Stanford (SQUAD), wzrosła z 60 do 95 od 2015 do 2019; w wariancie SQUAD 2 postęp był szybszy, z 62 do 90 w ciągu zaledwie jednego roku. Oba wyniki przewyższają wydajność na poziomie człowieka.

* Ludzkie testy porównawcze: do 2019 r. systemy AI podobno osiągnęły lub przekroczyły poziom ludzki w szachach, go, pokerze, Pac-Man, Jeopardy!, wykrywaniu obiektów ImageNet, rozpoznawaniu mowy w ograniczonej domenie, tłumaczeniu z chińskiego na angielski w domena zastrzeżona, Quake III, Dota 2, StarCraft II, różne gry Atari, wykrywanie raka skóry, wykrywanie raka prostaty, fałdowanie białek i diagnostyka retinopatii cukrzycowej.

Kiedy (jeśli w ogóle) systemy sztucznej inteligencji osiągną wydajność na poziomie człowieka w szerokim zakresie zadań? Ford (2018) przeprowadza wywiady z ekspertami AI i znajduje szeroki zakres lat docelowych, od 2029 do 2200, ze średnią 2099. W podobnym badaniu (Grace i in., 2017) 50% respondentów uważało, że może to nastąpić do 2066 r. chociaż 10% uważało, że może się to zdarzyć już w 2025 roku, a kilka powiedziało „nigdy”. Eksperci byli również podzieleni co do tego, czy potrzebujemy fundamentalnych nowych przełomów, czy tylko udoskonaleń obecnych podejść. Ale nie traktuj ich przewidywań zbyt poważnie; jak pokazuje Philip Tetlock (2017) w zakresie przewidywania wydarzeń światowych eksperci nie są lepsi od amatorów. Jak będą działać przyszłe systemy sztucznej inteligencji? Nie możemy jeszcze powiedzieć. Jak szczegółowo opisano w tej sekcji, dziedzina przyjęła kilka historii o sobie – najpierw odważną ideę, że inteligencja przez maszynę była nawet możliwa, potem, że można ją osiągnąć poprzez zakodowanie wiedzy eksperckiej w logice, a następnie, że probabilistyczne modele świata byłyby głównym narzędziem, a ostatnio uczenie maszynowe wytworzyłoby modele, które mogą w ogóle nie opierać się na żadnej dobrze rozumianej teorii. Przyszłość pokaże, jaki model będzie następny. Co może dziś zrobić sztuczna inteligencja? Może nie tak bardzo, jak niektóre z bardziej optymistycznych artykułów medialnych mogą sugerować, ale nadal dużo. Oto kilka przykładów: c.d.n. 🙂

Termin głębokie uczenie odnosi się do uczenia maszynowego wykorzystującego wiele warstw prostych, regulowanych elementów obliczeniowych. Eksperymenty przeprowadzono z takimi sieciami już w latach 70., a w latach 90. XX w. w postaci splotowych sieci neuronowych odniosły one pewien sukces w rozpoznawaniu odręcznych cyfr (LeCun i in., 1995). Jednak dopiero w 2011 roku metody głębokiego uczenia się naprawdę wystartowały. Miało to miejsce najpierw w rozpoznawaniu mowy, a następnie w rozpoznawaniu obiektów wizualnych. W konkursie ImageNet 2012, który wymagał zaklasyfikowania obrazów do jednej z tysiąca kategorii (pancernik, półka na książki, korkociąg itp.), wykazał system głębokiego uczenia stworzony w grupie Geoffreya Hintona na Uniwersytecie w Toronto radykalna poprawa w stosunku do poprzednich systemów, które opierały się w dużej mierze na ręcznie robionych

funkcje. Od tego czasu systemy głębokiego uczenia przekroczyły ludzką wydajność w niektórych zadaniach związanych z widzeniem (i pozostają w tyle w niektórych innych zadaniach). Podobny wzrost odnotowano w rozpoznawaniu mowy, tłumaczeniu maszynowym, diagnostyce medycznej i graniu w gry. Wykorzystanie głębokiej sieci do reprezentowania funkcji oceny przyczyniło się do zwycięstw ALPHAGO nad wiodącymi ludzkimi graczami Go (Silver i in., 2016, 2017, 2018). Te niezwykłe sukcesy doprowadziły do ​​odrodzenia zainteresowania sztuczną inteligencją wśród studentów, firm, inwestorów, rządów, mediów i opinii publicznej. Wydaje się, że co tydzień pojawiają się wieści o zbliżającej się lub przekraczającej ludzką wydajność nowej aplikacji AI, czemu często towarzyszą spekulacje na temat przyspieszonego sukcesu lub nowej zimy AI. Głębokie uczenie opiera się w dużej mierze na wydajnym sprzęcie. Podczas gdy standardowy procesor komputera może wykonać 10⁹ lub 10¹⁰ operacji na sekundę. algorytm głębokiego uczenia działający na wyspecjalizowanym sprzęcie (np. GPU, TPU lub FPGA) może zużywać od 10¹⁴ do 10¹⁷ operacji na sekundę, głównie w postaci wysoce zrównoleglonych operacji na macierzach i wektorach. Oczywiście głębokie uczenie zależy również od dostępności dużej ilości danych treningowych oraz kilku algorytmicznych sztuczek.

Niezwykłe postępy w zakresie mocy obliczeniowej i tworzenie sieci WWW ułatwiły tworzenie bardzo dużych zbiorów danych – zjawisko zwane czasem big data. Te zestawy danych obejmują biliony słów tekstu, miliardy obrazów i miliardy godzin mowy i wideo, a także ogromne ilości danych genomowych, dane śledzenia pojazdów, dane dotyczące kliknięć, dane z sieci społecznościowych i tak dalej. Doprowadziło to do opracowania algorytmów uczenia się specjalnie zaprojektowanych do korzystania z bardzo dużych zbiorów danych. Często zdecydowana większość przykładów w takich zestawach danych jest nieoznakowana; na przykład we wpływowej pracy Yarowsky’ego (1995) na temat ujednoznacznienia w sensie słownym, wystąpienia słowa takiego jak „roślina” nie są oznaczone w zbiorze danych, aby wskazać, czy odnoszą się do flory czy fabryki. Jednak przy wystarczająco dużych zbiorach danych odpowiednie algorytmy uczenia mogą osiągnąć dokładność ponad 96% w zadaniu identyfikacji sensu zamierzonego w zdaniu. Ponadto Banko i Brill (2001) stwierdzili, że poprawa wyników uzyskana ze zwiększenia rozmiaru zbioru danych o dwa lub trzy rzędy wielkości przewyższają wszelkie ulepszenia, które można uzyskać dzięki dopracowaniu algorytmu. Wydaje się, że podobne zjawisko występuje w zadaniach widzenia komputerowego, takich jak wypełnianie dziur w fotografiach – dziur spowodowanych uszkodzeniem lub usunięciem byłych przyjaciół. Hays i Efros (2007) opracowali sprytną metodę, aby to zrobić, łącząc piksele z podobnych obrazów; odkryli, że technika ta słabo działała z bazą danych zawierającą tylko tysiące obrazów, ale przekroczyła próg jakości z milionami obrazów. Niedługo potem dostępność dziesiątek milionów obrazów w bazie ImageNet wywołała rewolucję w dziedzinie widzenia komputerowego. Dostępność dużych zbiorów danych i przejście na uczenie maszynowe pomogły AI odzyskać atrakcyjność komercyjną. Big data była kluczowym czynnikiem w zwycięstwie systemu IBM Watson w 2011 roku nad ludzkimi mistrzami w Jeopardy! quiz, wydarzenie, które miało duży wpływ na postrzeganie sztucznej inteligencji przez społeczeństwo.

Kruchość systemów eksperckich doprowadziła do nowego, bardziej naukowego podejścia obejmującego prawdopodobieństwo zamiast logiki Boole’a, uczenie maszynowe zamiast ręcznego kodowania oraz wyniki eksperymentalne zamiast twierdzeń filozoficznych. Coraz powszechniejsze stało się budowanie na istniejących teoriach niż proponowanie zupełnie nowych, opieranie twierdzeń na rygorystycznych twierdzeniach lub solidnej metodologii eksperymentalnej, a nie na intuicji, oraz wykazywanie związku z zastosowaniami w świecie rzeczywistym, a nie przykładami z zabawek. Niektórzy scharakteryzowali tę zmianę jako zwycięstwo fajnych – tych, którzy uważają, że teorie AI powinny być ugruntowane w matematycznym rygorze – nad drobiazgami – tych, którzy woleliby wypróbować wiele pomysłów, napisać kilka programów, a następnie ocenić, co wydaje się być pracujący. Oba podejścia są ważne. Przejście w kierunku schludności oznacza, że ​​pole osiągnęło poziom stabilności i dojrzałości. Obecny nacisk na głębokie uczenie się może oznaczać odrodzenie się niechlujności. Wspólne zestawy zadań porównawczych stały się normą w demonstrowaniu postępów, w tym repozytorium UC Irvine dla zestawów danych uczenia maszynowego, International Planning Competition na algorytmy planowania, korpus LibriSpeech do rozpoznawania mowy, zestaw danych MNIST do rozpoznawania odręcznych cyfr, ImageNet i COCO do rozpoznawania obiektów obrazu, SQUAD na odpowiadanie na pytania w języku naturalnym, konkurs WMT na tłumaczenie maszynowe oraz Międzynarodowe Konkursy SAT na rozwiązywanie problemów logicznych. Sztuczna inteligencja powstała częściowo jako bunt przeciwko ograniczeniom istniejących dziedzin, takich jak teoria kontroli i statystyka, ale w tym okresie obejmowała pozytywne wyniki tych dziedzin. Jak ujął to David McAllester (1998):

We wczesnym okresie sztucznej inteligencji wydawało się prawdopodobne, że nowe formy obliczeń symbolicznych, np. ramy i sieci semantyczne, sprawiły, że większość teorii klasycznej stała się przestarzała. Doprowadziło to do formy izolacjonizmu, w której sztuczna inteligencja została w dużej mierze oddzielona od reszty informatyki. Ten izolacjonizm jest obecnie porzucany. Uznaje się, że uczenie maszynowe nie powinno być izolowane od teorii informacji, niepewne rozumowanie nie powinno być izolowane od modelowania stochastycznego, wyszukiwanie nie powinno być izolowane od klasycznej optymalizacji i kontroli, a wnioskowanie automatyczne nie powinno być izolowane od metod formalnych i analiza statyczna.

Dziedzina rozpoznawania mowy ilustruje ten wzorzec. W latach 70. wypróbowano wiele różnych architektur i podejść. Wiele z nich było raczej doraźnych i kruchych i pracowało tylko na kilku starannie dobranych przykładach. W latach 80. XX wieku dominowały na tym obszarze podejścia wykorzystujące ukryte modele Markowa (HMM). Istotne są dwa aspekty HMM. Po pierwsze, opierają się na rygorystycznej teorii matematycznej. Umożliwiło to badaczom mowy oparcie się na kilku dekadach wyników matematycznych opracowanych w innych dziedzinach. Po drugie, są generowane w procesie uczenia się na dużym zbiorze rzeczywistych danych mowy. Gwarantuje to, że wydajność jest solidna, a w rygorystycznych ślepych testach HMM stale poprawiały swoje wyniki. W rezultacie technologia mowy i związana z nią dziedzina rozpoznawania pisma odręcznego przeszła do powszechnych zastosowań przemysłowych i konsumenckich. Zauważ, że nie było naukowego twierdzenia, że ​​ludzie używają HMM do rozpoznawania mowy; raczej HMM dostarczyły matematycznych ram do zrozumienia i rozwiązania problemu. Rok 1988 był ważnym rokiem dla połączenia sztucznej inteligencji z innymi dziedzinami, w tym statystyką, badaniami operacyjnymi, teorią decyzji i teorią sterowania. Judea Pearl (1988) Probabilistic Reasoning in Intelligent Systems doprowadziła do nowej akceptacji teorii prawdopodobieństwa i decyzji w AI. Rozwój sieci bayesowskich Pearla zaowocował rygorystycznym i wydajnym formalizmem przedstawiania niepewnej wiedzy, a także praktycznymi algorytmami wnioskowania probabilistycznego. Rozdziały od 12 do 16 obejmują ten obszar, oprócz nowszych osiągnięć, które znacznie zwiększyły wyrazistą moc formalizmów probabilistycznych; Rozdział 20 opisuje metody uczenia sieci bayesowskich i powiązanych modeli z danych. Drugim ważnym wkładem w 1988 r. była praca Richa Suttona łącząca uczenie się ze wzmacnianiem – które zostało użyte w programie gry w szachownicę Arthura Samuela w latach pięćdziesiątych – z teorią procesów decyzyjnych Markowa (MDP) rozwiniętą w dziedzinie badań operacyjnych. Zalew prac nastąpił po połączeniu badań nad planowaniem sztucznej inteligencji z programami MDP, a dziedzina uczenia się przez wzmacnianie znalazła zastosowanie w robotyce i kontroli procesów, a także pozyskała głębokie podstawy teoretyczne. Jedną z konsekwencji nowego uznania AI dla danych, modelowania statystycznego, optymalizacji i uczenia maszynowego było stopniowe ponowne zjednoczenie poddziedzin, takich jak wizja komputerowa, robotyka, rozpoznawanie mowy, systemy wieloagentowe i przetwarzanie języka naturalnego, które stały się nieco oddzielone od podstawowej sztucznej inteligencji. Proces reintegracji przyniósł znaczne korzyści zarówno pod względem zastosowań – na przykład rozmieszczenie praktycznych robotów znacznie rozszerzyło się w tym okresie – jak i lepszego teoretycznego zrozumienia podstawowych problemów sztucznej inteligencji.

W połowie lat osiemdziesiątych co najmniej cztery różne grupy wynalazły na nowo algorytm uczenia się z propagacją wsteczną, opracowany po raz pierwszy we wczesnych latach sześćdziesiątych. Algorytm został zastosowany do wielu problemów uczenia się w informatyce i psychologii, a szerokie rozpowszechnienie wyników w zbiorze Parallel Distributed Processing wywołało wielkie emocje. Te tak zwane koneksjonistyczne modele były postrzegane przez niektórych jako bezpośrednia konkurencja zarówno dla modeli symbolicznych promowanych przez Newella i Simona, jak i dla logicznego podejścia McCarthy’ego i innych. Może wydawać się oczywiste, że na pewnym poziomie ludzie manipulują symbolami – w rzeczywistości książka antropologa Terrence’a Deacona The Symbolic Species sugeruje, że jest to cecha definiująca ludzi. Wbrew temu Geoff Hinton, czołowa postać odrodzenia sieci neuronowych w latach 80. i 2010, opisał symbole jako „świetlisty eter sztucznej inteligencji” – odniesienie do nieistniejącego medium, przez które wielu XIX-wiecznych fizyków wierzyło, że propagacja fal elektromagnetycznych. Z pewnością wiele pojęć, które wymieniamy w języku, po bliższym przyjrzeniu się nie ma tego rodzaju logicznie zdefiniowanych koniecznych i wystarczających warunków, które wcześni badacze sztucznej inteligencji mieli nadzieję uchwycić w formie aksjomatycznej. Możliwe, że modele koneksjonistyczne tworzą wewnętrzne koncepcje w bardziej płynny i nieprecyzyjny sposób, który lepiej pasuje do bałaganu rzeczywistego świata. Mają również możliwość uczenia się na przykładach — mogą porównywać przewidywaną wartość wyjściową z rzeczywistą wartością problemu i modyfikować swoje parametry, aby zmniejszyć różnicę, zwiększając prawdopodobieństwo, że sprawdzą się dobrze w przyszłych przykładach.

Obraz rozwiązywania problemów, który pojawił się w pierwszej dekadzie badań nad sztuczną inteligencją, przedstawiał mechanizm wyszukiwania ogólnego przeznaczenia, który próbuje połączyć ze sobą elementarne kroki rozumowania w celu znalezienia kompletnych rozwiązań. Takie podejścia nazwano metodami słabymi, ponieważ, chociaż ogólnie, nie obejmują one dużych lub trudnych przypadków problemów. Alternatywą dla słabych metod jest użycie potężniejszej, specyficznej dla danej dziedziny wiedzy, która pozwala na szersze kroki rozumowania i może łatwiej radzić sobie z typowo występującymi przypadkami w wąskich obszarach specjalizacji. Można powiedzieć, że aby rozwiązać trudny problem, trzeba już prawie znać odpowiedź. Program DENDRAL był wczesnym przykładem tego podejścia. Został opracowany w Stanford, gdzie Ed Feigenbaum (były student Herberta Simona), Bruce Buchanan (filozof, który został informatykiem) i Joshua Lederberg (genetyk laureat Nagrody Nobla) połączyli siły, aby rozwiązać problem wnioskowania o strukturze molekularnej na podstawie informacji dostarczane przez spektrometr mas. Wejście do programu składa się z elementarnego wzoru cząsteczki (np. C6H13NO2) i widmo masowe określające masy różnych fragmentów cząsteczki powstających podczas bombardowania wiązką elektronów. Na przykład widmo masowe może zawierać pik przy lub odpowiadający masie fragmentu metylowego (CH3). Naiwna wersja programu generowała wszystkie możliwe struktury zgodne ze wzorem, a następnie przewidywała, jakie widmo mas będzie obserwowane dla każdego z nich, porównując to z rzeczywistym widmem. Jak można się spodziewać, jest to trudne do opanowania nawet w przypadku cząsteczek o umiarkowanym nasileniu. Naukowcy DENDRAL skonsultowali się z chemikami analitycznymi i odkryli, że pracowali, szukając dobrze znanych wzorów pików w widmie, które sugerowały wspólne podstruktury w cząsteczce. Na przykład, do rozpoznania podgrupy ketonów (C = 0) (która waży 28) stosuje się następującą regułę:

jeśli M jest masą całej cząsteczki i są dwa piki przy x1 i x2 takie, że (a) x1 + x2 = M +28; (b) x1-28 jest wysokim pikiem; (c) x2 – 28 to wysoki pik; i (d) co najmniej jeden z x1 i x2 jest wysoki, to istnieje podgrupa ketonowa.

Uznanie, że cząsteczka zawiera określoną podstrukturę, ogromnie zmniejsza liczbę możliwych kandydatów. Według jego autorów DENDRAL był potężny, ponieważ zawierał odpowiednią wiedzę o spektroskopii mas nie w postaci podstawowych zasad, ale w skutecznych „przepisach z książek kucharskich” . Znaczenie DENDRAL polegało na tym, że był to pierwszy udany system intensywnie wykorzystujący wiedzę: jego wiedza wywodziła się z dużej liczby reguł specjalnego przeznaczenia. W 1971 roku Feigenbaum i inni w Stanford rozpoczęli Heuristic Programming Project (HPP) w celu zbadania zakresu, w jakim nowa metodologia systemów eksperkichh może być zastosowana w innych obszarach. Następnym ważnym przedsięwzięciem był system MYCIN do diagnozowania infekcji krwi. Z około 450 zasadami, MYCIN był w stanie działać równie dobrze jak niektórzy eksperci i znacznie lepiej niż młodsi lekarze. Zawierał również dwie główne różnice w stosunku do DENDRAL. Po pierwsze, w przeciwieństwie do reguł DENDRAL, nie istniał żaden ogólny model teoretyczny, z którego można by wydedukować reguły MYCIN. Należało je zdobyć na podstawie obszernych wywiadów z ekspertami. Po drugie, zasady musiały odzwierciedlać niepewność związaną z wiedzą medyczną. MYCIN wprowadził rachunek niepewności zwany czynnikami pewności (patrz rozdział 13), który wydawał się (w tamtym czasie) dobrze pasować do tego, jak lekarze oceniali wpływ dowodów na diagnozę. Digital Equipment Corporation. Program pomógł w konfiguracji zamówień na nowe systemy komputerowe; do 1986 roku oszczędzał firmie około 40 milionów dolarów rocznie. Do 1988 roku grupa AI DEC miała wdrożonych 40 systemów eksperckich, a kolejne są w przygotowaniu. DuPont miał 100 w użyciu i 500 w fazie rozwoju. Prawie każda duża korporacja w USA miała własną grupę AI i albo korzystała z systemów eksperckich, albo je badała. Znaczenie wiedzy dziedzinowej było również widoczne w obszarze rozumienia języka naturalnego. Pomimo sukcesu systemu SHRDLU  Winograda, jego metody nie obejmowały bardziej ogólnych zadań: w przypadku problemów, takich jak rozwiązywanie niejednoznaczności, stosował proste zasady, które opierały się na niewielkim zasięgu świata bloków. Kilku badaczy, w tym Eugene Charniak z MIT i Roger Schank z Yale, zasugerowali, że solidne zrozumienie języka wymagałoby ogólnej wiedzy o świecie i ogólnej metody wykorzystania tej wiedzy. (Schank poszedł dalej, twierdząc: „Nie ma czegoś takiego jak składnia”, co zdenerwowało wielu lingwistów, ale posłużyło do rozpoczęcia pożytecznej dyskusji). Schank i jego uczniowie stworzyli serię programów, takich że wszyscy mieli za zadanie rozumieć język naturalny. Jednak mniejszy nacisk położono na język jako taki, a większy na problemy reprezentowania i rozumowania z wiedzą wymaganą do zrozumienia języka. Powszechny rozwój aplikacji zajmujących się rzeczywistymi problemami doprowadził do opracowania szerokiej gamy narzędzi do reprezentacji i rozumowania. Niektóre były oparte na logice – na przykład język Prologu stał się popularny w Europie i Japonii, a rodzina PLANNER w Stanach Zjednoczonych. Inni, idąc za koncepcją ramek Minsky’ego (1975), przyjęli bardziej ustrukturyzowane podejście, gromadząc fakty dotyczące poszczególnych typów obiektów i zdarzeń oraz układając je w dużą hierarchię taksonomiczną, analogiczną do taksonomii biologicznej. W 1981 r. Japoński rząd ogłosił 10-letni plan „piątej generacji” aby budować równoległe, inteligentne komputery z Prologiem. Budżet miał przekroczyć 1,3 miliarda dolarów dzisiejszych pieniędzy. W odpowiedzi Stany Zjednoczone utworzyły Microelectronics and Computer Technology Corporation (MCC), konsorcjum mające na celu zapewnienie krajowej konkurencyjności. W obu przypadkach sztuczna inteligencja była częścią szeroko zakrojonych działań, w tym projektowania chipów i badań nad interfejsem człowieka. W Wielkiej Brytanii raport Alvey przywrócił fundusze usunięte przez raport Lighthilla. Jednak żaden z tych projektów nigdy nie osiągnął swoich ambitnych celów w zakresie nowych możliwości sztucznej inteligencji lub wpływu gospodarczego. Ogólnie branża sztucznej inteligencji rozkwitła od kilku milionów dolarów w 1980 roku do miliardów dolarów w 1988 roku, w tym setki firm budujących systemy ekspertowe, systemy wizyjne, roboty oraz oprogramowanie i sprzęt wyspecjalizowane do tych celów. Niedługo potem nadszedł okres zwany „zimą AI”, w którym wiele firm upadło, ponieważ nie dotrzymały ekstrawaganckich obietnic. Okazało się, że trudno jest zbudować i utrzymać systemy ekspertowe dla złożonych dziedzin, po części dlatego, że metody rozumowania stosowane przez te systemy załamały się w obliczu niepewności, a po części dlatego, że systemy nie mogły uczyć się na doświadczeniu.

Od samego początku badacze AI nie wstydzili się przewidywać swoich przyszłych sukcesów. Często cytuje się następującą wypowiedź Herberta Simona z 1957 roku: Nie jest moim celem zaskoczenie lub szokowanie – ale najprostszym sposobem, w jaki mogę podsumować, jest stwierdzenie, że są teraz na świecie maszyny, które myślą, uczą się i tworzą. Co więcej, ich zdolność do robienia tych rzeczy będzie gwałtownie wzrastać, aż – w widzialnej przyszłości – zakres problemów, z którymi mogą sobie poradzić, będzie równy zakresowi, do którego został zastosowany ludzki umysł. Termin „widzialna przyszłość” jest niejasny, ale Simon sformułował również bardziej konkretne przewidywania: w ciągu 10 lat komputer zostanie mistrzem w szachach, a maszyna udowodni ważne twierdzenie matematyczne. Te przewidywania spełniły się (lub w przybliżeniu prawdziwe) w ciągu 40 lat, a nie 10. Zbytnia pewność siebie Simona wynikała z obiecujących wyników wczesnych systemów sztucznej inteligencji na prostych przykładach. Jednak prawie we wszystkich przypadkach te wczesne systemy zawiodły przy trudniejszych problemach. Były dwa główne powody tego niepowodzenia. Po pierwsze, wiele wczesnych systemów sztucznej inteligencji opierało się głównie na „świadomej introspekcji” dotyczącej tego, jak ludzie wykonują zadanie, a nie na dokładnej analizie zadania, co to znaczy być rozwiązaniem i co algorytm musiałby zrobić. rzetelnie wytwarzać takie rozwiązania. Drugim powodem niepowodzenia był brak uznania dla wielu problemów, które sztuczna inteligencja próbowała rozwiązać. Większość wczesnych systemów rozwiązywania problemów działała, próbując różnych kombinacji kroków, aż do znalezienia rozwiązania. Ta strategia działała początkowo, ponieważ mikroświaty zawierały bardzo niewiele obiektów, a zatem bardzo mało możliwych działań i bardzo krótkie sekwencje rozwiązań. Zanim opracowano teorię złożoności obliczeniowej, powszechnie uważano, że „skalowanie” do większych problemów jest po prostu kwestią szybszego sprzętu i większych pamięci. Optymizm, który towarzyszył na przykład rozwojowi dowodzenia twierdzeń o rozdzielczości, szybko osłabł, gdy naukowcom nie udało się udowodnić twierdzeń obejmujących kilkadziesiąt faktów. Fakt, że program może w zasadzie znaleźć rozwiązanie, nie oznacza, że ​​program zawiera którykolwiek z mechanizmów potrzebnych do znalezienia go w praktyce. Iluzja nieograniczonej mocy obliczeniowej nie ograniczała się do programów rozwiązywania problemów. Wczesne eksperymenty z ewolucją maszyn (obecnie zwane programowaniem genetycznym) opierały się na niewątpliwie słusznym przekonaniu, że dokonując odpowiedniej serii małych mutacji w programie kodu maszynowego, może wygenerować program z dobrą wydajnością dla każdego konkretnego zadania. Pomysł polegał więc na wypróbowaniu losowych mutacji z procesem selekcji, aby zachować mutacje, które wydawały się przydatne. Pomimo tysięcy godzin czasu pracy procesora nie wykazano prawie żadnego postępu. Brak zmierzenia się z „eksplozją kombinatoryczną” był jednym z głównych zarzutów dotyczących sztucznej inteligencji zawartym w raporcie Lighthill , który stał się podstawą decyzji rządu brytyjskiego o zaprzestaniu wspierania badań nad sztuczną inteligencją we wszystkich dwie uczelnie. (Tradycja ustna przedstawia nieco inny i bardziej kolorowy obraz, z ambicjami politycznymi i osobistymi animozami, których opis nie ma znaczenia). Trzecia trudność pojawiła się z powodu pewnych fundamentalnych ograniczeń dotyczących podstawowych struktur używanych do generowania inteligentnych zachowań. Na przykład książka Minsky’ego i Paperta Perceptrons (1969) dowiodła, że ​​chociaż można wykazać, że perceptrony (prosta forma sieci neuronowej) uczą się wszystkiego, co są w stanie przedstawić, mogą reprezentować bardzo niewiele. W szczególności nie można było nauczyć perceptronu z dwoma wejściami, aby rozpoznawał, kiedy jego dwa wejścia są różne. Chociaż ich wyniki nie odnosiły się do bardziej złożonych, wielowarstwowych sieci, finansowanie badań nad sieciami neuronowymi wkrótce spadło prawie do zera. Jak na ironię, nowe algorytmy uczenia się z propagacją wsteczną, które miały spowodować ogromny odrodzenie w badaniach nad sieciami neuronowymi pod koniec lat 80. i ponownie w 2010 r., Zostały już opracowane w innych kontekstach na początku lat 60.

Intelektualny establishment lat pięćdziesiątych w większości wolał wierzyć, że „maszyna nigdy tego nie zrobi”. Badacze sztucznej inteligencji naturalnie zareagowali, demonstrując jeden po drugim. Skoncentrowali się w szczególności na zadaniach uważanych za wskazujące na inteligencję u ludzi, w tym na grach, łamigłówkach, matematyce i testach IQ. John McCarthy określił ten okres jako „Spójrz, mamo, bez rąk!” era. Newell i Simon kontynuowali swój sukces z LT za pomocą General Problem Solver, czyli GPS. W przeciwieństwie do LT, ten program został zaprojektowany od samego początku, aby naśladować ludzkie protokoły rozwiązywania problemów. W ograniczonej klasie łamigłówek, które potrafił, okazało się, że kolejność, w jakiej program uwzględniał cele cząstkowe i możliwe działania, była podobna do tej, w której ludzie podchodzili do tych samych problemów. Tak więc GPS był prawdopodobnie pierwszym programem, który ucieleśniał podejście „myślące po ludzku”. Sukces GPS i późniejszych programów jako modeli poznania skłonił Newella i Simona (1976) do sformułowania słynnej hipotezy dotyczącej fizycznego systemu symboli, która stwierdza, że ​​„fizyczny system symboli ma niezbędne i wystarczające środki dla ogólnego inteligentnego działania”. Chodziło im o to, że każdy system (człowiek lub maszyna) wykazujący inteligencję musi działać poprzez manipulowanie strukturami danych złożonymi z symboli. Zobaczymy później, że hipoteza ta została zakwestionowana z wielu kierunków. W IBM Nathaniel Rochester i jego koledzy stworzyli jedne z pierwszych programów AI. Herbert Gelernter (1959) skonstruował narzędzie Geometry Theorem Prover, które było w stanie udowodnić twierdzenia, które wielu studentów matematyki uzna za dość skomplikowane. Ta praca była prekursorem współczesnych dowodów matematycznych. Ze wszystkich prac badawczych wykonanych w tym okresie, być może najbardziej wpływowa na dłuższą metę była praca Arthura Samuela nad warcabami (warcabami). Korzystając z metod, które teraz nazywamy uczeniem się przez wzmacnianie, programy Samuela nauczyły się grać na silnym poziomie amatorskim. W ten sposób obalił pogląd, że komputery mogą robić tylko to, co im każą: jego program szybko nauczył się grać w lepszą grę niż jego twórca. Program został wyemitowany w telewizji w 1956 roku, robiąc duże wrażenie. Podobnie jak Turing, Samuel miał problem ze znalezieniem czasu na komputerze. Pracując w nocy, używał maszyn, które wciąż znajdowały się na podłodze testowej w fabryce IBM. Program Samuela był prekursorem późniejszych systemów takich jak TD-GAMMON, który był jednym z najlepszych graczy w backgammona na świecie, oraz ALPHAGO (Silver i in., 2016), który zszokował świat pokonując mistrza świata w Go . W 1958 roku John McCarthy wniósł dwa ważne wkłady w rozwój sztucznej inteligencji. W MIT AI Lab Memo No. 1 zdefiniował język wysokiego poziomu Lisp, który miał stać się dominującym językiem programowania AI na następne 30 lat. W artykule zatytułowanym Programs with Common Sense przedstawił koncepcyjną propozycję systemów sztucznej inteligencji w oparciu o wiedzę i rozumowanie. Artykuł opisuje Advice Taker, hipotetyczny program, który ucieleśnia ogólną wiedzę o świecie i mógłby wykorzystać ją do tworzenia planów działania. Koncepcja została zilustrowana prostymi logicznymi aksjomatami, które wystarczą do wygenerowania planu dojazdu na lotnisko. Program został również zaprojektowany tak, aby akceptować nowe aksjomaty w normalnym toku działania, umożliwiając w ten sposób osiąganie kompetencji w nowych obszarach bez konieczności przeprogramowywania. Doradca uosabiał w ten sposób główne zasady reprezentacji wiedzy i rozumowania: że warto mieć formalną, wyraźną reprezentację świata i jego działania oraz móc manipulować tą reprezentacją za pomocą procesów dedukcyjnych. Artykuł wpłynął na przebieg sztucznej inteligencji i pozostaje aktualny do dziś. W 1958 roku Marvin Minsky przeniósł się do MIT. Jego początkowa współpraca z McCarthym nie trwała jednak długo. McCarthy kładł nacisk na reprezentację i rozumowanie w logice formalnej, podczas gdy Minsky był bardziej zainteresowany uruchamianiem programów i ostatecznie opracował antylogiczne podejście. W 1963 roku McCarthy założył laboratorium AI w Stanford. Jego plan wykorzystania logiki do zbudowania ostatecznego Doradcy zostało osiągnięte dzięki odkryciu przez J. A. Robinsona w 1965 roku metody rozwiązania (algorytm pełnego dowodzenia twierdzeń dla logiki pierwszego rzędu). Praca w Stanford kładła nacisk na ogólne metody logicznego rozumowania. Zastosowania logiki obejmowały systemy odpowiadania na pytania i planowania Cordella Greena  oraz projekt robotyki Shakey w Stanford Research Institute (SRI). Ten ostatni projekt, był pierwszym, który zademonstrował pełną integrację logicznego rozumowania i aktywności fizycznej. Na MIT Minsky nadzorował grupę studentów, którzy wybrali ograniczone problemy, które, jak się wydawało, wymagały inteligencji do rozwiązania. Te ograniczone domeny stały się znane jako mikroświaty. Program SAINT Jamesa Slagle’a (1963) był w stanie rozwiązać problemy integracji rachunku różniczkowego w formie zamkniętej, typowe dla studiów pierwszego roku. Program ANALOGIA Toma Evansa (1968) rozwiązał problemy analogii geometrycznych, które pojawiają się w testach IQ. Program STUDENT Daniela Bobrowa (1967) rozwiązał problemy z historią algebry, takie jak:

Jeśli liczba klientów, których pozyskuje Tom, jest dwukrotnością kwadratu 20% liczby reklam, które wyświetla, a liczba reklam, które wyświetla, wynosi 45, to jaką liczbę klientów pozyskuje Tomek?

Najbardziej znanym mikroświatem jest świat klocków, który składa się z zestawu solidnych bloków umieszczonych na blacie (lub częściej symulacji blatu), jak pokazano na rysunku

Typowym zadaniem na tym świecie jest przestawianie klocków w określony sposób za pomocą ręki robota, która może podnosić jeden blok na raz. Świat bloków był domem dla projektu wizji Davida Huffmana (1971), wizji i propagowania ograniczeń pracy Davida Waltza (1975), teorii uczenia się Patricka Winstona (1970), programu rozumienia języka naturalnego Terry’ego Winograda (1972) i planista Scotta Fahlmana (1974). Wczesne prace oparte na sieciach neuronowych firm McCulloch i Pitts również rozkwitły. Praca Shmuela Winograda i Jacka Cowana (1963) pokazała, jak duża liczba elementów może wspólnie reprezentować indywidualną koncepcję, z odpowiednim wzrostem odporności i równoległości. Metody uczenia się Hebba zostały wzmocnione przez Berniego Widrowa (Widrow i Hoff, 1960; Widrow, 1962), który nazwał swoje sieci adalines, oraz przez Franka Rosenblatta (1962) za pomocą swoich perceptronów. Twierdzenie o zbieżności perceptronu (Block et al., 1962) mówi, że algorytm uczenia się może dostosować siłę połączenia perceptronu aby dopasować dowolne dane wejściowe, o ile takie dopasowanie istnieje.

Pierwszą pracę, która jest obecnie powszechnie uznawana za sztuczną inteligencję, wykonali Warren McCulloch i Walter Pitts (1943). Zainspirowani modelowaniem matematycznym pracy doradcy Pittsa, Nicolasa (1936, 1938), oparli się na trzech źródłach: znajomość podstaw fizjologii i funkcji neuronów w mózgu; formalna analiza logiki zdań ze względu na Russella i Whiteheada; i teoria obliczeń Turinga. Zaproponowali model sztucznych neuronów, w którym każdy neuron jest scharakteryzowany jako „włączony” lub „wyłączony”, z przełączeniem w stan „włączony” występującym w odpowiedzi na stymulację przez wystarczającą liczbę sąsiednich neuronów. Stan neuronu został pomyślany jako „faktyczny odpowiednik zdania, które proponowało odpowiedni bodziec”. Pokazali na przykład, że każda obliczalna funkcja może być obliczona przez jakąś sieć połączonych neuronów i że wszystkie logiczne połączenia (AND, OR, NOT itd.) Mogą być implementowane przez proste struktury sieciowe. McCulloch i Pitts zasugerowali również, że odpowiednio zdefiniowane sieci mogą się uczyć. Donald Hebb (1949) zademonstrował prostą regułę aktualizacji do modyfikowania siły połączenia między neuronami. Jego rządy, zwane obecnie nauką hebbiańską, do dziś pozostają wpływowym wzorem. Dwóch studentów studiów licencjackich na Harvardzie, Marvin Minsky (1927–2016) i Dean Edmonds, zbudowało pierwszy komputer sieci neuronowej w 1950 r. SNARC, jak go nazywano, wykorzystywał 3000 lamp próżniowych i nadwyżkowy mechanizm automatycznego pilota z bombowca B-24. do symulacji sieci 40 neuronów. Później w Princeton Minsky studiował obliczenia uniwersalne w sieciach neuronowych. Jego doktorat Komitet był sceptyczny co do tego, czy tego rodzaju prace należy uznać za matematykę, ale von Neumann podobno powiedział: „Jeśli nie teraz, to kiedyś będzie”. Było wiele innych przykładów wczesnych prac, które można scharakteryzować jako sztuczną inteligencję, w tym dwa programy do gry w warcaby opracowane niezależnie w 1952 roku przez Christophera Strachey’a na Uniwersytecie w Manchesterze i Arthura Samuela w IBM. Jednak wizja Alana Turinga była najbardziej wpływowa. Wykładał na ten temat już w 1947 r. w London Mathematical Society i sformułował przekonujący program w swoim artykule z 1950 r. „Computing Machinery and Intelligence”. Tam wprowadził test Turinga, uczenie maszynowe, algorytmy genetyczne i uczenie ze wzmocnieniem. Zajmował się wieloma zarzutami podniesionymi co do możliwości AI.Zasugerował również że łatwiej byłoby stworzyć sztuczną inteligencję na poziomie człowieka, opracowując algorytmy uczące się, a następnie ucząc maszynę, zamiast ręcznie programować jej inteligencję. W kolejnych wykładach ostrzegał, że osiągnięcie tego celu może nie być najlepszą rzeczą dla rasy ludzkiej. W 1955 roku John McCarthy z Dartmouth College przekonał Minsky’ego, Claude’a Shannona i Nathaniela Rochestera, aby pomogli mu zebrać amerykańskich naukowców zainteresowanych teorią automatów, sieciami neuronowymi i badaniami inteligencji. Zorganizowali dwumiesięczne warsztaty w Dartmouth latem 1956 r. W sumie wzięło w nich udział 10 osób, w tym Allen Newell i Herbert Simon z Carnegie Tech, Trenchard More z Princeton, Arthur Samuel z IBM oraz Ray Solomonoff i Oliver Selfridge z MIT . We wniosku stwierdza się:

Proponujemy, aby latem 1956 r. W Dartmouth College w Hanowerze w stanie New Hampshire przez 2 miesiące przeprowadzono badanie nad sztuczną inteligencją dla 10 osób. Badanie ma być kontynuowane w oparciu o przypuszczenie, że każdy aspekt uczenia się lub jakąkolwiek inną cechę inteligencji można w zasadzie opisać tak precyzyjnie, że można stworzyć maszynę, która ją symuluje. Podjęta zostanie próba znalezienia sposobów, aby maszyny używały języka, tworzyły abstrakcje i koncepcje, rozwiązywały problemy zarezerwowane obecnie dla ludzi i poprawiały się. Uważamy, że w przypadku jednego lub więcej z tych problemów można dokonać znacznego postępu, jeśli starannie dobrana grupa naukowców będzie nad tym wspólnie pracować przez lato.

Mimo tej optymistycznej prognozy warsztaty w Dartmouth nie przyniosły żadnych przełomów. Newell i Simon przedstawili być może najbardziej dojrzałą pracę, system matematycznego dowodzenia twierdzeń zwany teoretykiem logiki (LT). Simon twierdzi, d: „Wynaleźliśmy program komputerowy zdolny do myślenia nieliczbowego i tym samym rozwiązaliśmy czcigodny problem ciała i umysłu”. Wkrótce po warsztatach program był w stanie udowodnić większość twierdzeń z rozdziału 2 Principia Mathematica Russella i Whiteheada. Russell był podobno zachwycony, gdy powiedziano mu, że LT wymyślił dowód na jedno twierdzenie, które było krótsze niż to z Principia. Mniej pod wrażeniem byli redaktorzy Journal of Symbolic Logic; odrzucili artykuł, którego współautorem są Newell, Simon i Logic Theorist.

Jednym z szybkich sposobów podsumowania kamieni milowych w historii sztucznej inteligencji jest wymienienie laureatów nagrody Turinga: Marvina Minsky’ego i Johna McCarthy’ego za zdefiniowanie podstaw tej dziedziny w oparciu o reprezentację i rozumowanie; Edowi Feigenbaumowi i Rajowi Reddy’emu  za opracowanie systemów eksperckich, które kodują ludzką wiedzę w celu rozwiązywania rzeczywistych problemów; Judea Pearl (2011) za opracowanie probabilistycznych technik rozumowania, które radzą sobie z niepewnością w sposób zasadniczy; i wreszcie Yoshua Bengio, Geoffrey Hinton i Yann LeCun (2019) za uczynienie „głębokiego uczenia się” (wielowarstwowych sieci neuronowych) kluczową częścią współczesnych komputerów. Reszta tej sekcji zawiera bardziej szczegółowe informacje na temat każdej fazy historii sztucznej inteligencji.