Miesiąc: czerwiec 2021

To, co jest racjonalne w danym momencie, zależy od czterech rzeczy:

* Miara wydajności, która określa kryterium sukcesu.

* Uprzednia wiedza agenta o środowisku.

* Czynności, które agent może wykonać.

* Dotychczasowa sekwencja percepcji agenta.

Prowadzi to do definicji racjonalnego sprawcy:

Dla każdej możliwej sekwencji percepcji racjonalny agent powinien wybrać działanie, które powinno zmaksymalizować jego miarę wydajności, biorąc pod uwagę dowody dostarczone przez sekwencję percepcji i jakąkolwiek wbudowaną wiedzę agenta.

Rozważmy prosty środek do odkurzacza, który czyści kwadrat, jeśli jest brudny, i przenosi się na drugi kwadrat, jeśli nie .

Czy to racjonalny agent? To zależy! Najpierw musimy powiedzieć, czym jest miara wydajności, co wiadomo o środowisku oraz jakie czujniki i aktuatory posiada agent. Załóżmy, że:

* Miara wydajności przyznaje jeden punkt za każdy czysty kwadrat w każdym kroku czasowym, w „życiu” 1000 przedziałów czasowych.

*„Geografia” środowiska jest znana a priori (rysunek 2.2), ale nie jest znana dystrybucja brudu i początkowa lokalizacja agenta. Czyste kwadraty pozostają czyste, a ssanie czyści obecny kwadrat. Akcje Prawo i Lewo przesuwają agenta o jedno pole, chyba że spowoduje to wyniesienie agenta poza otoczenie, w którym to przypadku agent pozostaje tam, gdzie jest.

* Jedyne dostępne akcje to Prawo, Lewo i Ssanie.

* Agent prawidłowo rozpoznaje swoją lokalizację i czy ta lokalizacja zawiera brud.

W tych okolicznościach sprawca jest rzeczywiście racjonalny; jego oczekiwana wydajność jest co najmniej tak dobra, jak każdego innego agenta. Łatwo zauważyć, że ten sam agent byłby irracjonalny w różnych okolicznościach. Na przykład, gdy cały brud zostanie oczyszczony, środek będzie niepotrzebnie oscylował w tę i z powrotem; jeśli miara wydajności zawiera karę w wysokości jednego punktu za każdy ruch, agent poradzi sobie słabo. Lepszy środek do tego przypadku nic by nie zrobił, gdybyśmy mieli pewność, że wszystkie kwadraciki są czyste. Jeśli czyste kwadraty mogą się ponownie zabrudzić, środek powinien od czasu do czasu sprawdzać i w razie potrzeby ponownie je czyścić. Jeśli geografia środowiska jest nieznana, agent będzie musiał ją zbadać.

Racjonalny agent to taki, który postępuje właściwie. Oczywiście, robienie właściwych rzeczy jest lepsze niż niewłaściwe, ale co to znaczy postępować właściwie?

Mierniki wydajności

Filozofia moralna rozwinęła kilka różnych pojęć „właściwej rzeczy”, ale sztuczna inteligencja generalnie trzyma się jednego pojęcia zwanego konsekwencjalizmem: oceniamy zachowanie sprawcy na podstawie jego konsekwencji. Kiedy agent zostaje umieszczony w środowisku, generuje sekwencję działań zgodnie z otrzymanymi spostrzeżeniami. Ta sekwencja działań powoduje, że środowisko przechodzi przez sekwencję stanów. Jeśli kolejność jest pożądana, agent działał dobrze. To pojęcie atrakcyjności jest uchwycone przez miarę wydajności, która ocenia dowolną sekwencję stanów środowiska. Ludzie mają własne pragnienia i preferencje, więc pojęcie racjonalności w odniesieniu do ludzi wiąże się z ich sukcesem w wyborze działań, które wytwarzają sekwencje stanów środowiska, które są pożądane z ich punktu widzenia. Z drugiej strony maszyny nie mają własnych pragnień i preferencji; miara wydajności jest, przynajmniej początkowo, w umyśle projektanta maszyny lub w umyśle użytkowników, dla których maszyna jest zaprojektowana. Zobaczymy, że niektóre projekty agentów mają wyraźną reprezentację (wersji) miary wydajności, podczas gdy w innych projektach miara wydajności jest całkowicie niejawna — agent może postępować właściwie, ale nie wie, dlaczego.

Przypominając ostrzeżenie Norberta Wienera, aby upewnić się, że „cel umieszczony w maszynie jest celem, którego naprawdę pragniemy” (strona 33), zauważ, że prawidłowe sformułowanie miary wydajności może być dość trudne. Weźmy na przykład środek do odkurzacza z poprzedniej sekcji. Możemy zaproponować mierzenie wydajności na podstawie ilości brudu usuniętego podczas jednej ośmiogodzinnej zmiany. Oczywiście z racjonalnym agentem to, o co prosisz, jest tym, co dostajesz. Racjonalny środek może zmaksymalizować tę miarę wydajności, usuwając brud, a następnie zrzucając go na podłogę, a następnie usuwając go ponownie i tak dalej. Bardziej odpowiedni miernik wydajności nagradzałby agenta za posiadanie czystej podłogi. Na przykład, jeden punkt może być przyznany za każde czyste pole na każdym kroku czasowym (być może z karą za zużytą energię elektryczną i generowany hałas). Zgodnie z ogólną zasadą, lepiej projektować mierniki wydajności zgodnie z tym, co faktycznie chce się osiągnąć w środowisku, niż zgodnie z tym, jak według nas agent powinien się zachowywać. Nawet jeśli uniknie się oczywistych pułapek, pewne zawiłe problemy pozostają. Na przykład pojęcie „czystej podłogi” w poprzednim akapicie opiera się na średniej czystości w czasie. Jednak tę samą średnią czystość można osiągnąć za pomocą dwóch różnych środków, z których jeden cały czas wykonuje przeciętną pracę, podczas gdy drugi sprząta energicznie, ale robi długie przerwy. Co jest lepsze, może wydawać się dobrym punktem nauki sprzątania, ale w rzeczywistości jest to głębokie pytanie filozoficzne o dalekosiężnych implikacjach. Co jest lepsze – lekkomyślne życie pełne wzlotów i upadków, czy bezpieczna, ale nudna egzystencja? Co jest lepsze – gospodarka, w której wszyscy żyją w umiarkowanym ubóstwie, czy taka, w której niektórzy żyją w dostatku, podczas gdy inni są bardzo biedni? Te pytania pozostawiamy jako ćwiczenie dla pilnego czytelnika. W przypadku większości książki założymy, że miara wydajności może być określona poprawnie. Z powodów podanych powyżej musimy jednak zaakceptować możliwość, że możemy nadać maszynie niewłaściwy cel – a dokładnie problem Kinga Midasa opisany na stronie 33. Co więcej, projektując jeden program, którego kopie będą należeć do różnych użytkowników, nie możemy przewidzieć dokładnych preferencji każdego indywidualnego użytkownika. W związku z tym może być konieczne zbudowanie agentów, które odzwierciedlają początkową niepewność co do prawdziwej miary wydajności i dowiadują się o niej więcej w miarę upływu czasu.

Agentem jest wszystko, co można postrzegać jako postrzegające swoje otoczenie za pomocą czujników i działające na to środowisko za pomocą siłowników. Ta prosta idea została zilustrowana na rysunku

Ludzki agent ma oczy, uszy i inne narządy dla czujników i rąk, nóg, traktu głosowego itd. dla siłowników. Zrobotyzowany agent może mieć kamery i dalmierze na podczerwień do czujników i różne silniki do siłowników. Agent oprogramowania odbiera zawartość plików, pakiety sieciowe i dane wprowadzane przez człowieka (klawiatura/mysz/ekran dotykowy/głos) jako dane sensoryczne i działa na środowisko, zapisując pliki, wysyłając pakiety sieciowe i wyświetlając informacje lub generując dźwięki. Środowisko może być wszystkim — całym wszechświatem! W praktyce jest to tylko ta część wszechświata, na której stanie zależy nam przy projektowaniu tego podmiotu — część, która wpływa na to, co podmiot postrzega i na którą wpływają jego działania. Terminu percept używamy w odniesieniu do treści, które postrzegają czujniki agenta. Sekwencja percepcji agenta to pełna historia wszystkiego, co agent kiedykolwiek postrzegał. Ogólnie rzecz biorąc, wybór działania agenta w dowolnym momencie może zależeć od jego wbudowanej wiedzy i całej sekwencji percepcji zaobserwowanej do tej pory, ale nie od niczego, czego nie dostrzegł. Określając wybór działania agenta dla każdej możliwej sekwencji percepcji, powiedzieliśmy mniej więcej wszystko, co można powiedzieć o agencie. Mówiąc matematycznie, mówimy, że zachowanie agenta jest opisane przez funkcję agenta, która odwzorowuje dowolną sekwencję percepcji na działanie. Możemy sobie wyobrazić zestawienie funkcji agenta, która opisuje danego agenta; dla większości agentów byłby to bardzo duży stół — w rzeczywistości nieskończony, chyba że ograniczymy długość ciągów perceptu, które chcemy wziąć pod uwagę. Mając agenta do eksperymentowania, możemy w zasadzie skonstruować tę tabelę, wypróbowując wszystkie możliwe sekwencje percepcji i rejestrowanie działań wykonywanych przez agenta w odpowiedzi. Tabela jest oczywiście zewnętrzną charakterystyką agenta. Wewnętrznie funkcja agenta dla sztucznego agenta zostanie zaimplementowana przez program agenta. Ważne jest, aby te dwie idee były odrębne. Funkcja agenta jest abstrakcyjnym opisem matematycznym; program agenta jest konkretną implementacją, działającą w jakimś fizycznym systemie. Aby zilustrować te idee, posłużymy się prostym przykładem – światem odkurzaczy, który składa się z robota odkurzającego w świecie składającym się z kwadratów, które mogą być albo brudne, albo czyste. Rysunek poniżej przedstawia konfigurację z zaledwie dwoma kwadratami oraz  odkurzacz rozpoznaje, na którym kwadracie się znajduje i czy na kwadracie jest brud.

Agent zaczyna od kwadratu. Dostępne akcje to ruch w prawo, ruch w lewo, zasysanie brudu lub nic nierobienie. Jedna bardzo prosta funkcja agenta jest następująca: jeśli bieżący kwadrat jest brudny, to ssać; w przeciwnym razie przejdź do drugiego pola. Częściową tabelę tej funkcji agenta pokazano na rysunku 2.3, a program agenta, który ją implementuje, pokazano na rysunku 2.8 na stronie 49. Świat odkurzaczy z zaledwie dwoma lokalizacjami. Każda lokalizacja może być czysta lub brudna, a agent może poruszać się w lewo lub w prawo i sprzątać zajmowany przez siebie plac. Różne wersje świata próżni dopuszczają różne reguły dotyczące tego, co agent może postrzegać, czy jego działania zawsze kończą się sukcesem i tak dalej. Patrząc na rysunek powyżej widzimy, że różne czynniki w świecie próżni można zdefiniować po prostu, wypełniając prawą kolumnę na różne sposoby

Oczywiste pytanie brzmi zatem: Jaki jest właściwy sposób wypełnienia tabeli? Innymi słowy, co sprawia, że ​​agent jest dobry czy zły, inteligentny czy głupi? Na te pytania odpowiemy w następnej sekcji.

Przed zamknięciem tego rozdziału należy podkreślić, że pojęcie agenta ma być narzędziem analizy systemów, a nie absolutną charakterystyką dzielącą świat na agentów i nie-agentów. Można by postrzegać ręczny kalkulator jako agenta, który wybiera akcję   polegającą na wyświetlaniu „4”, gdy otrzymamy sekwencję percepcji, ale taka analiza nie pomogłaby nam w zrozumieniu kalkulatora. W pewnym sensie wszystkie obszary inżynierii można postrzegać jako projektowanie artefaktów, które wchodzą w interakcję ze światem; AI operuje na (co autorzy uznają) najciekawszym krańcem spektrum, gdzie artefakty posiadają znaczne zasoby obliczeniowe, a środowisko zadań wymaga podejmowania nietrywialnych decyzji.

Wcześniej zidentyfikowano pojęcie racjonalnych agentów jako kluczowe w naszym podejściu do sztucznej inteligencji. Teraz skonkretyzujemy to pojęcie. Zobaczymy, że pojęcie racjonalności można zastosować do szerokiej gamy agentów działających w każdym wyobrażalnym środowisku. Naszym planem jest wykorzystanie tej koncepcji do opracowania niewielkiego zestawu zasad projektowych do budowania skutecznych systemów agentowych, które można rozsądnie nazwać inteligentnymi. Zaczynamy od zbadania agentów, środowisk i sprzężenia między nimi. Obserwacja, że ​​niektórzy agenci zachowują się lepiej niż inni, prowadzi w naturalny sposób do idei racjonalnego agenta – takiego, który zachowuje się najlepiej, jak to możliwe. To, jak dobrze agent może się zachowywać, zależy od natury środowiska; niektóre środowiska są trudniejsze niż inne. Podajemy zgrubną kategoryzację środowisk i pokazujemy, jak właściwości środowiska wpływają na projektowanie odpowiednich agentów dla tego środowiska. Opisujemy kilka podstawowych projektów agentów „szkieletu”, które omówimy w dalszej części.

Zdefiniowano sztuczną inteligencję i określono tło kulturowe, na którym się rozwija. Niektóre z ważnych punktów są następujące:

* Różni ludzie podchodzą do AI, mając na uwadze różne cele. Dwa ważne pytania, które należy zadać, to: Czy interesuje Cię myślenie lub zachowanie? Chcesz modelować ludzi, czy starać się osiągnąć optymalne rezultaty?

* Zgodnie z tym, co nazwaliśmy modelem standardowym, sztuczna inteligencja dotyczy głównie racjonalnego działania. Idealny inteligentny agent podejmuje w danej sytuacji najlepszą możliwą akcję. Badamy problem budowania agentów inteligentnych w tym sensie.

* Potrzebne są dwa udoskonalenia tej prostej idei: po pierwsze, zdolność dowolnego podmiotu, człowieka lub innego, do wyboru racjonalnych działań jest ograniczona przez obliczeniową niewykonalność takiego postępowania; po drugie, pojęcie maszyny, która realizuje określony cel, należy zastąpić pojęciem maszyny dążącej do osiągnięcia korzyści dla ludzi, ale nie ma pewności, jakie są te cele.

* Filozofowie (powracając do 400 r. p.n.e.) stworzyli sztuczną inteligencję, sugerując, że umysł jest pod pewnymi względami jak maszyna, że ​​operuje na wiedzy zakodowanej w jakimś wewnętrznym języku i że myśl może być użyta do wyboru działań, które należy podjąć.

* Matematycy dostarczyli narzędzi do manipulowania twierdzeniami o logicznej pewności, a także niepewnymi twierdzeniami probabilistycznymi. Położyli również podwaliny pod zrozumienie obliczeń i wnioskowania na temat algorytmów.

* Ekonomiści sformalizowali problem podejmowania decyzji, które maksymalizują oczekiwaną użyteczność dla decydenta.

* Neuronaukowcy odkryli kilka faktów na temat działania mózgu i sposobów, w jakie jest on podobny do komputerów i różni się od nich.

* Psychologowie przyjęli ideę, że ludzi i zwierzęta można uznać za maszyny przetwarzające informacje. Językoznawcy wykazali, że używanie języka pasuje do tego modelu.

* Inżynierowie komputerowi dostarczyli coraz potężniejsze maszyny, które umożliwiają tworzenie aplikacji AI, a inżynierowie oprogramowania uczynili je bardziej użytecznymi.

* Teoria sterowania zajmuje się projektowaniem urządzeń, które działają optymalnie na podstawie informacji zwrotnej z otoczenia. Początkowo narzędzia matematyczne teorii sterowania znacznie różniły się od tych stosowanych w sztucznej inteligencji, ale pola te coraz bardziej się do siebie zbliżają.

* Historia sztucznej inteligencji miała cykle sukcesów, niesłusznego optymizmu i wynikające z tego cięcia entuzjazmu i finansowania. Zdarzały się też cykle wprowadzania nowych, kreatywnych podejść i systematycznego dopracowywania tych najlepszych.

* Sztuczna inteligencja znacznie dojrzała w porównaniu z wczesnymi dekadami, zarówno teoretycznie, jak i metodologicznie. W miarę jak problemy, którymi zajmuje się sztuczna inteligencja, stawały się coraz bardziej złożone, dziedzina przeszła od logiki Boole’a do rozumowania probabilistycznego i od ręcznie tworzonej wiedzy do uczenia maszynowego na podstawie danych. Doprowadziło to do poprawy możliwości rzeczywistych systemów i większej integracji z innymi dyscyplinami.

* Ponieważ systemy sztucznej inteligencji znajdują zastosowanie w świecie rzeczywistym, konieczne stało się uwzględnienie szerokiego zakresu zagrożeń i konsekwencji etycznych.

* W dłuższej perspektywie mamy do czynienia z trudnym problemem kontrolowania superinteligentnych systemów sztucznej inteligencji, które mogą ewoluować w nieprzewidywalny sposób. Rozwiązanie tego problemu wydaje się wymagać zmiany naszej koncepcji sztucznej inteligencji.

Techniki sztucznej inteligencji są przydatne w obronie przed cyberatakami, na przykład poprzez wykrywanie nietypowych wzorców zachowań, ale przyczynią się również do zwiększenia siły, przeżywalności i możliwości rozprzestrzeniania się złośliwego oprogramowania. Na przykład, metody uczenia się przez wzmocnienie zostały wykorzystane do stworzenia wysoce skutecznych narzędzi do zautomatyzowanego, spersonalizowanego szantażu i ataków phishingowych. Powrócimy do tych tematów bardziej szczegółowo w rozdziale 27.3. Gdy systemy sztucznej inteligencji staną się bardziej wydajne, przejmą więcej ról społecznych, które wcześniej odgrywali ludzie. Tak jak ludzie wykorzystywali te role w przeszłości do popełniania psot, możemy się spodziewać, że ludzie mogą nadużywać systemów sztucznej inteligencji w tych rolach, aby popełniać jeszcze więcej psot. Wszystkie powyższe przykłady wskazują na znaczenie zarządzania i, ostatecznie, regulacji. Obecnie, społeczność naukowa i główne korporacje zaangażowane w badania nad sztuczną inteligencją opracowały dobrowolne zasady samorządności dla działań związanych z AI. Rządy i organizacje międzynarodowe tworzą organy doradcze w celu opracowania odpowiednich regulacji dla każdego konkretnego przypadku użycia, przygotowania się na skutki gospodarcze i społeczne oraz wykorzystania możliwości sztucznej inteligencji w celu rozwiązania głównych problemów społecznych. A co w dłuższej perspektywie? Czy osiągniemy odwieczny cel: stworzenie inteligencji porównywalnej lub bardziej zdolnej niż inteligencja ludzka? A jeśli tak, to co wtedy? Przez większą część historii sztucznej inteligencji pytania te były przyćmione przez codzienny trud zmuszania systemów sztucznej inteligencji do robienia czegokolwiek, nawet zdalnie inteligentnego. Podobnie jak w przypadku każdej szerokiej dyscypliny, zdecydowana większość badaczy sztucznej inteligencji wyspecjalizowała się w określonej poddziedzinie, takiej jak rozgrywka, reprezentacja wiedzy, wizja lub rozumienie języka naturalnego – często zakładając, że postęp w tych poddziedzinach przyczyniłby się do szerszych celów sztucznej inteligencji. Nils Nilsson (1995), jeden z pierwotnych liderów projektu Shakey’a w SRI, przypomniał te szersze cele i ostrzegł, że poddziedziny mogą stać się celami samymi w sobie. Później niektórzy wpływowi twórcy sztucznej inteligencji, w tym John McCarthy (2007), Marvin Minsky (2007) i Patrick Winsto, zgodzili się z ostrzeżeniami Nilssona, sugerując, że zamiast koncentrować się na mierzalnej wydajności w określonych zastosowaniach, sztuczna inteligencja powinna powrócić do swoich korzeni dążenia do, słowami Herba Simona, „maszyny, które myślą, które uczą się i które tworzą”. Nazwali wysiłek AI na poziomie człowieka lub HLAI – maszyna powinna być w stanie nauczyć się wszystkiego, co może zrobić człowiek. Ich pierwsze sympozjum odbyło się w 2004 roku (Minsky i in., 2004). Inny wysiłek o podobnych celach, ruch sztucznej ogólnej inteligencji (AGI) (Goertzel i Pennachin, 2007), zorganizował swoją pierwszą konferencję i zorganizował Journal of Artificial General Intelligence w 2008 roku. Mniej więcej w tym samym czasie pojawiły się obawy, że tworzenie sztucznej superinteligencji lub inteligencja ASI, która znacznie przewyższa ludzkie możliwości, może być złym pomysłem. Sam Turing (1996) przedstawił to samo w wykładzie wygłoszonym w Manchesterze w 1951, czerpiąc z wcześniejszych pomysłów Samuela Butlera (1863):

Jeszcze wcześniej, w 1847 roku, Richard Thornton, redaktor Primitive Expounder, złorzeczył mechanicznym kalkulatorom: „Umysł… wyprzedza sam siebie i usuwa konieczność własnego istnienia poprzez wynalezienie maszyn do samodzielnego myślenia. … Ale kto wie, że takie maszyny, gdy zostaną doprowadzone do większej doskonałości, mogą nie wymyślić planu naprawienia wszystkich własnych wad, a następnie zmielenia pomysłów poza zasięgiem umysłu śmiertelnika!

Wydaje się prawdopodobne, że po uruchomieniu metody myślenia maszynowego, pokonanie naszych słabych sił nie zajęłoby dużo czasu. … Na pewnym etapie powinniśmy się więc spodziewać, że maszyny przejmą kontrolę, tak jak jest to wspomniane w Erewhonie Samuela Butlera. Obawy te stały się bardziej rozpowszechnione wraz z ostatnimi postępami w nauczaniu głębokim, publikacją książek takich jak Superintelligence Nicka Bostroma (2014) oraz publicznymi oświadczeniami Stephena Hawkinga, Billa Gatesa, Martina Reesa i Elona Muska. Doświadczanie ogólnego poczucia niepokoju z myślą o stworzeniu superinteligentnych maszyn jest całkowicie naturalne. Możemy nazwać to problemem goryli: około siedem milionów lat temu wyewoluował nowy wymarły naczelny, którego jedna gałąź prowadziła do goryli, a druga do ludzi. Dziś goryle nie są zbyt zadowolone z ludzkiej gałęzi; zasadniczo nie mają kontroli nad swoją przyszłością. Jeśli jest to wynikiem sukcesu w tworzeniu nadludzkiej sztucznej inteligencji – że ludzie przekazują kontrolę nad swoją przyszłością – to być może powinniśmy zaprzestać prac nad sztuczną inteligencją i w konsekwencji zrezygnować z korzyści, jakie może ona przynieść. To jest istota ostrzeżenia Turinga: nie jest oczywiste, że możemy kontrolować maszyny, które są bardziej inteligentne od nas.

Jeśli nadludzka sztuczna inteligencja byłaby czarną skrzynką, która przybyła z kosmosu, to rzeczywiście rozsądnie byłoby zachować ostrożność podczas otwierania skrzynki. Ale tak nie jest: projektujemy systemy sztucznej inteligencji, więc jeśli w końcu „przejmą kontrolę”, jak sugeruje Turing, będzie to wynikiem niepowodzenia projektu. Aby uniknąć takiego wyniku, musimy zrozumieć źródło potencjalnej porażki. Norbert Wiener (1960), który był zmotywowany do rozważenia długoterminowej przyszłości sztucznej inteligencji po tym, jak zobaczył, jak program gry w warcaby Arthura Samuela uczy się pokonywać swojego twórcę, miał to do powiedzenia:

Jeśli do realizacji naszych celów używamy mechanicznej agencji, w której działanie nie możemy skutecznie ingerować… lepiej bądźmy całkowicie pewni, że cel włożony w maszynę jest celem, który naprawdę pragniemy.

Wiele kultur ma mity o ludziach, którzy proszą o coś bogów, dżinów, magów lub diabły. Niezmiennie w tych historiach dostają to, o co dosłownie proszą, a potem tego żałują. Trzecim życzeniem, jeśli jest jedno, jest cofnięcie dwóch pierwszych. Nazwiemy to problem Króla Midasa: Midas, legendarny król w  mitologii greckiej, poprosił, aby wszystko, czego dotknął, zamieniło się w złoto, ale potem tego pożałował po dotknięciu jego jedzenia, picia i członków rodziny. Rozwiązaniem trudnej sytuacji Wienera nie jest w ogóle posiadanie określonego „celu włożonego w maszynę”. Zamiast tego chcemy maszyn, które dążą do osiągnięcia ludzkich celów, ale wiedzą, że nie wiedzą na pewno, jakie są te cele. Być może niefortunne jest to, że prawie wszystkie dotychczasowe badania nad sztuczną inteligencją zostały przeprowadzone w modelu standardowym, co oznacza, że ​​prawie cały materiał techniczny w tym wydaniu odzwierciedla te ramy intelektualne. Istnieją jednak pewne wczesne wyniki w nowych ramach. W rozdziale 16 pokazujemy, że maszyna ma pozytywny bodziec, by pozwolić sobie na wyłączenie wtedy i tylko wtedy, gdy jest niepewna co do ludzkiego celu. Sformułujemy i badamy gry asystujące, które matematycznie opisują sytuację, w której człowiek ma cel, a maszyna próbuje go osiągnąć, ale początkowo nie jest pewna, co to jest. Potem wyjaśniamy metody uczenia się ze wzmocnieniem odwrotnym które pozwalają maszynom dowiedzieć się więcej o ludzkich preferencjach na podstawie obserwacji wyborów dokonywanych przez ludzi. Potem zbadamy dwie główne trudności: po pierwsze, nasze wybory zależą od naszych preferencji dzięki bardzo złożonej architekturze poznawczej, którą trudno odwrócić; a po drugie, że my, ludzie, możemy nie mieć spójnych preferencji – indywidualnie lub jako grupa – więc może nie być jasne, co systemy sztucznej inteligencji powinny dla nas robić.

Wraz z rozwojem technik sztucznej inteligencji są one coraz częściej wykorzystywane w zastosowaniach o kluczowym znaczeniu dla bezpieczeństwa, takich jak prowadzenie samochodów i zarządzanie dostawami wody w miastach. Wypadki śmiertelne już się zdarzały i podkreślają trudności formalnej weryfikacji i statystycznej analizy ryzyka dla systemów opracowanych z wykorzystaniem technik uczenia maszynowego. W dziedzinie sztucznej inteligencji trzeba będzie opracować standardy techniczne i etyczne co najmniej porównywalne z tymi, które są powszechne w innych dyscyplinach inżynierii i opieki zdrowotnej, w których zagrożone jest życie ludzi.

Obawy o maszyny eliminujące miejsca pracy mają wieki. Historia nigdy nie jest prosta: maszyny wykonują niektóre z zadań, które w innym przypadku mogliby wykonywać ludzie, ale sprawiają, że ludzie są bardziej produktywni, a przez to bardziej zatrudnialni, a firmy są bardziej dochodowe, a zatem mogą płacić wyższe pensje. Mogą sprawić, że niektóre działania będą ekonomicznie opłacalne, które w innym przypadku byłyby niepraktyczne. Ich stosowanie na ogół skutkuje wzrostem bogactwa, ale zwykle skutkuje przeniesieniem bogactwa z pracy do kapitału, co dodatkowo pogłębia wzrost nierówności. Wcześniejsze postępy w technologii, takie jak wynalezienie krosien mechanicznych, spowodowały poważne zakłócenia w zatrudnieniu, ale w końcu ludzie znajdują nowe rodzaje pracy do wykonania. . Z drugiej strony możliwe jest, że sztuczna inteligencja również będzie wykonywać te nowe rodzaje pracy. Ten temat szybko staje się głównym przedmiotem zainteresowania ekonomistów i rządów.

Nieostrożne lub celowe nadużywanie algorytmów uczenia maszynowego do zadań takich jak ocena wniosków o zwolnienie warunkowe i pożyczki może skutkować decyzjami, które są stronnicze ze względu na rasę, płeć lub inne chronione kategorie. Często same dane odzwierciedlają wszechobecne uprzedzenia w społeczeństwie

Chociaż monitorowanie linii telefonicznych, kamer wideo, wiadomości e-mail i innych kanałów komunikacji jest kosztowne, żmudne, a czasem prawnie wątpliwe, można wykorzystać sztuczną inteligencję (rozpoznawanie mowy, widzenie komputerowe i rozumienie języka naturalnego). w sposób skalowalny, aby przeprowadzać masową inwigilację osób i wykrywać interesujące ich działania. Dostosowując przepływ informacji do osób za pośrednictwem mediów społecznościowych, w oparciu o techniki uczenia maszynowego, zachowania polityczne można w pewnym stopniu modyfikować i kontrolować – problem, który stał się widoczny w wyborach rozpoczynających się w 2016 roku.