Racjonalny agent to taki, który postępuje właściwie. Oczywiście, robienie właściwych rzeczy jest lepsze niż niewłaściwe, ale co to znaczy postępować właściwie?
Mierniki wydajności
Filozofia moralna rozwinęła kilka różnych pojęć „właściwej rzeczy”, ale sztuczna inteligencja generalnie trzyma się jednego pojęcia zwanego konsekwencjalizmem: oceniamy zachowanie sprawcy na podstawie jego konsekwencji. Kiedy agent zostaje umieszczony w środowisku, generuje sekwencję działań zgodnie z otrzymanymi spostrzeżeniami. Ta sekwencja działań powoduje, że środowisko przechodzi przez sekwencję stanów. Jeśli kolejność jest pożądana, agent działał dobrze. To pojęcie atrakcyjności jest uchwycone przez miarę wydajności, która ocenia dowolną sekwencję stanów środowiska. Ludzie mają własne pragnienia i preferencje, więc pojęcie racjonalności w odniesieniu do ludzi wiąże się z ich sukcesem w wyborze działań, które wytwarzają sekwencje stanów środowiska, które są pożądane z ich punktu widzenia. Z drugiej strony maszyny nie mają własnych pragnień i preferencji; miara wydajności jest, przynajmniej początkowo, w umyśle projektanta maszyny lub w umyśle użytkowników, dla których maszyna jest zaprojektowana. Zobaczymy, że niektóre projekty agentów mają wyraźną reprezentację (wersji) miary wydajności, podczas gdy w innych projektach miara wydajności jest całkowicie niejawna — agent może postępować właściwie, ale nie wie, dlaczego.
Przypominając ostrzeżenie Norberta Wienera, aby upewnić się, że „cel umieszczony w maszynie jest celem, którego naprawdę pragniemy” (strona 33), zauważ, że prawidłowe sformułowanie miary wydajności może być dość trudne. Weźmy na przykład środek do odkurzacza z poprzedniej sekcji. Możemy zaproponować mierzenie wydajności na podstawie ilości brudu usuniętego podczas jednej ośmiogodzinnej zmiany. Oczywiście z racjonalnym agentem to, o co prosisz, jest tym, co dostajesz. Racjonalny środek może zmaksymalizować tę miarę wydajności, usuwając brud, a następnie zrzucając go na podłogę, a następnie usuwając go ponownie i tak dalej. Bardziej odpowiedni miernik wydajności nagradzałby agenta za posiadanie czystej podłogi. Na przykład, jeden punkt może być przyznany za każde czyste pole na każdym kroku czasowym (być może z karą za zużytą energię elektryczną i generowany hałas). Zgodnie z ogólną zasadą, lepiej projektować mierniki wydajności zgodnie z tym, co faktycznie chce się osiągnąć w środowisku, niż zgodnie z tym, jak według nas agent powinien się zachowywać. Nawet jeśli uniknie się oczywistych pułapek, pewne zawiłe problemy pozostają. Na przykład pojęcie „czystej podłogi” w poprzednim akapicie opiera się na średniej czystości w czasie. Jednak tę samą średnią czystość można osiągnąć za pomocą dwóch różnych środków, z których jeden cały czas wykonuje przeciętną pracę, podczas gdy drugi sprząta energicznie, ale robi długie przerwy. Co jest lepsze, może wydawać się dobrym punktem nauki sprzątania, ale w rzeczywistości jest to głębokie pytanie filozoficzne o dalekosiężnych implikacjach. Co jest lepsze – lekkomyślne życie pełne wzlotów i upadków, czy bezpieczna, ale nudna egzystencja? Co jest lepsze – gospodarka, w której wszyscy żyją w umiarkowanym ubóstwie, czy taka, w której niektórzy żyją w dostatku, podczas gdy inni są bardzo biedni? Te pytania pozostawiamy jako ćwiczenie dla pilnego czytelnika. W przypadku większości książki założymy, że miara wydajności może być określona poprawnie. Z powodów podanych powyżej musimy jednak zaakceptować możliwość, że możemy nadać maszynie niewłaściwy cel – a dokładnie problem Kinga Midasa opisany na stronie 33. Co więcej, projektując jeden program, którego kopie będą należeć do różnych użytkowników, nie możemy przewidzieć dokładnych preferencji każdego indywidualnego użytkownika. W związku z tym może być konieczne zbudowanie agentów, które odzwierciedlają początkową niepewność co do prawdziwej miary wydajności i dowiadują się o niej więcej w miarę upływu czasu.