Zaczynamy od agenta, który, jak wszyscy agenci, musi podjąć decyzję. Ma dostępne niektóre akcje. Może istnieć niepewność co do obecnego stanu, więc założymy, że agent przypisuje prawdopodobieństwo P(s) do każdego możliwego obecnego stanu s. Może również istnieć niepewność co do wyników działania; model przejścia jest określony przez P(s’ | s,a), prawdopodobieństwo, że działanie a w stanie s osiągnie stan s’. Ponieważ interesuje nas przede wszystkim wynik s’, użyjemy również skróconej notacji P(RESULT(a)=s’), prawdopodobieństwo osiągnięcia s0 przez wykonanie a w obecnym stanie, cokolwiek to jest. Oba są powiązane w następujący sposób:
Teoria decyzji w swojej najprostszej formie zajmuje się wyborem spośród działań w oparciu o celowość ich bezpośrednich rezultatów; to znaczy zakłada się, że środowisko ma charakter epizodyczny. Preferencje agenta są wychwytywane przez funkcję użyteczności U(s), która przypisuje pojedynczą liczbę wyrażającą atrakcyjność stanu. Oczekiwana użyteczność działania na podstawie dowodów, EU(a), to po prostu średnia wartość użyteczności wyników, ważona prawdopodobieństwem wystąpienia wyniku:
Zasada maksymalnej oczekiwanej użyteczności (MEU) mówi, że racjonalny agent powinien wybrać działanie, które maksymalizuje oczekiwaną użyteczność agenta:
W pewnym sensie zasada MEU może być postrzegana jako recepta na inteligentne zachowanie. Wszystko, co musi zrobić inteligentny agent, to obliczyć różne ilości, zmaksymalizować użyteczność swoich działań i odejść. Ale to nie znaczy, że problem AI jest rozwiązany z definicji! Zasada MEU formalizuje ogólne przekonanie, że inteligentny agent powinien „postępować właściwie”, ale nie operacjonalizuje tej porady. Oszacowanie rozkładu prawdopodobieństwa P(s) nad możliwymi stanami świata, który składa się na P(RESULT(a)=s’), wymaga percepcji, uczenia się, reprezentacji wiedzy i wnioskowania. Samo obliczenie P(RESULT(a)=s’) wymaga przyczynowego modelu świata. Może być wiele działań do rozważenia, a samo obliczenie narzędzi wynikowych U(s0) może wymagać dalszych poszukiwań lub planowania, ponieważ agent może nie wiedzieć, jak dobry jest stan, dopóki nie będzie wiedział, dokąd może dotrzeć z tego stanu. System sztucznej inteligencji działający w imieniu człowieka może nie znać prawdziwej funkcji użytkowej człowieka, więc może istnieć niepewność co do U. Podsumowując, teoria decyzji nie jest panaceum, które rozwiązuje problem sztucznej inteligencji – ale stanowi początek podstawowego ramy matematyczne, które są wystarczająco ogólne, aby zdefiniować problem AI. Zasada MEU ma wyraźny związek z ideą mierników wyników przedstawioną w rozdziale 2. Podstawowa idea jest prosta. Rozważ środowiska, które mogą prowadzić do agenta o określonej historii percepcji, i rozważ różne agenty, które moglibyśmy zaprojektować. Jeśli agent działa tak, aby zmaksymalizować funkcję użytkową, która prawidłowo odzwierciedla miarę wydajności, agent osiągnie najwyższy możliwy wynik wydajności (uśredniony dla wszystkich możliwych środowisk). To jest główne uzasadnienie samej zasady MEU. Choć twierdzenie to może wydawać się tautologiczne, w rzeczywistości zawiera ono bardzo ważne przejście od zewnętrznej miary wydajności do wewnętrznej funkcji użyteczności. Miara wydajności daje ocenę historii — sekwencję stanów. Jest więc stosowany retrospektywnie po wykonaniu przez agenta sekwencji działań. Funkcja użyteczności odnosi się do następnego stanu, więc może być używana do prowadzenia działań krok po kroku.