Przewidywanie ludzkich działań jest trudne, ponieważ zależą one od działań robota i odwrotnie. Jedną ze sztuczek stosowanych przez roboty jest udawanie, że osoba ignoruje robota. Robot zakłada, że ludzie są hałaśliwie optymalni w stosunku do celu, który jest dla robota nieznany i jest modelowany jako niezależność od działań robota: JH(x;uH). W szczególności, im wyższa wartość działania dla celu (im niższy koszt do wykonania), tym większe prawdopodobieństwo, że człowiek je podejmie. Robot może stworzyć model dla P(uH | x,JH), na przykład za pomocą funkcji softmax :
z Q(x,uH , JH) funkcja wartości Q odpowiadająca JH (znak ujemny jest obecny, ponieważ w robotyce lubimy minimalizować koszty, a nie maksymalizować nagrodę). Zwróć uwagę, że robot nie zakłada idealnie optymalnych działań ani nie zakłada, że działania są wybierane na podstawie rozumowania na temat robota. Uzbrojony w ten model robot wykorzystuje bieżące działania człowieka jako dowód istnienia JH. Jeśli mamy model obserwacji, w jaki sposób ludzkie działania zależą od celu człowieka, każde ludzkie działanie można włączyć, aby zaktualizować przekonanie robota o tym, jaki cel ma dana osoba:
Przykład znajduje się na rysunku
: robot śledzi lokalizację człowieka, a gdy człowiek się porusza, robot aktualizuje swoje przekonanie o ludzkich celach. Gdy człowiek kieruje się w stronę okien, robot zwiększa prawdopodobieństwo, że celem jest wyjrzenie przez okno, a zmniejsza prawdopodobieństwo, że cel idzie do kuchni, która jest w przeciwnym kierunku. W ten sposób przeszłe działania człowieka informują robota o tym, co człowiek zrobi w przyszłości. Przekonanie o celu człowieka pomaga robotowi przewidzieć, jakie następne działania podejmie człowiek. Mapa cieplna na rysunku pokazuje przyszłe przewidywania robota: kolor czerwony jest najbardziej prawdopodobny; niebieski najmniej prawdopodobne.
To samo może się zdarzyć podczas jazdy. Możemy nie wiedzieć, jak bardzo inny kierowca ceni efektywność, ale jeśli widzimy, jak przyspiesza, gdy ktoś próbuje się przed nim połączyć, teraz wiemy o nim nieco więcej. A kiedy już o tym wiemy, możemy lepiej przewidzieć, co zrobią w przyszłości — ten sam kierowca prawdopodobnie podjedzie bliżej lub przemykać przez ruch uliczny, aby wyprzedzić. Gdy robot może przewidywać przyszłe działania człowieka, zredukował swój problem do rozwiązania MDP. Działania człowieka komplikują funkcję przejścia, ale dopóki robot może przewidzieć, jakie działanie odejmie dana osoba z dowolnego przyszłego stanu, robot może obliczyć P(x’ | x ,uR): może obliczyć P(uH | x) z P(uH | x,JH) przez marginalizację nad JH i połącz ją z P(x’ | x,uR,uH), funkcją przejścia (dynamiki) dla tego, jak świat aktualizuje się w oparciu o działania zarówno robota, jak i człowieka. Oddzielenie przewidywania od działania ułatwia robotowi obsługę interakcji, ale poświęca wydajność w takim stopniu, jak oddzielenie oceny od ruchu lub oddzielenie planowania od kontroli. Robot z takim podziałem nie rozumie już, że jego działania mogą wpływać na to, co ludzie robią. W przeciwieństwie do tego robot na rysunku powyżej przewiduje, dokąd pójdą ludzie, a następnie optymalizuje, aby osiągnąć swój cel i uniknąć kolizji z nimi. Na rysunku
mamy autonomiczny samochód łączący się na autostradzie. Jeśli planował tylko w odpowiedzi na inne samochody, być może będzie musiał długo czekać, podczas gdy inne samochody zajmą jego docelowy pas. W przeciwieństwie do tego, samochód, który uzasadnia przewidywanie i działanie, wie, że różne działania, które może podjąć, spowodują różne reakcje człowieka. Jeśli zacznie się umacniać, inne samochody prawdopodobnie nieco zwolnią i zrobią miejsce. Robotycy pracują nad skoordynowanymi interakcjami w ten sposób, aby roboty mogły lepiej współpracować z ludźmi.