Do tej pory skupialiśmy się na planowaniu robota i uczeniu się, jak działać w odosobnieniu. Jest to przydatne w przypadku niektórych robotów, takich jak łaziki, które wysyłamy, aby w naszym imieniu badały odległe planety. Ale w większości nie budujemy robotów do pracy w izolacji. Budujemy je, aby nam pomagały, oraz do pracy w środowisku ludzkim, wokół nas i z nami. Rodzi to dwa uzupełniające się wyzwania. Pierwszym z nich jest optymalizacja nagrody, gdy są ludzie działający w tym samym środowisku co robot. Nazywamy to problemem koordynacji . Kiedy nagroda robota zależy nie tylko od jego własnych działań, ale także od działań podejmowanych przez ludzi, robot musi wybrać swoje działania w sposób, który dobrze współgra z ich działaniami. Kiedy człowiek i robot są w tym samym zespole, zamienia się to we współpracę. Po drugie, wyzwanie polega na optymalizacji pod kątem tego, czego ludzie naprawdę chcą. Jeśli robot ma pomagać ludziom, jego funkcja nagradzania musi zachęcać do działań, które ludzie chcą, aby robot wykonywał. Ustalenie właściwej funkcji (lub polityki) nagrody dla robota samo w sobie jest problemem interakcji. Po kolei zbadamy te dwa wyzwania.