Roboty to agenci fizyczni, którzy wykonują zadania, manipulując światem fizycznym. W tym celu są wyposażone w efektory, takie jak nogi, koła, przeguby i chwytaki. Efektory są zaprojektowane do wywierania sił fizycznych na środowisko. Kiedy to zrobią, może się zdarzyć kilka rzeczy: stan robota może się zmienić (np. samochód kręci kołami i w rezultacie robi postęp na drodze), stan otoczenia może się zmienić (np. ramię robota używa swojego chwytaka do przesuwania kubka po blacie), a nawet stan ludzi wokół robota może się zmienić (np. porusza się egzoszkielet, co zmienia konfigurację nogi osoby; lub robot mobilny posuwa się w kierunku drzwi windy, a osoba zauważa i jest na tyle miła, aby zejść z drogi, a nawet nacisnąć przycisk robota). Roboty są również wyposażone w czujniki, które umożliwiają im postrzeganie otoczenia. Dzisiejsza robotyka wykorzystuje różnorodny zestaw czujników, w tym kamery, radary, lasery i mikrofony do pomiaru stanu środowiska i otaczających go ludzi; oraz żyroskopy, czujniki naprężenia i momentu obrotowego oraz akcelerometry do pomiaru własnego stanu robota. Maksymalizacja oczekiwanej użyteczności robota oznacza wybór sposobu uruchamiania jego efektorów w celu zapewnienia odpowiednich sił fizycznych — takich, które doprowadzą do zmian stanu, które skumulują jak najwięcej oczekiwanej nagrody. Ostatecznie roboty próbują wykonać jakieś zadanie w fizycznym świecie. Roboty działają w środowiskach, które są częściowo obserwowalne i stochastyczne: kamery nie widzą zakrętów, a biegi mogą się ślizgać. Co więcej, ludzie działający w tym samym środowisku są nieprzewidywalni, więc robot musi przewidywać na ich temat. Roboty zazwyczaj modelują swoje środowisko za pomocą ciągłej przestrzeni stanów (pozycja robota ma ciągłe współrzędne) oraz ciągłej przestrzeni działania (ilość prądu wysyłanego przez robota do silnika jest również mierzona w jednostkach ciągłych). Niektóre roboty działają w przestrzeniach wielowymiarowych: samochody muszą znać pozycję, orientację i prędkość siebie i pobliskich agentów; ramiona robota mają sześć lub siedem przegubów, z których każdy może być niezależnie poruszany; a roboty, które naśladują ludzkie ciało, mają setki stawów. Uczenie się przez roboty jest ograniczone, ponieważ świat rzeczywisty uparcie odmawia działania szybciej niż w czasie rzeczywistym. W symulowanym środowisku możliwe jest użycie algorytmów uczenia się , aby w ciągu kilku godzin uczyć się z milionów prób. W rzeczywistym środowisku przeprowadzenie tych prób może zająć lata, a robot nie może ryzykować (a tym samym uczyć się z) próby, która może wyrządzić szkody. W związku z tym przeniesienie tego, czego nauczono się w symulacji, do prawdziwego robota w prawdziwym świecie – problemu z symulacji do rzeczywistości – jest aktywnym obszarem badań. Praktyczne systemy robotyczne muszą zawierać wcześniejszą wiedzę o robocie, środowisku fizycznym i zadaniach do wykonania, aby robot mógł się szybko uczyć i wykonywać bezpiecznie. Robotyka łączy wiele pojęć, które widzieliśmy w tej książce, w tym szacowanie stanu probabilistycznego, percepcję, planowanie, uczenie się bez nadzoru, uczenie się ze wzmocnieniem i teorię gier. W przypadku niektórych z tych koncepcji robotyka służy jako przykład zastosowania. W przypadku innych koncepcji rozdział ten otwiera nowe możliwości, na przykład wprowadzając ciągłą wersję technik, które wcześniej widzieliśmy tylko w przypadku dyskretnym.