W tej części omówimy, co się dzieje, gdy istnieje niepewność co do funkcji użyteczności, której wartość oczekiwana ma zostać zoptymalizowana. Istnieją dwie wersje tego problemu: jedna, w której podmiot (maszyna lub człowiek) jest niepewny swojej własnej funkcji użyteczności, oraz druga, w której maszyna ma pomagać człowiekowi, ale nie jest pewna, czego człowiek chce.