Model standardowy był użytecznym przewodnikiem dla badań nad sztuczną inteligencją od samego początku, ale prawdopodobnie nie jest to właściwy model na dłuższą metę. Powodem jest to, że model standardowy zakłada, że dostarczymy w pełni określony cel do maszyny. W przypadku sztucznie zdefiniowanego zadania, takiego jak szachy lub obliczenia najkrótszej ścieżki, zadanie ma wbudowany cel, więc można zastosować model standardowy. Jednak w miarę jak przenosimy się do prawdziwego świata, pełne i prawidłowe określenie celu staje się coraz trudniejsze. Na przykład, projektując autonomiczny samochód, można by pomyśleć, że celem jest bezpieczne dotarcie do celu. Jednak jazda po dowolnej drodze wiąże się z ryzykiem odniesienia obrażeń przez innych błędnych kierowców, awarię sprzętu i tak dalej; dlatego ścisły cel bezpieczeństwa wymaga przebywania w garażu. Istnieje kompromis między postępem w kierunku celu a ponoszeniem ryzyka kontuzji. Jak należy dokonać tego kompromisu? Ponadto, w jakim stopniu możemy pozwolić samochodowi na działania, które drażniłyby innych kierowców? W jakim stopniu samochód powinien łagodzić przyspieszanie, kierowanie i hamowanie, aby nie wstrząsnąć pasażerem? Na tego rodzaju pytania trudno odpowiedzieć a priori. Są szczególnie problematyczne w ogólnym obszarze interakcji człowieka z robotem, czego przykładem jest autonomiczny samochód. Problem osiągnięcia zgodności między naszymi prawdziwymi preferencjami a celem, który stawiamy maszynie, nazywa się problemem wyrównania wartości: wartości lub cele wprowadzone do maszyny muszą być zrównane z ludzkimi. Jeśli opracowujemy system sztucznej inteligencji w laboratorium lub w symulatorze – jak miało to miejsce w przypadku większości historii pola – istnieje łatwa naprawa nieprawidłowo określonego celu: zresetuj system, napraw cel i spróbuj ponownie. W miarę postępów w dziedzinie rozwoju inteligentnych systemów o coraz większych możliwościach, które są wdrażane w świecie rzeczywistym, podejście to nie jest już opłacalne. System wdrożony z nieprawidłowym celem będzie miał negatywne konsekwencje. Co więcej, im bardziej inteligentny system, tym bardziej negatywne konsekwencje. Wracając do pozornie bezproblemowego przykładu szachów, zastanów się, co się stanie, jeśli maszyna jest wystarczająco inteligentna, aby rozumować i działać poza granicami szachownicy. W takim przypadku może próbować zwiększyć swoje szanse na wygraną za pomocą takich podstępów, jak hipnotyzowanie lub szantażowanie przeciwnika lub przekupywanie publiczności, aby wydawała szeleszczące dźwięki w czasie myślenia przeciwnika. Może również próbować przejąć dla siebie dodatkową moc obliczeniową. Te zachowania nie są „nieinteligentne” ani „szalone”; są logiczną konsekwencją zdefiniowania wygranej jako jedynego celu dla maszyny. W jednej z pierwszych książek o szachach Ruy Lopez (1561) napisał: „Zawsze kładź szachownicę tak, aby słońce było w oczach przeciwnika”. Niemożliwe jest przewidzenie wszystkich sposobów, w jakie maszyna dążąca do określonego celu może się źle zachowywać. Jest więc dobry powód, by sądzić, że model standardowy jest nieodpowiedni. Nie chcemy maszyn, które są inteligentne w tym sensie, że realizują swoje cele; chcemy, aby realizowali nasze cele. Jeśli nie możemy idealnie przenieść tych celów na maszynę, potrzebujemy nowego sformułowania – takiego, w którym maszyna dąży do naszych celów, ale z konieczności jest niepewna, czym one są. Kiedy maszyna wie, że nie zna pełnego celu, ma motywację, by działać ostrożnie, prosić o pozwolenie, dowiedzieć się więcej o naszych preferencjach poprzez obserwację i poddać się kontroli człowieka. Ostatecznie chcemy środków, które są korzystne dla ludzi.