Wprowadziliśmy rekurencyjne sieci neuronowe, które są również zdolne do utrzymywania reprezentacji stanu w czasie. Obecne algorytmy filtrowania i percepcji można łączyć, aby rozsądnie rozpoznawać obiekty („to kot”) i zgłaszać predykaty niskiego poziomu („kubek jest na stole”). Rozpoznawanie działań wyższego poziomu, takich jak „Dr. Russell pije herbatę z doktorem Norvigiem podczas omawiania planów na przyszły tydzień” jest trudniejszy. Obecnie można to czasami zrobić , biorąc pod uwagę wystarczającą liczbę przykładów szkoleniowych, ale przyszłe postępy będą wymagały technik, które uogólniają się na nowe sytuacje, nie wymagając wyczerpujących przykładów. Innym problemem jest to, że chociaż przybliżone algorytmy filtrowania radzą sobie z dość dużymi środowiskami, nadal mają do czynienia z reprezentacją faktorową – mają zmienne losowe, ale nie reprezentują jawnie obiektów i relacji. Również ich pojęcie czasu ogranicza się do stopniowej zmiany; biorąc pod uwagę ostatnią trajektorię kuli, możemy przewidzieć, gdzie będzie w czasie t +1, ale trudno jest przedstawić abstrakcyjną ideę, że to, co wznosi się, musi spaść.