Zbadaliśmy algorytmy wyszukiwania problemów w środowiskach częściowo obserwowalnych, niedeterministycznych, nieznanych i ciągłych.
* Lokalne metody wyszukiwania, takie jak wspinaczka górska, przechowują w pamięci tylko niewielką liczbę stanów. Zostały one zastosowane w problemach optymalizacyjnych, gdzie ideą jest znalezienie stanu o wysokiej punktacji, bez martwienia się o ścieżkę do tego stanu. Opracowano kilka stochastycznych algorytmów wyszukiwania lokalnego, w tym symulowane wyżarzanie, które zwraca optymalne rozwiązania przy odpowiednim harmonogramie chłodzenia.
* Wiele lokalnych metod wyszukiwania stosuje się również do problemów w przestrzeniach ciągłych. Programowanie liniowe i zagadnienia optymalizacji wypukłej podlegają pewnym ograniczeniom dotyczącym kształtu przestrzeni stanów i charakteru funkcji celu oraz dopuszczają algorytmy wielomianowe, które często są niezwykle wydajne w praktyce. W przypadku niektórych matematycznie dobrze sformułowanych problemów możemy znaleźć maksimum za pomocą rachunku różniczkowego, aby znaleźć, gdzie gradient wynosi zero; w przypadku innych problemów musimy zadowolić się gradientem empirycznym, który mierzy różnicę sprawności między dwoma pobliskimi punktami.
* Algorytm ewolucyjny to stochastyczne poszukiwanie wspinaczki, w którym utrzymywana jest populacja stanów. Nowe stany generowane są przez mutację oraz przez crossover, który łączy pary stanów.
* W środowiskach niedeterministycznych agenci mogą zastosować wyszukiwanie AND-OR, aby wygenerować plany warunkowe, które osiągną cel, niezależnie od tego, jakie wyniki wystąpią podczas wykonywania.
* Gdy środowisko jest częściowo obserwowalne, stan przekonań reprezentuje zestaw możliwych stanów, w których może znajdować się agent. * Standardowe algorytmy wyszukiwania można zastosować bezpośrednio do przestrzeni stanów przekonań, aby rozwiązać problemy bezczujnikowe, a wyszukiwanie stanów przekonań AND–LUB potrafi rozwiązywać ogólne, częściowo obserwowalne problemy. Algorytmy przyrostowe, które konstruują rozwiązania stan po stanie w stanie przekonań, są często bardziej wydajne.
* Problemy z eksploracją pojawiają się, gdy agent nie ma pojęcia o stanach i działaniach swojego otoczenia. W środowiskach, w których można bezpiecznie eksplorować, agenci wyszukiwania online mogą zbudować mapę i znaleźć cel, jeśli taki istnieje. Aktualizacja szacunków heurystycznych na podstawie doświadczenia zapewnia skuteczną metodę ucieczki od lokalnych minimów.