Poprzednia sekcja dotyczyła w pełni obserwowalnego przypadku. Wiele rzeczywistych problemów ma ukryte zmienne (czasami nazywane zmiennymi ukrytymi), których nie można zaobserwować w danych. Na przykład dokumentacja medyczna często zawiera zaobserwowane objawy, diagnozę lekarza, zastosowane leczenie i być może wynik leczenia, ale rzadko zawiera bezpośrednią obserwację samej choroby! (Zauważ, że diagnoza nie jest chorobą; jest to przyczynowa konsekwencja zaobserwowanych objawów, które z kolei są spowodowane chorobą.) Można by zapytać: „Jeśli nie obserwuje się choroby, czy możemy skonstruować model oparty wyłącznie na obserwowane zmienne?” Odpowiedź pojawia się na rysunku, która przedstawia mały, fikcyjny model diagnostyczny chorób serca. Istnieją trzy obserwowalne czynniki predysponujące i trzy obserwowalne objawy (które są zbyt przygnębiające, by je wymienić). Załóżmy, że każda zmienna ma trzy możliwe wartości (np. brak, umiarkowana i poważna). Usunięcie ukrytej zmiennej z sieci w (a) daje sieć w (b); całkowita liczba parametrów wzrasta z 78 do 708. Tak więc zmienne latentne mogą radykalnie zmniejszyć liczbę parametrów wymaganych do określenia sieci bayesowskiej. To z kolei może radykalnie zmniejszyć ilość potrzebnych danych aby nauczyć się parametrów. Ukryte zmienne są ważne, ale komplikują problem uczenia się. Na przykład na rysunku (a) nie jest oczywiste, jak nauczyć się rozkładu warunkowego HeartDisease, biorąc pod uwagę jego rodziców, ponieważ nie znamy wartości HeartDisease w każdym przypadku; ten sam problem pojawia się przy poznawaniu rozkładów objawów. Ta sekcja opisuje algorytm zwany oczekiwaniem – maksymalizacją lub EM, który rozwiązuje ten problem w bardzo ogólny sposób. Pokażemy trzy przykłady, a następnie przedstawimy ogólny opis. Algorytm na pierwszy rzut oka wydaje się magią, ale kiedy intuicja zostanie rozwinięta, można znaleźć zastosowanie EM w wielu różnych problemach związanych z uczeniem się.
