Prawdopodobnie najpopularniejszym modelem sieci bayesowskim używanym w uczeniu maszynowym jest naiwny model Bayesa. W tym modelu zmienna „klasy” C (która należy przewidzieć) jest pierwiastkiem, a zmienne „atrybutu” Xi są liście. Model jest „naiwny”, ponieważ zakłada, że atrybuty są od siebie warunkowo niezależne, biorąc pod uwagę klasę. Model na rysunku 21.2(b) jest naiwnym modelem Bayesa z klasą Flavor i tylko jednym atrybutem Wrapper). W przypadku zmiennych logicznych parametry są
Po przeszkoleniu modelu w ten sposób można go użyć do klasyfikowania nowych przykładów, dla których zmienna klasy C nie jest obserwowana. Z zaobserwowanymi wartościami atrybutów x1,…,xn, prawdopodobieństwo każdej klasy jest podane przez
Predykcję deterministyczną można uzyskać, wybierając najbardziej prawdopodobną klasę. Rysunek pokazuje krzywą uczenia się dla tej metody, gdy jest ona zastosowana do problemu restauracji
Metoda uczy się dość dobrze, ale nie tak dobrze, jak uczenie się drzewa decyzyjnego; przypuszczalnie dzieje się tak dlatego, że prawdziwa hipoteza – która jest drzewem decyzyjnym – nie jest dokładnie odwzorowana przy użyciu naiwnego modelu Bayesa. Uczenie się naiwnego Bayesa okazuje się zaskakująco dobre w szerokim zakresie zastosowań; wersja wzmocniona jest jednym z najskuteczniejszych algorytmów uczenia ogólnego przeznaczenia. Naiwne uczenie Bayesa skaluje się dobrze do bardzo dużych problemów: przy n atrybutach logicznych istnieje tylko 2n+1 parametrów i nie jest wymagane wyszukiwanie, aby znaleźć hML, naiwną hipotezę Bayesa o maksymalnym prawdopodobieństwie. Wreszcie, naiwne systemy uczenia Bayesa dobrze radzą sobie z zaszumionymi lub brakującymi danymi iw razie potrzeby mogą dawać probabilistyczne przewidywania. Ich podstawową wadą jest fakt, że założenie warunkowej niezależności rzadko jest trafne; założenie to prowadzi do zbyt pewnych prawdopodobieństw, które często są bardzo bliskie 0 lub 1, szczególnie przy dużej liczbie atrybutów.