Metody uczenia statystycznego obejmują zarówno proste obliczanie średnich, jak i budowę złożonych modeli, takich jak sieci bayesowskie. Mają zastosowanie w informatyce, inżynierii, biologii obliczeniowej, neuronauce, psychologii i fizyce. Przedstawiono niektóre podstawowe idee i dano przedsmak podstaw matematycznych. Główne punkty są następujące:
- Bayesowskie metody uczenia się formułują uczenie się jako formę wnioskowania probabilistycznego, wykorzystując obserwacje do aktualizacji wcześniejszego rozkładu hipotez. Takie podejście zapewnia dobry sposób na zaimplementowanie brzytwy Ockhama, ale szybko staje się niewykonalne w przypadku złożonych przestrzeni hipotez.
- Uczenie maksimum a posteriori (MAP) wybiera jedną najbardziej prawdopodobną hipotezę na podstawie danych. Hipoteza uprzednia jest nadal stosowana, a metoda jest często bardziej realistyczna niż pełne uczenie bayesowskie.
- Uczenie się o maksymalnym prawdopodobieństwie po prostu wybiera hipotezę, która maksymalizuje prawdopodobieństwo danych; jest to równoważne uczeniu się MAP z jednolitym uprzednim. W prostych przypadkach, takich jak regresja liniowa i w pełni obserwowalne sieci bayesowskie, rozwiązania o maksymalnym prawdopodobieństwie można łatwo znaleźć w formie zamkniętej. Nauka naiwnego Bayesa jest szczególnie skuteczną techniką, która dobrze się skaluje.
- Gdy niektóre zmienne są ukryte, lokalne rozwiązania największej prawdopodobieństwa można znaleźć za pomocą algorytmu maksymalizacji oczekiwań (EM). Zastosowania obejmują nienadzorowane grupowanie przy użyciu kombinacji Gaussów, uczenie się sieci bayesowskich i uczenie ukrytych modeli Markowa.