Głębokie uczenie (2011-obecnie)

Termin głębokie uczenie odnosi się do uczenia maszynowego wykorzystującego wiele warstw prostych, regulowanych elementów obliczeniowych. Eksperymenty przeprowadzono z takimi sieciami już w latach 70., a w latach 90. XX w. w postaci splotowych sieci neuronowych odniosły one pewien sukces w rozpoznawaniu odręcznych cyfr (LeCun i in., 1995). Jednak dopiero w 2011 roku metody głębokiego uczenia się naprawdę wystartowały. Miało to miejsce najpierw w rozpoznawaniu mowy, a następnie w rozpoznawaniu obiektów wizualnych. W konkursie ImageNet 2012, który wymagał zaklasyfikowania obrazów do jednej z tysiąca kategorii (pancernik, półka na książki, korkociąg itp.), wykazał system głębokiego uczenia stworzony w grupie Geoffreya Hintona na Uniwersytecie w Toronto radykalna poprawa w stosunku do poprzednich systemów, które opierały się w dużej mierze na ręcznie robionych

funkcje. Od tego czasu systemy głębokiego uczenia przekroczyły ludzką wydajność w niektórych zadaniach związanych z widzeniem (i pozostają w tyle w niektórych innych zadaniach). Podobny wzrost odnotowano w rozpoznawaniu mowy, tłumaczeniu maszynowym, diagnostyce medycznej i graniu w gry. Wykorzystanie głębokiej sieci do reprezentowania funkcji oceny przyczyniło się do zwycięstw ALPHAGO nad wiodącymi ludzkimi graczami Go (Silver i in., 2016, 2017, 2018). Te niezwykłe sukcesy doprowadziły do ​​odrodzenia zainteresowania sztuczną inteligencją wśród studentów, firm, inwestorów, rządów, mediów i opinii publicznej. Wydaje się, że co tydzień pojawiają się wieści o zbliżającej się lub przekraczającej ludzką wydajność nowej aplikacji AI, czemu często towarzyszą spekulacje na temat przyspieszonego sukcesu lub nowej zimy AI. Głębokie uczenie opiera się w dużej mierze na wydajnym sprzęcie. Podczas gdy standardowy procesor komputera może wykonać 10⁹ lub 10¹⁰ operacji na sekundę. algorytm głębokiego uczenia działający na wyspecjalizowanym sprzęcie (np. GPU, TPU lub FPGA) może zużywać od 10¹⁴ do 10¹⁷ operacji na sekundę, głównie w postaci wysoce zrównoleglonych operacji na macierzach i wektorach. Oczywiście głębokie uczenie zależy również od dostępności dużej ilości danych treningowych oraz kilku algorytmicznych sztuczek.