Badania i rozwój w zakresie uczenia maszynowego zostały przyspieszone dzięki rosnącej dostępności danych, pamięci masowej, mocy obliczeniowej, oprogramowania, przeszkolonych ekspertów oraz inwestycjom niezbędnym do ich obsługi. Od lat 70. nastąpiło 100 000-krotne przyspieszenie w procesorach ogólnego przeznaczenia i dodatkowe 1000-krotne przyspieszenie dzięki wyspecjalizowanemu sprzętowi do uczenia maszynowego. TheWeb służył jako bogate źródło obrazów, filmów, mowy, tekstu i częściowo ustrukturyzowanych danych, obecnie dodając ponad 1018 bajtów każdego dnia. Dostępne są setki wysokiej jakości zestawów danych dla różnych zadań związanych z widzeniem komputerowym, rozpoznawaniem mowy i przetwarzaniem języka naturalnego. Jeśli potrzebne dane nie są jeszcze dostępne, często można je zebrać z innych źródeł lub zaangażować ludzi do oznaczenia danych za pośrednictwem platformy crowdsourcingowej. Walidacja danych uzyskanych w ten sposób staje się ważną częścią całego przepływu pracy (Hirth i in., 2013). Ważnym ostatnim osiągnięciem jest przejście od wspólnych danych do wspólnych modeli. Główni dostawcy usług w chmurze (np. Amazon, Microsoft, Google, Alibaba, IBM, Salesforce) zaczęli konkurować o oferowanie interfejsów API uczenia maszynowego z gotowymi modelami do określonych zadań, takich jak rozpoznawanie obiektów wizualnych, rozpoznawanie mowy i tłumaczenie maszynowe. Modele te mogą być używane w takiej postaci, w jakiej są, lub mogą służyć jako podstawa do dostosowania do konkretnych danych dla konkretnej aplikacji. Spodziewamy się, że te modele z czasem ulegną poprawie i że nietypowe stanie się rozpoczęcie projektu uczenia maszynowego od zera, podobnie jak obecnie nietypowe jest robienie projektu tworzenia stron internetowych od zera, bez bibliotek. Możliwe, że nastąpi duży skok w jakości modelu, gdy przetwarzanie całego wideo w Internecie stanie się ekonomiczne; na przykład sama platforma YouTube dodaje 300 godzin wideo co minutę. Prawo Moore’a uczyniło przetwarzanie danych bardziej opłacalnym; megabajt pamięci masowej kosztował 1 milion dolarów w 1969 roku i mniej niż 0,02 dolara w 2019 roku, a przepustowość superkomputera wzrosła w tym czasie ponad 1010 razy. Wyspecjalizowane komponenty sprzętowe do uczenia maszynowego, takie jak procesory graficzne (GPU), rdzenie tensorowe, jednostki przetwarzania tensorów (TPU) i programowalne macierze bramek (FPGA) są setki razy szybsze niż konwencjonalne procesory do uczenia maszynowego . W 2014 roku szkolenie modelu ImageNet zajęło cały dzień; w 2018 roku zajmuje to zaledwie 2 minuty (Ying i in., 2018). Instytut OpenAI donosi, że ilość mocy obliczeniowej wykorzystywanej do trenowania największych modeli uczenia maszynowego podwajała się co 3,5 miesiąca od 2012 do 2018 roku, osiągając w przypadku ALPHAZERO ponad eksaflop/drugi dzień (chociaż podają również, że niektóre bardzo wpływowe prace wykorzystały 100 milionów razy mniej mocy obliczeniowej ). Te same trendy ekonomiczne, które sprawiły, że aparaty w telefonach komórkowych stały się tańsze i lepsze, dotyczą również procesorów — będziemy obserwować dalszy postęp w energooszczędnych, wysokowydajnych obliczeniach, które czerpią korzyści z ekonomii skali. Istnieje możliwość, że komputery kwantowe mogą przyspieszyć sztuczną inteligencję. Obecnie istnieje kilka szybkich algorytmów kwantowych dla operacji algebry liniowej stosowanych w uczeniu maszynowym (Harrow i in., 2009; Dervovic i in., 2018), ale nie ma komputera kwantowego, który byłby w stanie je uruchomić. Mamy kilka przykładowych zastosowań zadań, takich jak klasyfikacja obrazów (Mott et al., 2017), gdzie algorytmy kwantowe są tak samo dobre, jak algorytmy klasyczne dla małych problemów. Obecne komputery kwantowe obsługują tylko kilkadziesiąt bitów, podczas gdy algorytmy uczenia maszynowego często obsługują dane wejściowe z milionami bitów i tworzą modele z setkami milionów parametrów. Dlatego potrzebujemy przełomów zarówno w sprzęcie kwantowym, jak i oprogramowaniu, aby obliczenia kwantowe były praktyczne w uczeniu maszynowym na dużą skalę. Ewentualnie może istnieć podział pracy — być może algorytm kwantowy do efektywnego przeszukiwania przestrzeni hiperparametrów, podczas gdy normalny proces uczenia przebiega na konwencjonalnych komputerach — ale nie wiemy jeszcze, jak to zrobić. Badania nad algorytmami kwantowymi mogą czasami inspirować nowe i lepsze algorytmy na klasycznych komputerach (Tang, 2018). Zaobserwowaliśmy również wykładniczy wzrost liczby publikacji, ludzi i dolarów w dziedzinie sztucznej inteligencji/uczenia maszynowego/nauki o danych. Dean i inni (2018) pokazują, że liczba artykułów na temat „uczenia maszynowego” na temat arXiv podwajała się co dwa lata od 2009 do 2017 roku. inwestować, aby ich kraj nie pozostał zbyt daleko w tyle.