Miesiąc: czerwiec 2022

Jako największa firma detaliczna online w Chinach, a może nawet na świecie, Alibaba obsługuje ogromne ilości danych na swoich stronach e-commerce. Podobnie jak inny gigant handlu detalicznego, Amazon, Alibaba wykorzystuje sztuczną inteligencję, aby poprawić każdy aspekt zakupów klienta. Na przykład za pomocą technologii AI Alibaba oferuje spersonalizowane rekomendacje produktów, dostosowane witryny sklepowe prezentujące kupującym informacje na podstawie ich unikalnych preferencji oraz wiele innych subtelnych funkcji, które mogą pomóc konsumentom w znalezieniu i zakupie większej liczby produktów, którymi mogą być zainteresowani. Jak Alibaba Stosuje sztuczną inteligencję.

Roboty obsługują magazyny: Podobnie jak gigant handlu elektronicznego Amazon, Alibaba wykorzystuje inteligentne roboty w swoich magazynach w celu zwiększenia wydajności operacyjnej. Według strony Business Insider roboty obecnie obsługują do 70 procent pracy wykonanej w magazynach Alibaba, mogą przenosić ładunki o masie do 500 kilogramów (około 1100 funtów) i używać specjalistycznych czujników, aby uniknąć kolizji. •  Algorytm rekomendacji produktów oparty na sztucznej inteligencji: Algorytm Alibaba do rekomendacji produktów bada recenzje produktów i zachowanie użytkowników witryny w celu sformułowania inteligentnych sugestii. Ta funkcja jest podobna do tej wdrożonej przez Amazon i pomaga Alibaba w generowaniu większej sprzedaży online.

•  Dostawy dronami oparte na AI: Alibaba zaczął używać dronów do dostarczania paczek. W październiku 2017 r. W eksperymencie wszechstronności Alibaba po raz pierwszy udało się osiągnąć dostawy dronów na otwartej wodzie. Te paczki, które ważyły łącznie około 12 kilogramów (około 26,5 funta), były przewożone przez drony na odległość około 5,5 kilometra . Alibaba mówi, że w przyszłości ma nadzieję, że będzie w stanie dostarczać artykuły, takie jak świeża żywność i materiały medyczne.

•  Fashion AI Shopping Consultant: Alibaba opracowała nową, zaawansowaną usługę opartą na sztucznej inteligencji, o nazwie FashionAI, zaprojektowaną w celu zwiększenia sprzedaży w sklepach stacjonarnych. System FashionAI, składający się z kilku różnych technologii AI, jest instalowany w garderobie sklepu z odzieżą. Ekran w garderobie może rozpoznać artykuły odzieżowe, które przyniósł klient, na podstawie niewielkich czujników wbudowanych w odzież. Następnie ekran wykorzystuje te informacje, aby zasugerować dopasowanie odzieży lub akcesoriów lub strojów w podobnym stylu, aby klient mógł przymierzyć. Klient może nawet nacisnąć przycisk na ekranie, aby zadzwonić do sprzedawcy w celu przyniesienia tych przedmiotów do przebieralnia. Obecnie istnieje 13 sklepów w całym kraju, które oferują tę wyspecjalizowaną obsługę. Kiedy taka technologia zostanie przyjęta na większą skalę, zaoferuje firmom nowe sposoby generowania zysków, zachęcając klientów do odwiedzania tradycyjnych centrów handlowych oprócz zakupów online. Jest to doskonały przykład praktycznego zastosowania wizji komputerowej i innych technologii sztucznej inteligencji, aby zapewnić łatwiejsze, bardziej spersonalizowane zakupy.

•  Obsługa klienta Chatbot: Alibaba stworzył również imponujący chatbot, aby pomóc swoim klientom w szybkim i efektywnym korzystaniu z obsługi klienta. Na przykład, kiedy dzwonisz do Alibaba, tak naprawdę nie rozmawiasz z człowiekiem, ale raczej z Ali Xiaomi, asystentem chatbotem Alibaba, który może odpowiadać na pytania mówione i pisemne. Ali Xiaomi może służyć do rozwiązywania problemów związanych z transakcjami, odpowiadania na często zadawane pytania i oferowania rekomendacji produktów. Według Alibaba, ten chatbot do obsługi klienta jest przygotowany do obsługi do 95 procent zapytań dotyczących obsługi klienta.

•  Potężny silnik obliczeniowy: Alibaba ma szczególnie wydajny silnik obliczeniowy, który pozwala firmie szybko wykonywać nawet najbardziej złożone funkcje AI, takie jak przetwarzanie ponad 175 000 transakcji w ciągu jednej sekundy.

Alibaba’s AI Research

Alibaba Innovative Research (AIR) koncentruje się na szeregu kluczowych technologii i przyszłych aplikacjach, w tym na uczeniu maszynowym i przetwarzaniu języka naturalnego. Akademia Damo Alibaba, która koncentruje się na badaniach i rozwoju AI, będzie również tworzyć nowe laboratoria w celu rozszerzenia swoich możliwości w Chinach kontynentalnych, Stanach Zjednoczonych, Rosji, Singapurze i Izraelu.

Rola w chińskim narodowym zespole AI

Ministerstwo Nauki i Technologii w Chinach niedawno utworzyło pierwszy krajowy zespół sztucznej inteligencji w kraju, którego zadaniem jest uczynienie Chin światowym liderem w dziedzinie sztucznej inteligencji do roku 2030. Alibaba został zaproszony do wzięcia udziału w tym wysiłku, oprócz innych liderów korporacyjnych w Chinach, takich jak Baidu i Tencent. Obecne zadanie Alibaba w tym przedsięwzięciu to projekt zwany “mózgiem miasta”, którego celem jest wykorzystanie rozwiązań AI, takich jak inteligentny transport, w celu poprawy życia w mieście

Być może najprostszym i najbardziej znanym przykładem problemu bandytów jest bandyta Bernoulliego, w którym każde ramię M_i daje nagrodę w wysokości 0 lub 1 z ustalonym, ale nieznanym prawdopodobieństwem μ_i. Stan ramienia M_i jest zdefiniowany przez s_i i f_i, dotychczasowe liczby sukcesów (1s) i niepowodzeń (0s) dla tego ramienia; prawdopodobieństwo przejścia przewiduje, że następny wynik będzie równy 1 z prawdopodobieństwem (s_i)=(s_i + f_i) i 0 z prawdopodobieństwem ( f_i)=(s_i + f_i). Liczby są inicjowane na 1, więc początkowe prawdopodobieństwa wynoszą 1/2, a nie 0/0 Proces nagrody Markowa pokazano na rysunku (a).

Nie możemy całkowicie zastosować transformacji z poprzedniej sekcji do obliczenia wskaźnika Gittinsa ramienia Bernoulliego, ponieważ ma nieskończenie wiele stanów. Możemy jednak uzyskać bardzo dokładne przybliżenie, rozwiązując obcięty MDP ze stanami do s_i + f_i=100 i γ=0,9. Wyniki przedstawiono na rysunku (b).

Wyniki są intuicyjnie rozsądne: widzimy, że ogólnie rzecz biorąc, preferowane są odmiany o wyższym prawdopodobieństwie wypłaty, ale istnieje również premia eksploracyjna związana z ramionami, które zostały wypróbowane tylko kilka razy. Premia eksploracyjna Na przykład wskaźnik dla stanu (3,2) jest wyższy niż wskaźnik dla stanu (7,4) (0,7057 vs 0,6922), mimo że szacowana wartość (3,2) jest niższa (0,6 w porównaniu do 0,6364).

Nvidia to amerykańska firma technologiczna, o która staje się niezwykle potężnym graczem w świecie sztucznej inteligencji. Główna siedziba Nvidii w branży sztucznej inteligencji z siedzibą w Santa Clara w Kalifornii jest w większości zakulisowa, ponieważ jej produkty i usługi są przeznaczone dla innych firm, a nie dla indywidualnych konsumentów. Pierwotnie głównym produktem Nvidii były procesory graficzne (GPU), które były wykorzystywane do zasilania systemów gier wideo, takich jak Sega, Xbox i PS3. Dziś głównym priorytetem Nvidii jest uczynienie układów GPU znanymi jako “układy AI” dla innych firm, które budują produkty oparte na AI. Te układy scalone są rodzajem superkomputerowego sprzętu, który może obsługiwać najbardziej wymagające i złożone operacje obliczeniowe. Ogromne ilości tych układów AI są wykorzystywane w centrach danych wielkich gigantów technologicznych, takich jak Amazon, Google, Facebook i Microsoft. Chociaż Nvidia dostarcza chipy AI do zasilania niezliczonych urządzeń dla wielu różnych firm, jej najważniejszy wkład w AI ma prawdopodobnie przemysł samochodowy. Nvidia jest kluczowym graczem w branży samochodów samojezdnych i nawiązała strategiczne partnerstwa z większością najlepszych marek. Oprócz tego, że jest wiodącą firmą napędzającą przemysł samochodowy bez kierowców, Nvidia aspiruje również do bycia czołowym dostawcą układów AI dla wielu różnych sektorów, które będą zasilane AI w przyszłości. Przykładami takich branż są handel detaliczny, opieka zdrowotna, robotyka, inteligentne miasta i magazyny, by wymienić tylko kilka. Jensen Huang, dyrektor generalny Nvidii, powiedział:

“AI jest jednym z najważniejszych wynalazków w historii ludzkości. Jego potencjał przynoszenia radości, produktywności jest z pewnością niekwestionowany, ale Ty mógłbyś również wyobrazić sobie te potężne technologie stosowane w niewłaściwy sposób , sposoby. ”

“W Nvidii wierzymy, że najlepszym sposobem na utrzymanie technologii w dobrych rękach jest jej demokratyzacja. Właśnie dlatego technologia GPU Nvidii i CUDA są otwarte. Jest w każdej chmurze, w każdym komputerze, a my udostępniamy go każdemu, kto chce z niego korzystać. “

Chociaż w tej samej przestrzeni konkurują inne firmy, takie jak Intel i Qualcomm, Nvidia ma dobry start, aby stać się niekwestionowanym liderem na rynku. Marc Andreessena, powiedział: “To tak, jakby wszyscy byli ludźmi na Windowsie w latach 90. lub na iPhone′ie pod koniec 2000 roku.” Dziś Nvidia jest główną platformą używaną przez praktycznie wszystkie start-upy i firmy budujące produkty oparte na sztucznej inteligencji.

Trening AI Nvidii

Aby nadążyć za rosnącym w zawrotnym tempie popytem na sztuczną inteligencję, Nvidia utworzyła Deep Learning Institute, którego celem jest szkolenie około 1000 nowych programistów głębokiego uczenia się rocznie. Deep Learning Institute oferuje bezpłatne kursy we własnym tempie dla naukowców i programistów danych, zapewniając doskonałą okazję dla tych, którzy chcą pracować w tej dziedzinie. Możesz zobaczyć kursy oferowane na: https://www.nvidia.com/en-us/deep-learning-ai/education/. Wśród producentów i dostawców chipów AI, Nvidia ma szansę być niekwestionowanym lider rynku. Dzięki partnerstwu ma udział przy współpracy z najważniejszymi producentami samochodów, Nvidia ma ogromną przewagę konkurencyjną nad konkurentami, takimi jak Intel, oraz ogromną przewagę konkurencyjną nad konkurentami, takimi jak Intel i Qualcomm. Nvidia prawdopodobnie będzie też największym dostawcą chipów AI dla inteligentnych urządzeń i innych produktów, które zostaną opracowane do współpracy z Internetem przedmiotów. W gruncie rzeczy Nvidia może po cichu stać się najpotężniejszą firmą technologiczną ze wszystkich, nawet włączając sławnych gigantów, których wszyscy znamy. Ponieważ ukryta siła umożliwiająca innym firmom technologicznym skuteczne wykonywanie prac związanych z opracowywaniem sztucznej inteligencji, można nawet nazwać Nvidię “siłą stojącą za mocą”.

Aby lepiej wyczuć indeks, obliczmy wartość licznika, mianownika i współczynnika w równaniu (16.15) dla różnych możliwych czasów zatrzymania w deterministycznej sekwencji nagrody 0,2,0,7,2,0;,0 ,0,…,

Oczywiście od tego momentu stosunek będzie się zmniejszał, ponieważ licznik pozostaje stały, podczas gdy mianownik nadal rośnie. Tak więc indeks Gittinsa dla tego ramienia wynosi 1,0133, maksymalna wartość osiągnięta przez wskaźnik. W połączeniu ze stałym ramieniem M_λ z 0 < λ ≤ 1,0133, optymalna polisa zbiera pierwsze cztery nagrody od M, a następnie przełącza się na M_λ . Dla λ > 1,0133 optymalna polityka zawsze wybiera M_λ . Aby obliczyć indeks Gittinsa dla ramienia ogólnego M przy obecnym stanie s, po prostu dokonujemy następującej obserwacji: w punkcie krytycznym, w którym optymalna polityka jest obojętna między wyborem ramienia M a wyborem ramienia stałego M_λ , wartość wyboru M wynosi tyle samo jak wartość wyboru nieskończonej sekwencji λ-nagród. Załóżmy, że powiększamy M tak, że w każdym stanie w M agent ma dwie możliwości: albo kontynuować z M jak poprzednio, albo zakończyć i otrzymać nieskończoną sekwencję λ-nagród.

To zamienia M w MDP, którego optymalna polityka jest po prostu optymalną regułą zatrzymania dla M. Stąd wartość optymalnej polityki w tym nowym MDP jest równa wartości nieskończonej sekwencji λ-nagród, czyli λ/(1 – γ). Więc możemy po prostu rozwiązać ten MDP. . . ale niestety nie znamy wartości λ, jaką należy umieścić w MDP, ponieważ właśnie to próbujemy obliczyć. Wiemy jednak, że w punkcie krytycznym optymalna polityka jest obojętna między M i M , więc możemy zastąpić wybór uzyskania nieskończonej sekwencji λ-rewards wyborem powrotu i ponownego uruchomienia M od stanu początkowego s. (Dokładniej, dodajemy nową akcję w każdym stanie, która ma takie same nagrody i wyniki jak akcja dostępna w s.) Ten nowy MDP Ms, zwany restartem MDP, jest przedstawiony na rysunku (b).

Mamy ogólny wynik, że indeks Gittinsa dla ramienia M w stanie s jest równy 1􀀀 razy wartość optymalnej polityki dla restartu MDP M^s. Ten MDP można rozwiązać za pomocą dowolnego algorytmu z wcześniejszej sekcji . Iteracja wartości zastosowana do M^s na rysunku (b) daje wartość 2,0266 dla stanu początkowego, więc mamy λ=2,0266 (1-γ)=1,0133 jak poprzednio.

Od lat iOS firmy Apple jest jednym z głównych systemów operacyjnych w branży smartfonów wraz z Androidem Google. Jednak, niektórzy eksperci uważają, że Apple może pozostać w tyle w wyścigu o przywództwo w zakresie sztucznej inteligencji, wyprzedzając Google i Amazon Apple w badaniach i rozwoju AI, i prawdopodobnie dominuje w obszar systemów operacyjnych AI również. Niektórzy uważają, że osobisty asystent Apple, Siri, jest znacznie mniej skuteczny niż jego konkurenci, tacy jak Google Assistant lub Microsoft Cortana. Jednocześnie jednak należy zauważyć, że Siri jest obecnie najczęściej używanym osobistym asystentem. Chociaż nadal może obsłużyć tylko proste żądania, mam nadzieję, że Siri stanie się znacznie potężniejsza w najbliższej przyszłości.

Jak Apple stosuje sztuczną inteligencję do swoich produktów

Wszystkie przyszłe produkty Apple będą prawdopodobnie oparte na sztucznej inteligencji, ale oto one niektóre sposoby, w jakie obecnie funkcjonuje sztuczna inteligencja zatrudniony w produktach Apple:

Rozpoznawanie mowy w Siri: osobiste narzędzie asystenta Apple, Siri, jest w stanie zrozumieć podstawową mowę ludzką w kilku różnych językach.

•  QuickType: podczas pisania czegoś na iPhonie lub iPadzie QuickType firmy Apple oferuje predykcyjne sugestie dotyczące słów, które możesz pisać. Ze względu na uczenie maszynowe ta funkcja staje się coraz bardziej inteligentna, im częściej z niej korzystasz, a nawet uczy się własnego, unikalnego stylu konwersacji.

•  iPhone 8 i iPhone X: iPhone X zawiera “A11 Bionic chip”, który został specjalnie zbudowany przez Apple do zarządzania zadaniami związanymi z AI. Wewnątrz tego układu znajduje się “silnik neuronowy”, który zarządza algorytmami uczenia maszynowego, aby zasilać wiele zaawansowanych funkcji iPhone’a X. Ten sam układ zapewnia również twórcom aplikacji na iPhone’a możliwość włączenia sztucznej inteligencji do swoich nowych aplikacji.

•  Apple Music: usługa Apple Music korzysta również z uczenia maszynowego, aby zrozumieć, jakie rodzaje muzyki preferujemy, aby oferować sugestie dotyczące dodatkowej muzyki, którą możemy się cieszyć. Jest to podobne do sposobu, w jaki Netflix jest w stanie oferować klientom sugerowane treści do oglądania.

•  Apple HomePod: Początkowa wersja głośnika HomePod nie zawiera zaawansowanego asystenta AI. Zamiast tego Apple promuje go jako zapewniający najwyższą jakość dźwięku, używając mikrofonów z obsługą AI, aby określić najlepsze sposoby kształtowania dźwięku wydobywającego się z głośnika.

•  Aplikacja Apple Photos: Dzięki ulepszeniom wprowadzonym do aplikacji Apple Photos, oprogramowanie to oferuje teraz rozpoznawanie twarzy, a także może analizować zdjęcia w celu ustalenia, które z nich są najlepsze, co znacznie ułatwia zarządzanie zdjęciami.

Startupy AI nabyte przez Apple

Apple nie był w stanie przejąć żadnych znaczących firm zajmujących się sztuczną inteligencją. Natomiast zakup DeepMind przez Google w 2014 r. znacznie zwiększył możliwości badawcze i rozwojowe AI. Apple udało się jednak zdobyć niektóre start-upy oparte na sztucznej inteligencji, które obejmują: •  Lattice Data, która specjalizuje się w przekształcaniu nieustrukturyzowanych ciemnych danych w dane strukturalne.

•  Emotient, który wykorzystuje AI do rozpoznawania emocji poprzez czytanie wyrazu twarzy.

•  SensoMotoric Instruments, który oferuje śledzenie wzroku oparte na technologii AI.

•  Regaind, start-up widzenia komputerowego.

Core ML – Machine Learning Framework dla programistów aplikacji

Core ML to nowa platforma uczenia maszynowego stworzona przez Apple, która umożliwia programistom łatwe tworzenie aplikacji wykorzystujących technologie uczenia maszynowego. Zgodnie z ich witryną, ten framework został zaprojektowany do użytku w produktach i funkcjach Apple, takich jak Siri i QuickType. Możesz dowiedzieć się więcej na: https://developer.apple.com/machine-learning/

Project Titan – samodzielny komponent samochodowy Apple

Chociaż Apple pracuje nad technologiami jazdy samochodem, obecnie niewiele jest na ten temat informacji, które zostały potwierdzone i udostępnione opinii publicznej. Wydaje się, że projekt o nazwie kodowej “Project Titan” koncentruje się na opracowaniu samodzielnego komponentu, który zostałby zainstalowany w bagażniku dachowym pojazdu. Zamiast próbować zbudować samochód samobieżny od podstaw, który byłby niezwykle kosztowny i czasochłonny, zwłaszcza biorąc pod uwagę przewagę, jaką mają inne firmy technologiczne i samochodowe, Apple przyjmuje dość wyjątkowe podejście. Jeśli projekt Titan zakończy się sukcesem, może być znaczącym produktem dla przemysłu motoryzacyjnego.

Działalność badawcza AI w Apple

W porównaniu z innymi gigantami technologicznymi Apple nie był tak aktywny w badaniach nad sztuczną inteligencją. W rzeczywistości pierwszy dokument badawczy dotyczący AI został opublikowany dopiero w grudniu 2016 r. Apple zatrudniło pierwszego dyrektora ds. badań nad AI dopiero w październiku 2016 r., kiedy to wprowadził na pokład Rusłana Salachutdinowa, eksperta od głębokiego uczenia się z Carnegie Mellon University . Fakt, że Apple zaczął działać później niż wiele innych firm, może wskazywać, że jego technologie sztucznej inteligencji będą również opóźnione. Mimo to AI jest sercem wielu produktów Apple, w tym Apple Watch, iPhone’a, inteligentnego głośnika HomePod i Apple TV. Gdy będą nadal tworzyć i doskonalić swoje linie produktów, ciekawe będzie, czy Apple będzie w stanie dotrzymać kroku Amazonowi i Googleowi w wyścigu o wiodące aplikacje AI w technologii. Więcej informacji na temat badań nad uczeniem maszynowym w Apple można znaleźć w firmie Machine Learning Journal na stronie https://machinelearning.apple.com

W Las Vegas jednoręki bandyta jest automatem do gry. Gracz może wrzucić monetę, pociągnąć za dźwignię i odebrać wygrane (jeśli są). N-ręki bandyta ma n dźwigni. Za każdą dźwignią znajduje się stały, ale nieznany rozkład prawdopodobieństwa wygranych; każdy pobiera próbki z tej nieznanej dystrybucji. Hazardzista musi wybrać, jaką dźwignią zagrać na każdej kolejnej monecie – tej, która najbardziej się opłaciła, a może takiej, której jeszcze nie wypróbowano? To jest przykład wszechobecnego kompromisu między eksploatacją obecnie najlepszych działań w celu uzyskania nagród a eksploracją wcześniej nieznanych stanów i działaniami w celu uzyskania informacji, które w niektórych przypadkach można przekształcić w lepszą politykę i lepsze długoterminowe nagrody. W prawdziwym świecie nieustannie trzeba wybierać między kontynuowaniem wygodnej egzystencji, a wyruszeniem w nieznane w nadziei na lepsze życie. Problem n-rękich bandytów jest formalnym modelem rzeczywistych problemów w wielu niezwykle ważnych obszarach, takich jak decydowanie, które z n możliwych nowych sposobów leczenia choroby, które z n możliwych inwestycji, w które należy przeznaczyć część swoich oszczędności, n możliwych projektów badawczych do sfinansowania lub które z n możliwych reklam wyświetlić, gdy użytkownik odwiedza daną stronę internetową.

Wczesne prace nad tym problemem rozpoczęły się w USA podczas II wojny światowej; okazał się tak krnąbrny, że alianccy naukowcy zaproponowali, aby „problem zrzucić na Niemcy, jako ostateczne narzędzie intelektualnego sabotażu” . Okazuje się, że naukowcy, zarówno w czasie wojny, jak i po jej zakończeniu, próbowali udowodnić „oczywiście prawdziwe” fakty dotyczące problemów bandytów, które w rzeczywistości są fałszywe. Jak to ujął Bradt i inni: „Istnieje wiele fajnych właściwości, których optymalne strategie nie posiadają”. Na przykład, ogólnie zakładano, że optymalna polityka ostatecznie oprze się na najlepszym ramieniu w dłuższej perspektywie; w rzeczywistości istnieje skończone prawdopodobieństwo, że optymalna polityka będzie się opierać na części nieoptymalnej. Mamy teraz solidną wiedzę teoretyczną na temat problemów bandytów, a także przydatne algorytmy do ich rozwiązywania. Istnieje kilka różnych definicji problemów bandytów; jeden z najczystszych i najbardziej ogólnych to:

* Każde ramię M_i to proces nagradzania Markowa lub MRP, czyli MDP z tylko jednym możliwym działaniem a_i. Ma stany S_i, model przejścia P_i(s’ |s,a_i) i nagrodę R_i(s,a_i,s’). Ramię określa rozkład w sekwencjach nagród R_i,0,R_i,1,R_i,2,…, gdzie każdy R_i,t jest zmienną losową.

• Ogólnym problemem bandytów jest MDP: przestrzeń stanów jest dana przez iloczyn kartezjański S=S₁ x … x S_n; akcje to a₁,…,a_n jakiś; model przejściowy aktualizuje stan wybranego ramienia M_i, zgodnie z jego konkretnym modelem przejściowym, pozostawiając pozostałe ramiona niezmienione; a współczynnik dyskontowy to γ.

Ta definicja jest bardzo ogólna i obejmuje szeroki zakres przypadków. Kluczową właściwością jest to, że ramiona są niezależne, połączone tylko faktem, że agent może jednocześnie pracować tylko na jednym ramieniu. Możliwe jest zdefiniowanie jeszcze bardziej ogólnej wersji, w której ułamkowe wysiłki można zastosować do wszystkich ramion jednocześnie, ale łączny wysiłek we wszystkich ramionach jest ograniczony; podstawowe wyniki opisane tutaj przenoszą się na ten przypadek. Wkrótce zobaczymy, jak sformułować typowy problem bandytów w tych ramach, ale rozgrzejmy się prostym szczególnym przypadkiem deterministycznych sekwencji nagród. Niech γ=0:5 i załóżmy, że istnieją dwa ramiona oznaczone M i M₁. Wielokrotne ciągnięcie M daje sekwencję nagród 0,2,0,7,2,0,0, …, podczas gdy ciągnięcie M₁ daje 1,1,1,…,

Gdyby na początku trzeba było zobowiązać się do jednej lub drugiej gałęzi i trzymać się jej, wybór zostałby dokonany poprzez obliczenie użyteczności (całkowita zdyskontowana nagroda) dla każdej odmiany:

Można by pomyśleć, że najlepszym wyborem jest wybór M₁, ale chwila zastanowienia pokazuje, że rozpoczęcie od M, a następnie przejście do M₁ po czwartej nagrodzie daje sekwencję S=0,2,0,7,2,1,1, 1,…,, dla którego

Dlatego strategia S, która we właściwym czasie przechodzi z M do M₁ jest lepsza niż każda z odmian osobno. W rzeczywistości S jest optymalny dla tego problemu: wszystkie inne czasy przełączania dają mniejszą nagrodę. Uogólnijmy nieco ten przypadek, aby teraz pierwsze ramię M dało dowolną sekwencję R₀,R₁,R₂,… (które może być znane lub nieznane), a drugie ramię M_λ oddaje λ,λ,λ, … dla pewnej znanej stałej stałej λ .

W literaturze nazywa się to jednorękim bandytą, ponieważ formalnie jest to odpowiednik przypadku, w którym istnieje jedno ramię M, które wytwarza nagrody R₀ ,R₁,R₂, … i koszty λ za każde pociągnięcie. (Pociągnięcie ramienia M jest równoznaczne z nieciągnięciem M_λ , więc za każdym razem rezygnuje z nagrody.) Mając tylko jedno ramię, jedynym wyjściem jest czy pociągnąć ponownie, czy przestać. Jeśli pociągniesz pierwsze ramię T razy (tzn. w chwilach 0,1,…,T – 1 mówimy, że czas zatrzymania to T. Czas zatrzymania Wracając do naszej wersji z M i M_λ , załóżmy, że po T ciągnie pierwszą rękę, optymalna strategia ostatecznie ciągnie drugą rękę po raz pierwszy. Ponieważ z tego ruchu nie uzyskuje się żadnych informacji (już wiemy, że wypłata będzie λ ), w momencie T+1 będziemy w tym samym sytuacji, a zatem optymalna strategia musi dokonać tego samego wyboru. Równoważnie możemy powiedzieć, że optymalną strategią jest uruchomienie ramienia M do czasu T, a następnie przejście do M_λ przez resztę czasu. Możliwe, że T =0, jeśli strategia wybiera M_λ natychmiast lub T =∞ jeśli strategia nigdy nie wybiera M lub gdzieś pomiędzy. Rozważmy teraz wartość takiej λ, że optymalna strategia jest dokładnie obojętna między (a) uruchomieniem M aż do najlepszego możliwego zatrzymania czas, a następnie przełączenie na M_λ na zawsze i (b) natychmiastowe wybranie M_λ. W punkcie krytycznym mamy

co upraszcza do

To równanie definiuje rodzaj „wartości” dla M pod względem jego zdolności do dostarczania strumienia nagród w odpowiednim czasie; licznik ułamka reprezentuje użyteczność, podczas gdy mianownik można traktować jako „zdyskontowany czas”, więc wartość opisuje maksymalną możliwą do uzyskania użyteczność na jednostkę zdyskontowanego czasu. (Ważne jest, aby pamiętać, że T w równaniu jest czasem zatrzymania, który jest regulowany przez regułę zatrzymania, a nie jest prostą liczbą całkowitą; redukuje się do prostej liczby całkowitej tylko wtedy, gdy M jest deterministyczną sekwencją nagrody.) Wartość zdefiniowana w Równanie nazywa się indeksem Gittinsa M. Niezwykłą cechą indeksu Gittinsa jest to, że zapewnia bardzo prostą, optymalną politykę dla każdego problemu z bandytami: pociągnij ramię, które ma najwyższy indeks Gittinsa, a następnie zaktualizuj indeksy Gittinsa J. Ponadto, ponieważ indeks ramienia M_i zależy tylko od właściwości tego ramienia, optymalną decyzję dotyczącą pierwszej iteracji można obliczyć w czasie O(n), gdzie n jest liczbą ramion. A ponieważ indeksy Gittinsa ramion, które nie zostały wybrane, pozostają niezmienione, każdą decyzję po pierwszej można obliczyć w czasie O(1).

IBM ma ponad 100 lat, a jego obecny okręt flagowy to Watson, zjawisko sztucznej inteligencji, które zafascynowało świat po pokonaniu 2 ludzkich bohaterów w teleturnieju Jeopardy! w 2011 roku. Rozwój Watsona rozpoczął się w 2005 roku, kiedy naukowcy już zdecydowali w 2004 roku, że zbudują go, aby konkurować na Jeopardy !. Po zebraniu 1 miliona dolarów nagród z teleturnieju IBM zaczął pracować nad rozszerzeniem możliwości Watsona, które firma często określa jako “przetwarzanie poznawcze”, a nie sztuczną inteligencję. Od tego czasu Watson, który pierwotnie był przechowywany na kilku serwerach, a teraz znajduje się w chmurze, poczynił ogromne postępy, zwłaszcza w dziedzinie medycyny. Wznowienie Watsona oferuje teraz wiele ważnych działań dla społeczeństwa, a nie tylko “uczestnika teleturnieju”. Mimo że Watson jest obecnie wykorzystywany w 17 branżach, w tym w handlu detalicznym, prawie, muzyce i hotelarstwie, Watson odnosi szczególne sukcesy w dziedzinie medycyny, wykorzystując swoją moc obliczeniową lub sztuczną inteligencję w celu zwiększenia biegłości lekarzy. Na przykład jednym z największych osiągnięć dla IBM był Watson Oncology, program wprowadzony w 2013 r., który pozwala lekarzom korzystać z Watsona, aby pomóc im w jak najlepszym diagnozowaniu i planowaniu leczenia pacjentów z rakiem. W badaniu przeprowadzonym przez University of North Carolina′s School of Medicine Watson otrzymał 1000 przypadków raka do analizy. W 99 procentach przypadków zalecane przez Watsona plany leczenia pacjentów były zgodne z zaleceniami lekarzy. Ponadto supergwiazda AI oferowała opcje, które lekarze przeoczyli przez około 30 procent czasu. Watson, przypisując w dużej mierze swoją wyjątkową moc przetwarzania, był w stanie włączyć prace naukowe i badania kliniczne, o których lekarze mogli nie wiedzieć lub o których nie wiedzieli. IBM Watson przyczynia się również do świata medycyny, współpracując z Quest Diagnostics, tworząc IBM Watson Genomics z Quest Diagnostics. Jest to wysoce zaawansowana usługa sekwencjonowania genomowego zaprojektowana, aby pomóc onkologom w zapewnieniu pacjentom chorym na raka możliwie najbardziej precyzyjnego leczenia. Duża część sukcesu firmy Watson w byciu tak bezcennym dla społeczności medycznej została przypisana rzekomo 4 miliardom dolarów, które IBM wydał na zakup firm zajmujących się danymi medycznymi. Wkład Watsona nie ogranicza się do dziedziny medycyny. Poniżej podano przykłady innych obszarów, w których Watson odcisnął swoje piętno na społeczeństwie.

•  Watson Analytics: IBM również wyróżnia się wizualizacją. Wykorzystując swoją wiedzę AI, zaprojektował system, który może odkrywać relacje, korelacje i perspektywy z zestawów danych. Mogą one pomóc firmom uzyskać przydatne informacje z ich danych, w tym trendy i prognozy dla ich firm. Strona internetowa: www.ibm.com/watson-analytics

•  Przedsiębiorczy Watson: w celu dalszego rozszerzenia zasięgu IBM szuka strategicznych połączeń z innymi firmami. W tym celu nawiązał współpracę z Salesforce, która udostępni informacje z Watson na platformie obsługi klienta Salesforce o nazwie “Einstein”. •  Watson w edukacji: Watson pomaga nawet szkolić studentów uniwersytetów. Georgia Tech wydała “Jill Watson” Asystent nauczyciela AI. Ten asystent AI został opracowany przez profesora Ashoka Goela i zespół absolwentów Georgia Tech, aby pomóc odpowiedzieć na pytania studentów biorących udział w internetowym kursie Georgia Tech. Chociaż nie jest produktem IBM, Jill Watson jest oparta na platformie IBM Watson. Prezes, prezes i dyrektor generalny IBM Ginni Rometty powiedziała, że spodziewa się, że Watson dotrze do ponad miliarda ludzi.

“W ciągu kilku lat każda ważna decyzja – osobista lub biznesowa – zostanie podjęta za pomocą sztucznej inteligencji i technologii poznawczych” – powiedziała. Oszacowano również, że Watson przyniesie 6 miliardów dolarów do 2020 roku i 17 miliardów dolarów do 2022 roku dla firmy.

Usługi chmurowe IBM AI

IBM oferuje zaawansowane usługi AI oparte na chmurze zarówno dla dużych, jak i małych firm. Usługi te umożliwiają firmom tworzenie produktów i usług AI przy użyciu narzędzi do widzenia komputerowego, rozpoznawania obrazów i rozpoznawania mowy, podobnych do tych oferowanych przez Amazon. Ponadto IBM zapewnia usługi analizy danych oparte na sztucznej inteligencji, które mogą być pomocne w badaniach rynku. Wypróbuj bezpłatne pokazy, aby zobaczyć, jak działa sztuczna inteligencja Watsona . IBM oferuje różnorodne produkty i usługi Watson, z których wszystkie implementują sztuczną inteligencję. Poniżej znajdują się prezentacje czterech najciekawszych, które możesz sam sprawdzić w celu ustalenia potencjalnego zastosowania:

•  Analizator dźwięków: wykorzystuje analizę językową do identyfikacji emocji przekazywanych w tekście pisanym. To narzędzie pozwala wklejać treści z tweetów, wiadomości e-mail lub losowego tekstu i otrzymywać analizę emocjonalną. URL: https://tone-analyzer-demo.mybluemix.net.

•  Discovery : pozwala użytkownikom analizować trendy wiadomości związane z dowolnym słowem kluczowym, a także przeprowadza analizę sentymentu, która określa, czy zasięg wiadomości związanych ze słowem kluczowym był dodatni czy ujemny. URL: https: // discovery-newsdemo. mybluemix.net

•  Rozpoznawanie wizualne: Pokazuje, jak Watson analizuje obrazy i zapewnia wgląd w treść wizualną. Wystarczy podać link do dowolnego obrazu znalezionego w Internecie, aby zobaczyć, jak to działa z pierwszej ręki. URL: https://visual-recognition-demo.ng.bluemix.net

•  Tekst na mowę: pokazuje, w jaki sposób Watson może przekształcić dowolny tekst w ludzką mowę. Ta usługa obsługuje obecnie 13 typów głosu w 7 różnych językach. URL: https: // text-to-speechdemo. ng.bluemix.net

Możesz znaleźć wszystkie produkty i usługi IBM Watson dostępny tutaj: www.ibm.com/watson/products-services Power AI IBM Power AI to platforma korporacyjna IBM dla AI, która jest przeznaczona dla dużych firm, które chcą pracować z głębokim uczeniem się i uczeniem maszynowym. Szczegółowe informacje na ten temat można znaleźć na stronie: www.ibm.com/usen/ marketplace / deep-learning-platform . Pod tym względem IBM jest pionierem w świecie sztucznej inteligencji i jego zdolności do rozwiązywania wielu praktycznych problemów dla świata, zwłaszcza w dziedzinie opieki zdrowotnej.

IBM AI Research

IBM opracował szereg zasobów do badań nad sztuczną inteligencją, zwanych także badaniami w dziedzinie kognitywnego przetwarzania danych. Na głównej stronie badawczej firmy można dowiedzieć się o ich głównych obszarach badawczych i ich partnerstwach, a także przeczytać wnikliwe artykuły i obejrzeć rozmowy TED niektórych ekspertów kognitywnych w IBM. Więcej informacji można znaleźć na stronie: http://research.ibm.com/cognitive-computing IBM Cognitive Training Center IBM oferuje także cenne bezpłatne kursy na podstawowe tematy AI, w tym uczenie maszynowe, głębokie uczenie się i rozwój chatbota. Te oparte na wideo kursy online oferują odznaki, które można zdobyć po ukończeniu, i są doskonałym źródłem informacji dla każdego, kto chce dowiedzieć się więcej o tych technologiach. Możesz znaleźć te kursy na: https://cognitiveclass.ai/badges

Iteracja wartości i iteracja polityki to algorytmy offline: podobnie jak algorytm A* w rozdziale 3 generują optymalne rozwiązanie problemu, które może być następnie wykonane przez prostego agenta. W przypadku wystarczająco dużych MDP, takich jak Tetris MDP z 1062 stanami, dokładne rozwiązanie offline, nawet za pomocą algorytmu wielomianowego, nie jest możliwe. Opracowano kilka technik przybliżonego rozwiązania MDP w trybie offline. W tym miejscu rozważymy algorytmy online, analogiczne do tych używanych w grach , w których agent wykonuje znaczną ilość obliczeń w każdym punkcie decyzji, zamiast operować głównie na podstawie wcześniej obliczonych informacji. Najprostszym podejściem jest w rzeczywistości uproszczenie algorytmu EXPECTIMINIMAX dla drzew gier z węzłami losowymi: algorytm EXPECTIMAX buduje drzewo naprzemiennych węzłów maksymalnych i losowych, jak pokazano na rysunku.

(Istnieje niewielka różnica w stosunku do standardowego EXPECTIMINIMAX w tym, że istnieją nagrody za przejścia nieterminalne i terminalne). Funkcję oceny można zastosować do nieterminalnych liści drzewa lub można im nadać wartość domyślną. Decyzję można wydobyć z drzewa poszukiwań, tworząc kopię zapasową wartości użyteczności z liści, biorąc średnią w węzłach szansy i biorąc maksimum w węzłach decyzyjnych.

W przypadku problemów, w których współczynnik dyskontowania γ nie jest zbyt bliski 1, przydatna jest koncepcja ε-horyzont. Niech ε będzie pożądanym ograniczeniem błędu bezwzględnego w narzędziach obliczonych z drzewa expectimax o ograniczonej głębokości, w porównaniu z dokładnymi narzędziami w MDP. Wtedy ε-horyzont  to głębokość drzewa H tak, że suma nagród poza dowolnym liściem na tej głębokości jest mniejsza niż ε– ogólnie rzecz biorąc, wszystko, co dzieje się po H, jest nieistotne, ponieważ jest tak odległe w przyszłości. Ponieważ suma nagród poza H jest ograniczona przez γ^HR_max=(1- γ), głębokość z H=[log_γε(1- γ)/R_maxe] jest wystarczające. Tak więc zbudowanie drzewa na taką głębokość daje prawie optymalne decyzje. Na przykład przy γ=0:5, ε=0:1 i R_max=1, znajdujemy H=5, co wydaje się rozsądne. Z drugiej strony, jeśli γ=0:9, H=44, co wydaje się mniej rozsądne! Oprócz ograniczania głębokości, możliwe jest również uniknięcie potencjalnie ogromnego współczynnika rozgałęzień w węzłach losowych. (Na przykład, jeśli wszystkie prawdopodobieństwa warunkowe w modelu przejścia DBN są niezerowe, prawdopodobieństwa przejścia, które są podane przez iloczyn prawdopodobieństw warunkowych, są również niezerowe, co oznacza, że ​​każdy stan ma pewne prawdopodobieństwo przejścia do każdego innego stanu. ) Oczekiwania w odniesieniu do rozkładu prawdopodobieństwa P można aproksymować, generując N próbek z P i używając średniej próbki. W formie matematycznej mamy

Tak więc, jeśli współczynnik rozgałęzienia jest bardzo duży, co oznacza, że ​​istnieje bardzo wiele możliwych wartości x, dobre przybliżenie wartości węzła szansy można uzyskać, próbując ograniczoną liczbę wyników działania. Zazwyczaj próbki skupiają się na najbardziej prawdopodobnych wynikach, ponieważ są one najbardziej prawdopodobne do wygenerowania. Jeśli przyjrzysz się uważnie drzewu na rysunku, zauważysz coś: tak naprawdę nie jest to drzewo. Na przykład korzeń (3,2) jest również liściem, więc należy traktować to jako wykres i ograniczyć wartość liścia (3,2) do wartości pierwiastka (3,2), ponieważ są to ten sam stan. W rzeczywistości ten sposób myślenia szybko sprowadza nas z powrotem do równań Bellmana, które wiążą wartości stanów z wartościami stanów sąsiednich. Zbadane stany faktycznie stanowią sub-MDP oryginalnego MDP, a ten sub-MDP można rozwiązać za pomocą dowolnego algorytmu w tym rozdziale, aby uzyskać decyzję dla bieżącego stanu. (Stany graniczne mają zwykle stałą szacunkową wartość. To ogólne podejście nazywa się programowaniem dynamicznym w czasie rzeczywistym (RTDP) i jest dość analogiczne do LRTA w Rozdziale 4. Algorytmy tego rodzaju mogą być całkiem skuteczne w domenach o umiarkowanej wielkości, takich jak światy gridowe ; w większych domenach, takich jak Tetris, są dwa problemy. Po pierwsze, przestrzeń stanów jest taka, że ​​każdy możliwy do zarządzania zbiór eksplorowanych stanów zawiera bardzo mało powtarzających się stanów, więc równie dobrze można użyć prostego drzewa oczekiwanych. Po drugie, prosta heurystyka dla węzły graniczne mogą nie wystarczyć do prowadzenia agenta, zwłaszcza jeśli nagrody są nieliczne.

Jednym z możliwych rozwiązań jest zastosowanie uczenia się przez wzmacnianie w celu wygenerowania znacznie dokładniejszej heurystyki .Innym podejściem jest dalsze spojrzenie w MDP przy użyciu podejścia Monte Carlo. W rzeczywistości algorytm UCT z rysunku został pierwotnie opracowany dla MDP, a nie dla gier. Zmiany wymagane do rozwiązywania MDP, a nie gier, są minimalne: wynikają przede wszystkim z faktu, że przeciwnik (natura) jest stochastyczny i z potrzeby śledzenia nagród, a nie tylko wygranych i przegranych. W zastosowaniu do świata 4×3 osiągi UCT nie są specjalnie imponujące. Jak pokazuje Rysunek,

potrzeba średnio 160 odtworzeń, aby osiągnąć całkowitą nagrodę 0,4, podczas gdy optymalna polityka ma oczekiwaną całkowitą nagrodę 0,7453 od stanu początkowego (patrz Rysunek 16.3). Jednym z powodów, dla których UCT może mieć trudności, jest to, że buduje drzewo, a nie wykres i używa (w przybliżeniu) expectimax zamiast programowania dynamicznego. Świat 4×3 jest bardzo „zapętlony”: chociaż istnieje tylko 9 stanów nieterminalnych, playouty UCT często trwają ponad 50 akcji. UCT wydaje się lepiej pasować do Tetris, gdzie playouty idą na tyle daleko w przyszłość, aby dać agentowi poczucie, czy potencjalnie ryzykowny ruch w końcu zadziała, czy też spowoduje ogromne nagromadzenie. Szczególnie interesującym pytaniem jest, jak bardzo może pomóc prosta polityka symulacji – na przykład taka, która unika tworzenia nawisów i umieszcza elementy tak nisko, jak to możliwe.

Microsoft, jedna z najbardziej znanych i tradycyjnych firm technologicznych, dokonała ostatnio wielu zmian, odchodząc od tradycyjnego oprogramowania i sprzedając usługi oparte na chmurze. W maju 2017 r. firma ogłosiła imponujące liczby, mając 500 milionów miesięcznych aktywnych użytkowników systemu Windows 10, 100 milionów komercyjnych użytkowników Office 365 i 140 milionów miesięcznych aktywnych użytkowników Cortany (osobisty asystent Microsoftu). W ostatnich latach firma nie przywiązywała również większej wagi do opracowywania rozwiązań mobilnych i skupiła się na sztucznej inteligencji , badaniu i rozwoju. W rzeczywistości pod kierownictwem CEO Satyi Nadella, Microsoft integruje sztuczną inteligencję z większością swoich produktów. W jednym z ostatnich raportów rocznych firma wskazała zmianę przez dodanie sztucznej inteligencji do oświadczenia dotyczącego podstawowej wizji i usunięcie odniesień do rozwoju urządzeń mobilnych Zasadniczo oznacza to, że Microsoft wdroży AI we wszystkich swoich przyszłych produktach. Microsoft intensywnie inwestuje również w rozwój sztucznej inteligencji, co oznacza, że ma nadzieję na zrewitalizowanie swojej linii produktów. Celem firmy jest odzyskanie sukcesu, który odniósł wiele lat temu, jako najlepsza nazwa w branży komputerów osobistych. O tych ambicjach świadczy ostatnio zatrudnienie strategiczne. Microsoft rozpoczął współpracę ze znanym ekspertem od sztucznej inteligencji i dogłębnego uczenia się, Yoshua Bengio, który zgodził się być strategicznym doradcą firmy i ma pomóc w umieszczeniu Microsoftu jako trzeciej co do wielkości firmy zajmującej się sztuczną inteligencją.

Jak Microsoft stosuje sztuczną inteligencję? Istnieje kilka produktów, które Microsoft opracowuje i ulepsza przy użyciu sztucznej inteligencji, w tym:

•  Cortana: osobisty asystent cyfrowy firmy jest dość stabilny jako jeden z najpopularniejszych w tej kategorii. Wykorzystuje sztuczną inteligencję do uczenia się i wykonywania zadań przypisanych przez użytkowników. Cortana może przypominać użytkownikom o spotkaniach lub działaniach, wykorzystując dane dotyczące czasu lub lokalizacji. Może również wyszukiwać informacje na żądanie i koordynować informacje w wielu popularnych aplikacjach. URL:

https://www.microsoft.com/enus/windows/cortana

•  Tłumacz prezentacji: to nowy produkt firmy Microsoft, który pozwala dodawać napisy w ponad 60 różnych językach, za pomocą mowy na żywo, do dowolnej prezentacji PowerPoint. To narzędzie jest oparte na technologii AI znanej jako przetwarzanie języka naturalnego. URL:

https://translator.microsoft.com/help/presentation-translator

•  HoloLens: HoloLens to urządzenie rzeczywistości mieszanej, którego podstawą jest AI. Dzięki wykorzystaniu przetwarzania obrazu i opracowywania rozpoznawania HoloLens jest pierwszym samodzielnym, holograficznym komputerem. Noszone jak okulary, pozwala na jednoczesne korzystanie z treści cyfrowych i hologramów. Microsoft spodziewa się, że HoloLens będzie kolejnym dużym interfejsem użytkownika w ciągu kilku lat, kiedy technologia się rozwinie i będzie można go sprzedawać po bardziej przystępnej cenie. URL: https://www.microsoft.com/en-us/hololens

•  InnerEye: jest to oparty na chmurze, oparty na sztucznej inteligencji produkt opieki zdrowotnej stworzony przez firmę Microsoft w celu wzmocnienia społeczności medycznej. Jest to narzędzie do analizy obrazu, które pozwala lekarzom zobaczyć znacznie więcej niż jest to możliwe przy tradycyjnym obrazowaniu rezonansu magnetycznego (MRI), umożliwiając im lepszą opiekę nad pacjentem. URL: https://www.microsoft.com/en-us/AI/beunstoppable

•  Azure Microsoft Cloud Service: Azure to oparta na chmurze grupa pomocy, z której mogą korzystać profesjonaliści do opracowywania aplikacji i zarządzania nimi. Ma także komponent uczenia maszynowego działający na sztucznej inteligencji, którego można użyć do obliczenia danych i opracowania modelu predykcyjnego. URL: https://azure.microsoft.com/enca/ Overview / what-is-azure /

•  Sztuczna inteligencja dla Ziemi: Microsoft zastosował sztuczną inteligencję w celu rozwiązania problemów związanych ze środowiskiem i zrównoważonym rozwojem. AI dla Ziemi to program, który poprzez różne projekty stara się rozwiązywać problemy związane z rolnictwem, zaopatrzeniem w wodę, różnorodnością biologiczną i zmianami klimatu. Jednym z najciekawszych projektów, nad którymi pracowali, jest Project Premonition, który śledzi komary w celu gromadzenia informacji o patogenach w celu zapobiegania wybuchom chorób u ludzi. URL:

https://www.microsoft.com/en-us/aiforearth

•  AI Language Translator: Microsoft zaktualizował swoją usługę tłumaczenia, która jest oparta na głębokich uczących się sieciach neuronowych. URL: https://translator.microsoft.com/neural/ Microsoft pracuje także nad kilkoma innymi inicjatywami AI. Na przykład we wrześniu 2017 roku firma ogłosiła, że to zrobi wszystko aby uruchomić nowy dział opieki zdrowotnej oparty na technologiach AI. To będzie najprawdopodobniej konkurencja z IBM, który jest obecnie liderem w branży produktów i usług AI związane z opieką zdrowotną. Microsoft dąży również do udziału w niezwykle obiecującym przemyśle samochodowym, który będzie w dużej mierze napędzany sztuczną inteligencją. Firma ogłosiła, że będzie współpracować z chińską firmą technologiczną Baidu w zakresie rozwoju technicznego samochodów bezzałogowych. Ponadto Microsoft ma potężny zestaw narzędzi AI, które może wykorzystać. Należą do nich Office 365, Luis.AI i Azure Bot Service, co pozwala zbudować chatboty zasilane AI na Cortanie. Posiada również różnorodne narzędzia i usługi uczenia maszynowego, a także infrastrukturę usług sztucznej inteligencji. Wszystkie narzędzia można znaleźć tutaj: https://azure.microsoft.com/en-us/overview/ai-platform

Microsoft AI Research

W 2016 r. Microsoft uruchomił grupę AI Research, składającą się z ponad 5000 inżynierów i informatyków. To kolejny dowód na to, jak poważnie firma dąży do rozwoju sztucznej inteligencji. Jest całkiem prawdopodobne, że Microsoft będzie jedną z najlepszych firm zajmujących się sztuczną inteligencją w przyszłości. Dyrektor generalny Microsoft, Satya Nadella, określiła AI jako “trzeci czas wykonywania”. “Jeśli system operacyjny był pierwszym czasem działania, drugim czasem, o którym można powiedzieć, była przeglądarka, a trzeci czas działania może faktycznie być agentem” – powiedział. “W pewnym sensie agent zna cię, twój kontekst pracy i zna pracę. I tak budujemy Cortanę. Dajemy mu naprawdę naturalne zrozumienie języka. ” Nadella powiedziała również, że przemysł sztucznej inteligencji naprawdę ożył w ciągu ostatnich kilku lat z powodu postępu technologicznego. “W ciągu ostatnich pięciu lat najbardziej ekscytująca była ta jedna wyspecjalizowana gałąź” głębokiej sieci neuronowej “, która zasadniczo zapewnia nam ludzką percepcję, niezależnie od tego, czy chodzi o rozpoznawanie mowy, czy obrazu, i to jest po prostu magiczne.

Dodatkowe informacje

Między innymi Microsoft pracował nad rozwojem produktów opartych na sztucznej inteligencji, odczytu maszynowego i modyfikacji obrazu w czasie rzeczywistym. URL: https://news.microsoft.com/ai/ Microsoft chętnie dzieli się swoją wiedzą i spostrzeżeniami na temat sztucznej inteligencji i dodał już cztery kursy do szanowanej witryny kursów edX. Kursy te można znaleźć na stronie: ww.edx.org/course?

search_query = ai + Microsoft

Programowanie liniowe lub LP, o którym wspomniano pokrótce w Rozdziale 4 (str. 139), jest ogólnym podejściem do formułowania problemów optymalizacji z ograniczeniami, a dostępnych jest wiele przemysłowych rozwiązań LP. Biorąc pod uwagę, że równania Bellmana zawierają wiele sum i maksimów, być może nie jest zaskakujące, że rozwiązywanie MDP można sprowadzić do rozwiązania odpowiednio sformułowanego programu liniowego. Podstawową ideą tego sformułowania jest rozważenie jako zmiennych w LP użyteczności U(s) każdego stanu s, zwracając uwagę, że użyteczności dla optymalnej polityki są najwyższymi osiągalnymi użytecznościami, które są zgodne z równaniami Bellmana. W języku LP oznacza to, że staramy się zminimalizować U (s) dla wszystkich podlegających nierówności

dla każdego stanu i każdego działania Tworzy to połączenie programowania dynamicznego z programowaniem liniowym, dla którego algorytmy i kwestie złożoności zostały dogłębnie zbadane. Na przykład z faktu, że programowanie liniowe jest rozwiązywalne w czasie wielomianu, można wykazać, że MDP można rozwiązać w czasie wielomianu w liczbie stanów i akcji oraz liczbie bitów wymaganych do określenia modelu. W praktyce okazuje się, że solwery LP rzadko są tak wydajne, jak programowanie dynamiczne w rozwiązywaniu MDP. Co więcej, czas wielomianowy może brzmieć dobrze, ale liczba stanów jest często bardzo duża. Na koniec warto pamiętać, że nawet najprostsze i najbardziej niedoinformowane algorytmy wyszukiwania działają w czasie liniowym pod względem liczby stanów i akcji.