•  Część 1 - Podstawy sztucznej inteligencji
•  Część 2 - Dane: Dane są siłą napędową sztucznej inteligencji. W ten sposób algorytmy mogą znajdować wzorce i korelacje, aby zapewnić wgląd. Ale są miny z danymi, takimi jak jakość i stronniczość. W tym rozdziale przedstawiono ramy do pracy z danymi w projekcie AI.
•  Część 3 - Uczenie maszynowe: Jest to podzbiór sztucznej inteligencji i obejmuje tradycyjne techniki statystyczne, takie jak regresja. Ale w tym rozdziale omówimy również zaawansowane algorytmy, takie jak k-Nearest Neighbor (k-NN) i Naive Bayes Classifier. Oprócz tego przyjrzymy się, jak stworzyć model uczenia maszynowego.
•  Część 4 - Głębokie uczenie: Jest to kolejny podzbiór sztucznej inteligencji i jest to wyraźnie ten, w którym w ciągu ostatniej dekady pojawiło się wiele innowacji. Głębokie uczenie polega na wykorzystywaniu sieci neuronowych do znajdowania wzorców naśladujących mózg. W rozdziale przyjrzymy się głównym algorytmom, takim jak rekurencyjne sieci neuronowe (RNN), splotowe sieci neuronowe (CNN) i generatywne sieci kontradyktoryjne (GAN). Pojawią się również wyjaśnienia kluczowych pojęć, takich jak propagacja wsteczna.
•  Część 5 - Automatyzacja procesów robotycznych: Wykorzystuje systemy do automatyzacji powtarzalnych procesów, takich jak wprowadzanie danych do systemu zarządzania relacjami z klientami (CRM). Robotic Process Automation (RPA) odnotował ogromny wzrost w ciągu ostatnich kilku lat ze względu na wysoki ROI (zwrot z inwestycji). Technologia była również wstępnym sposobem wdrażania sztucznej inteligencji przez firmy.
•  Część 6 - Przetwarzanie języka naturalnego (NLP): Ta forma sztucznej inteligencji, która obejmuje rozumienie rozmów, jest najbardziej wszechobecna w przypadku Siri, Cortany i Alexy. Ale systemy NLP, takie jak chatboty, również stały się krytyczne w świecie korporacji. Ten rozdział pokaże, jak efektywnie wykorzystać tę technologię i jak uniknąć trudnych problemów.
•  Część 7 - Roboty fizyczne: Sztuczna inteligencja zaczyna mieć duży wpływ na tę branżę. Dzięki głębokiemu uczeniu robotom łatwiej jest zrozumieć swoje środowisko. W tym rozdziale przyjrzymy się zarówno robotom konsumenckim, jak i przemysłowym, na przykład z niezliczoną liczbą przypadków użycia.
•  Część 8 - Wdrażanie sztucznej inteligencji: Przyjmiemy krok po kroku podejście do tworzenia projektu sztucznej inteligencji, od początkowej koncepcji do wdrożenia. W tym rozdziale omówimy również różne narzędzia, takie jak Python, TensorFlow i PyTorch.
•  Część 9 - Przyszłość sztucznej inteligencji: W tym rozdziale omówione zostaną niektóre z największych trendów w sztucznej inteligencji, takie jak jazda autonomiczna, uzbrojenie sztucznej inteligencji, bezrobocie technologiczne, odkrywanie leków i regulacje prawne.


Krok #3 - Przygotowanie danych

Pierwszym krokiem w procesie przygotowania danych jest podjęcie decyzji, jakich zestawów danych użyć. Przyjrzyjmy się scenariuszowi: Załóżmy, że pracujesz dla firmy wydawniczej i chcesz opracować strategię poprawy utrzymania klientów. Niektóre dane, które powinny pomóc, obejmują informacje demograficzne dotyczące bazy klientów, takie jak wiek, płeć, dochód i wykształcenie. Aby zapewnić więcej kolorów, możesz również spojrzeć na informacje o przeglądarce. Jaki rodzaj treści interesuje klientów? Jaka jest częstotliwość i czas trwania? Jakieś inne ciekawe wzorce - powiedzmy, że dostęp do informacji w weekendy? Łącząc źródła informacji, możesz stworzyć potężny model. Na przykład, jeśli w niektórych obszarach nastąpi rezygnacja z aktywności, może to stwarzać ryzyko anulowania. To ostrzegałoby sprzedawców, aby skontaktowali się z klientami. Chociaż jest to sprytny proces, nadal istnieją miny lądowe. Uwzględnienie lub wykluczenie nawet jednej zmiennej może mieć istotny negatywny wpływ na model AI. W celu zobacz dlaczego, spójrz wstecz na kryzys finansowy. Modele gwarantowania kredytów hipotecznych były wyrafinowane i oparte na ogromnych ilościach danych. W normalnych czasach ekonomicznych działały całkiem dobrze, ponieważ duże instytucje finansowe, takie jak Goldman Sachs, JP Morgan i AIG, w dużym stopniu na nich polegały. Ale był problem: modele nie uwzględniały spadających cen mieszkań! Głównym powodem było to, że przez dziesięciolecia nigdy nie było krajowego spadku. Założono, że mieszkalnictwo jest głównie zjawiskiem lokalnym. Oczywiście ceny mieszkań nie tylko spadły, ale spadły. Modele okazały się wtedy dalekie od celu, a miliardy dolarów strat niemal zniszczyły amerykański system finansowy. Rząd federalny nie miał innego wyjścia, jak pożyczyć 700 miliardów dolarów na ratowanie Wall Street. To prawda, to skrajny przypadek. Podkreśla jednak znaczenie selekcji danych. W tym przypadku niezbędne może być posiadanie solidnego zespołu ekspertów dziedzinowych i analityków danych. Następnie, na etapie przygotowania danych, konieczne będzie czyszczenie danych. Faktem jest, że wszystkie dane mają problemy. Nawet firmy takie jak Facebook mają luki, niejasności i wartości odstające w swoich zbiorach danych. To nieuniknione. Oto kilka działań, które możesz podjąć, aby wyczyścić dane:

•  Deduplikacja: Ustaw testy, aby zidentyfikować wszelkie duplikaty i usunąć zbędne dane.
•  Wartości odstające: są to dane, które znacznie wykraczają poza zakres większości pozostałych danych. Może to wskazywać, że informacje nie są przydatne. Ale oczywiście zdarzają się sytuacje, w których jest odwrotnie. To byłoby do odliczenia oszustwa.
•  Spójność: Upewnij się, że masz jasne definicje zmiennych. Nawet terminy takie jak "przychody" czy "klient" mogą mieć wiele znaczeń.
•  Reguły walidacji: Patrząc na dane, spróbuj znaleźć nieodłączne ograniczenia. Na przykład możesz mieć flagę dla kolumny wiek. Jeśli w wielu przypadkach jest ponad 120, to dane mają poważne problemy.
•  Binning: Niektóre dane nie muszą być szczegółowe. Czy to naprawdę ma znaczenie, czy ktoś ma 35 czy 37 lat? Prawdopodobnie nie. Ale porównanie tych od 30-40 do 41-50 prawdopodobnie tak.
•  Nieaktualność: czy dane są aktualne i istotne?
•  Scalanie: W niektórych przypadkach kolumny danych mogą zawierać bardzo podobne informacje. Być może jeden ma wzrost w calach, a drugi w stopach. Jeśli Twój model nie wymaga bardziej szczegółowego numeru, możesz po prostu użyć tego dla stóp.
•  One-Hot Encoding: Jest to sposób na zastąpienie danych kategorycznych jako liczb. Przykład: Załóżmy, że mamy bazę danych z kolumną, która ma trzy możliwe wartości: Apple, Ananas i Orange. Możesz reprezentować Apple jako 1, Ananas jako 2, a Orange jako 3. Brzmi rozsądnie, prawda? Może nie. Problem w tym, że algorytm AI może uznać, że Orange jest większy niż Apple. Ale dzięki kodowaniu na gorąco możesz uniknąć tego problemu. Utworzysz trzy nowe kolumny: is_Apple, is_Pineapple i is_Orange. Dla każdego wiersza w danych wpiszesz 1 dla miejsca występowania owocu i 0 dla reszty.
•  Tabele przeliczeniowe: Można tego użyć podczas tłumaczenia danych z jednego standardu na inny. Byłoby tak w przypadku, gdy masz dane w systemie dziesiętnym i chcesz przejść do systemu metrycznego.

Te kroki znacznie poprawią jakość danych. Istnieją również narzędzia do automatyzacji, które mogą pomóc, takie jak firmy takie jak SAS, Oracle, IBM, Lavastorm Analytics i Talend. Są też projekty typu open source, takie jak OpenRefine, plyr i reshape2. Niezależnie od tego dane nie będą idealne. Brak źródła danych. Prawdopodobnie nadal będą luki i nieścisłości. Dlatego musisz być kreatywny. Zobacz, co zrobił Eyal Lifshitz, który jest dyrektorem generalnym BlueVine. Jego firma wykorzystuje sztuczną inteligencję do finansowania małych firm. "Jednym z naszych źródeł danych są informacje kredytowe naszych klientów" - powiedział. "Odkryliśmy jednak, że właściciele małych firm błędnie identyfikują swój rodzaj działalności. Może to oznaczać złe wyniki dla naszego ubezpieczenia. Aby sobie z tym poradzić, zbieramy dane ze strony klienta za pomocą algorytmów AI, które pomagają zidentyfikować branżę". Podejścia do czyszczenia danych będą również zależeć od przypadków użycia w projekcie AI. Na przykład, jeśli budujesz system do konserwacji predykcyjnej w produkcji, wyzwaniem będzie radzenie sobie z dużą różnorodnością różnych czujników. W rezultacie duża ilość danych może mieć niewielką wartość i być w większości szumem.