Big Data zasadniczo odnosi się do faktu, że możemy teraz zbierać i analizować dane w sposób, który był niemożliwy nawet kilka lat temu. Istnieją dwie rzeczy, które napędzają ruch Big Data: fakt, że mamy więcej danych na temat czegokolwiek i naszą ulepszoną zdolność do przechowywania i analizowania dowolnych danych.
Więcej danych o wszystkim
Wszystko, co robimy w naszym coraz bardziej zdigitalizowanym świecie, pozostawia ślad danych. Oznacza to, że ilość dostępnych danych dosłownie eksploduje. W ciągu ostatnich dwóch lat stworzyliśmy więcej danych niż w całej dotychczasowej historii ludzkości. Do 2020 roku przewiduje się, że około 1,7 megabajta nowych danych będzie tworzonych co sekundę, dla każdego człowieka na świecie. Te dane pochodzą nie tylko z dziesiątków milionów wiadomości i e-maili, które wysyłamy sobie co sekundę za pośrednictwem poczty e-mail, WhatsApp, Facebooka, Twittera itp., Ale także z biliona zdjęć cyfrowych, które robimy każdego roku i rosnącej ilości wideo generowane przez nas dane (co minutę przesyłamy obecnie około 300 godzin nowego filmu do YouTube i udostępniamy prawie trzy miliony filmów na Facebooku). Ponadto dysponujemy danymi ze wszystkich czujników, którymi jesteśmy obecnie otoczeni. Najnowsze smartfony mają czujniki informujące o tym, gdzie jesteśmy (GPS), o tym, jak szybko się poruszamy (akcelerometr), jaka jest pogoda wokół nas (barometr), jakiej siły używamy do naciskania ekranu dotykowego (czujnik dotyku) i wiele więcej. Do 2020 roku będziemy mieć ponad sześć miliardów smartfonów na świecie – wszystkie pełne czujników zbierających dane. Ale nie tylko nasze telefony stają się inteligentne, teraz mamy inteligentne telewizory, inteligentne zegarki, inteligentne liczniki, inteligentne czajniki, lodówki, rakiety tenisowe, a nawet inteligentne żarówki. W rzeczywistości do 2020 roku będziemy mieć ponad 50 miliardów urządzeń podłączonych do Internetu. Wszystko to oznacza, że ilość danych i różnorodność danych (od danych z czujników, do tekstu i wideo) na świecie wzrośnie do niewyobrażalnych poziomów.
Możliwość analizowania wszystkiego
Wszystkie te duże dane są warte niewiele, chyba że jesteśmy w stanie przekształcić je w spostrzeżenia. W tym celu musimy przechwytywać i analizować dane. W przeszłości istniały ograniczenia dotyczące ilości danych, które można przechowywać w bazach danych – im więcej danych tam było, tym wolniejszy stał się system. Można to teraz pokonać za pomocą nowych technik, które pozwalają nam przechowywać i analizować dane w różnych bazach danych, w rozproszonych lokalizacjach, połączonych za pośrednictwem sieci. Tak zwane przetwarzanie rozproszone oznacza, że można przechowywać ogromne ilości danych (w małych bitach w wielu bazach danych) i analizować je, dzieląc analizę między różnymi serwerami (każdy wykonuje niewielką część analizy). Firma Google odegrała zasadniczą rolę w rozwoju technologii przetwarzania rozproszonego, umożliwiając im przeszukiwanie Internetu. Obecnie około 1000 komputerów jest zaangażowanych w odpowiadanie na jedno zapytanie, które trwa nie dłużej niż 0,2 sekundy. Obecnie przeszukujemy 3,5 miliarda razy dziennie tylko w Google. Rozproszone narzędzia obliczeniowe, takie jak Hadoop, zarządzają przechowywaniem i analizą Big Data w połączonych bazach danych i serwerach. Co więcej, technologia przechowywania danych i analizy Big Data jest teraz dostępna do wynajęcia w modelu SAAS (Software-as-a-service), dzięki czemu analityka Big Data jest dostępna dla wszystkich, nawet tych o niskim budżecie i ograniczonej obsłudze IT. Wreszcie, widzimy niesamowite postępy w sposobie, w jaki możemy analizować dane. Algorytmy mogą teraz przeglądać zdjęcia, identyfikować, kto jest na nich, a następnie przeszukiwać Internet w poszukiwaniu innych zdjęć tej osoby. Algorytmy mogą teraz rozumieć wypowiadane słowa, tłumaczyć je na tekst pisany i analizować ten tekst pod kątem treści, znaczenia i sentymentu (np. Czy mówimy ładne rzeczy czy nie, to takie miłe rzeczy?). Coraz więcej zaawansowanych algorytmów pojawia się każdego dnia, aby pomóc nam zrozumieć nasz świat i przewidzieć przyszłość. Łączcie to wszystko z uczeniem maszynowym i sztuczną inteligencją (umiejętnością algorytmów uczenia się i podejmowania samodzielnych decyzji) i możecie mieć nadzieję, że rozwój i możliwości tutaj są bardzo ekscytujące i ewoluują bardzo szybko.