Big Data

W świecie informatyki narodziła nowa dziedzina – Big Data. Ewolucja, której można było się spodziewać. W przeszłości wydawało się, że to, co o nas wiedziały administracja, firmy i inne ważne podmioty jest wystarczające i nie tak deprymujące. Zwykle też wydawało się nam że to, co my wiemy o nich to także wystarcza. Ale potem już nie. W gospodarce rozpoczęto gromadzenie i przetwarzanie danych, by znaleźć w nich na przykład trendy. To wprowadziło nas w nie do końca przyjazną nam erę analiz zachowań rynkowych ludzi, a także próby optymalizacji działania tych ludzi. Erę Big Data…
Kiedy na rynek wchodziły pierwsze PC-ty nikt nie był w stanie przewidzieć jak zmieni się nasza codzienność. Nawet znacznie później, kiedy użytkownicy komputerów, a potem smartfonów
zaczęli korzystać z internetu niewielu rozumiało, że ta masowość ślubu z informatyką będzie zmieniać rzeczywistość przez następnych kilka dekad.
Potęgą komputerów osobistych było to, że były one wystarczająco niezawodne i wystarczająco tanie by „zejść pod strzechy”. Stały się one narzędziem codziennej pracy wielu osób. Także internet zawdzięcza swoją siłę temu, że korzysta z niego duża część społeczeństwa. To właśnie dzięki masowości użytkowników internetu łatwo nam znaleźć w sieci znajomych – bo ci znajomi
już tam są. Bez trudu można też znaleźć dostawców poszukiwanych przez nas towarów i usług, bo ci dostawcy też już tam są.
Jednak wraz z gwałtownym rozwojem technologii liczba napływających do ludzi informacji stała się tak duża, że odbieramy je jako „szum informacyjny” czy „przesyt danych”, Po raz pierwszy funkcjonujemy w epoce raczej nadmiaru niż niedoboru informacji, a kluczową staje się umiejętność ich „olewania” niż zdobywania. Zjawisko to będzie się nasilać, bo wszechobecność smartfonów, sieci WiFi, ale też różnych czujników powoduje bezustanne przyspieszanie tempa gromadzenia danych.

PotokIWPotoku
Rzeka danych (fot. owenjamesevents.com). I rzeka ludzi (fot. businessinsider.com). Analiza Big Data może znaleźć w tłumie informacji tę jedyną potrzebną, na przykład twarz

Co to jest Big Data? To piekielne „trzy V”. Duża ilość danych (Volume), duża szybkość przepływu danych (Velocity) i duża różnorodność danych (ang. Variety)
Duża ilość danych  – bo jest ich tak dużo, że nie jesteśmy w stanie przeanalizować ich dotychczasowymi programami. Na przykład analiza podróży wszystkich pasażerów komunikacji miejskiej Warszawy (albo, co gorsza, Nowego Jorku), na wszystkich trasach, w czasie połowy roku. Informacje takie mogą być bowiem zbierane z czytników biletów, kamer w pojazdach, ale też z wielu innych źródeł. To terabajty danych. Szybkość napływania danych natomiast łatwo sobie wyobrazić na przykładzie zbierania danych z wielokilometrowych rurociągów, w których tysiące czujników bez przerwy rejestrują temperaturę, prędkość i ciśnienie medium. Często jeszcze przekazywane na dodatek informacje o mikroruchach samego rurociągu. Różnorodność oznacza, że zbierane dane dotyczą wielu różnych wielkości fizycznych i statystycznych. Często są to dane, których odczytanie nie jest możliwe wprost, np. z obrazów kamer.
Big Data jest więc bardzo odległe od tradycyjnej analizy danych. W praktyce przypomina bardziej zamiatanie podłogi niż wyszukiwanie diamentów…

Komentarz aktualny. Mail od zdumionej osoby z rodziny: kupiłam wczoraj na Allegro trzy tomy Dokumentów Soborów Powszechnych wydane przez WAM (przyp. to największe w kraju wydawnictwo katolickie). Wkrótce nadszedł mail z Allegro z propozycją zakupu zdalnie sterowanego czołgu-zabawki za 399 zł. Na końcu tego maila było wyjaśnienie: produkty dobraliśmy na podstawie wyborów osób, które robiły podobne zakupy w tej samej kategorii…
Jak tu nie lubić technologii Big Data!

Wojciech Nowakowski Wikipedia
refleksyczasu@aol.com
Tel. +48 690657821