3. Iš kur atsiranda didieji duomenys?

Grįžtant prie sąvokos apibrėžimo, matyti, kaip šio tipo duomenys kontrastuoja su tradiciškai apdorojamais duomenimis: visų pirma, pagrindinis bruožas, kuris labiausiai išskiria didžiuosius duomenis iš kitų, yra sudėtingumas ir informacijos gausa, kurią jie suteikia ir potencialiai gali generuoti. Didieji duomenys žymi duomenų saugojimo ir apdorojimo per reliacines duomenų bazes peržengimą.

RELIACINĖS DUOMENŲ BAZĖS Reliacinės duomenų bazės struktūra yra lentelės formos, kurioje eilutės ir stulpeliai išdėstyti taip, kad juose būtų reikalingi duomenys. Kiekvienas stulpelis turi atributą (arba duomenų lauką), kuriame yra visi jo unikalūs reikšmės (pvz., prekybos centro parduodamo produkto kodas), kurie vadinami įrašais. 1A ir 1B langeliai yra duomenų laukai, kurie šiuo atveju atitinka kiekvieno produkto identifikavimo kodą ir sandėlyje esančius vienetus; 2A, 3A, 4A, 5A ir 2B, 3B, 4B, 5B langeliai yra įrašai. Tarkime, turite kitą lentelę, kurioje yra produkto kodas ir vienetai, jau esantys prekybos centro lentynose, tuomet galite sujungti šią lentelę su ankstesne ir gauti trečią lentelę, kurioje būtų visi prekybos centrui prieinami duomenys: šiuo atveju sujungimo laukas tarp dviejų būtų produkto kodas.

Didieji duomenys renkami naudojant daugybę įrankių ir jie generuojami kasdien atliekant veiksmus, pavyzdžiui, naršant naršyklėje, perkant prekes ir paslaugas internetu arba prisijungiant prie e-bankingo kanalų. Tokio tipo duomenų šaltinis gali būti, pavyzdžiui, slapukai, kuriuos leidžiama perduoti trečiosioms šalims.

Bendroji slapukų reikšmės ir funkcijos apibrėžtis numato, kad jie yra maži duomenų fragmentai, kuriuos vartotojas perduoda lankomai interneto svetainei, siekdamas geresnės naršymo patirties, suteikdamas paslaugų teikėjui galimybę išsaugoti tam tikrą informaciją apie svetainės naudojimą, pirkimo pageidavimus ir pan. Pagrindinė slapukų funkcija yra identifikuoti vartotoją ir prisiminti jo apsilankymo motyvus: dėl to jie tapo kai kurių vartotojų susirūpinimo objektu. Europos Parlamento ir Tarybos Direktyvoje 2002/58/EB, susijusioje su asmens duomenų tvarkymu ir privatumo apsauga elektroninių komunikacijų sektoriuje, svarstymų skyriuje paaiškinama slapukų naudojimo prasmė, pabrėžiant šio įrankio naudą ir kartu įspėjant interneto paslaugų teikėjus, reikalaujant taikyti skaidrumo kriterijus ir informuoti vartotojus apie renkamų duomenų tipą ir naudojimo tikslus. Vėliau įsigaliojo privatumo apsaugos reglamentas – Bendrasis duomenų apsaugos reglamentas (GDPR), kuriuo – tarp kitų priemonių – paslaugų teikėjui nustatytas reikalavimas pirmo vartotojo apsilankymo metu neįdiegti jokių duomenų rinkimo įrankių, o vėliau prašyti vartotojo sutikimo dėl tam tikrų slapukų naudojimo tikslų (techninių, perdavimo trečiosioms šalims ir pan.).

^{2 pav. – Sutikimo dėl slapukų naudojimo reklaminė juosta, šaltinis: https://www.neting.it/blog/cookie-law.html}

Be slapukų, įvairių tipų duomenys gali būti gaunami per socialinius tinklus arba naudojant jutiklius, esančius įrenginiuose, priklausančiuose daiktų interneto (IoT) pasauliui. Ypač pastarajai kategorijai galima gauti daugybę duomenų apie pačius įvairiausius kintamuosius.

Remiantis AGCOM skaičiavimais, vien tik 2018 metais buvo sugeneruota 28 Zettabaitai duomenų, tai prilygsta 250 000 000 DVD diskų. Jei šį duomenų kiekį reikėtų saugoti atminties diskuose, kurių kiekvieno talpa yra vienas Terabaitas, prireiktų maždaug 3 006 477 ×10 ¹ ⁰ atminties diskų, kas yra neįsivaizduojamai didelis skaičius. Pagal kitą skaičiavimą, iki 2020 metų kiekvienas Žemės gyventojas per sekundę generuos vidutiniškai 1,7 Megabaito duomenų, o bendras srautas sudarys 2,5 kvintilijono baitų per dieną.

Šie dydžiai dar labiau stebina, jei, pavyzdžiui, atsižvelgiame į duomenų kiekį, kuris per vieną minutę sugeneruojamas kai kurių dažniausiai naudojamų skaitmeninių įrankių. Tam naudinga remtis infografiku (3 pav.):

^{3 pav. – Duomenys, sugeneruojami per minutę, šaltinis: https://www.go-globe.com/things-that-happen-every-60-seconds/}

Tačiau