3. Kust suurandmed pärinevad?
Tagasi minnes mõiste definitsiooni juurde, ilmneb, kuidas see andmetüüp erineb traditsiooniliselt töödeldud andmetest: eelkõige on suurandmete kõige eristavamaks tunnuseks nende pakutav keerukus ja teabe avarus, mida need pakuvad ja potentsiaalselt suudavad toota. Suurandmed tähistavad seega andmete salvestamise ja töötlemise ületamist relatsiooniliste andmebaaside kaudu.
|
RELATSIOONILISED ANDMEBAASID Väljad 1A ja 1B sisaldavad andmevälju, mis antud juhul vastavad iga toote identifitseerimiskoodile ja laos olevate ühikute arvule; väljad 2A, 3A, 4A, 5A ja 2B, 3B, 4B, 5B sisaldavad kirjeid. Oletame, et teil on veel üks tabel, mis sisaldab tootekoodi ja supermarketis juba riiulitel olevate ühikute arvu, siis saate selle ühendada eelneva tabeliga, et saada kolmas tabel, mis sisaldab kogu supermarketile kättesaadavat teavet: sel juhul oleks kahe tabeli ühendusvälja väärtuseks tootekood.
|
Suurandmeid kogutakse mitmesuguste tööriistade abil ning neid toodetakse igapäevaste tegevuste käigus, nagu näiteks veebibrauseris surfamine, kaupade ja teenuste ostmine internetis või juurdepääs e-panganduse kanalitele. Sellise andmeallika näiteks võib tuua küpsised, mille kasutaja on lubanud kolmandatele osapooltele edastada.
Küpsiste tähenduse ja funktsiooni kohta jagatud definitsiooni kohaselt on need väikesed andmefragmendid, mille kasutaja annab külastatavale veebisaidile parema sirvimiskogemuse saamiseks, võimaldades teenusepakkujal salvestada teavet veebisaidi kasutamise, ostueelistuste jms kohta. Küpsiste esmaseks funktsiooniks on igal juhul kasutaja tuvastamine ja tema külastuse põhjuste meeldejätmine: seetõttu on need muutunud mõne tarbija jaoks murekohaks. Euroopa Parlamendi ja Nõukogu direktiivis 2002/58/EÜ, mis käsitleb isikuandmete töötlemist ja eraelu puutumatuse kaitset elektroonilise side sektoris, selgitatakse põhjendustes küpsiste kasutamise mõtet, rõhutades selle vahendi kasulikkust ja samas hoiatades veebiteenuse pakkujaid, nõudes läbipaistvuse kriteeriumide rakendamist ning kasutajatele teabe andmist kogutavate andmete liigi ja kasutusotstarbe kohta. Hiljem jõustus isikuandmete kaitse määrus, General Data Protection Regulation (GDPR), millega kehtestati – muu hulgas – nõue, et teenusepakkuja ei tohi kasutaja esmakordsel sisenemisel paigutada ühtegi andmekogumisvahendit ning kasutajalt tuleb küsida nõusolekut teatud küpsiste kasutusotstarvete jaoks (tehnilised, kolmandatele osapooltele edastamine jne).
Joonis 2 – Küpsiste kasutamise nõusoleku bänner, allikas: https://www.neting.it/blog/cookie-law.html
Lisaks küpsistele saab erinevat tüüpi andmeid koguda ka sotsiaalvõrgustike kaudu või seadmetesse paigaldatud andurite abil, mis kuuluvad asjade interneti (IoT) maailma. Eriti viimase kategooria puhul on võimalik juurde pääseda väga mitmekesistele andmetele.
AGCOMi hinnangu kohaselt toodeti ainuüksi 2018. aastal 28 zettabaiti andmeid, mis vastab 250 000 000 DVD-le. Eeldades, et see andmehulk salvestatakse ühe terabaidise mahuga mälukettale, oleks vaja umbes 3 006 477 ×10 ¹ ⁰ mälukettast, mis on kujuteldamatult suur arv. Teise hinnangu kohaselt toodab iga Maa elanik 2020. aastaks keskmiselt 1,7 megabaiti andmeid sekundis, mis teeb kokku 2,5 kvintiljonit baiti andmeid päevas.
Need suurusjärgud on veelgi üllatavamad, kui arvestada näiteks andmekogust, mida toodavad mõningad meie igapäevaselt kasutatavad digitaalsed tööriistad vaid ühe minutiga. Selle illustreerimiseks on kasulik vaadata infograafikat (joonis 3):
Joonis 3 – Minutiga toodetud andmed, allikas: https://www.go-globe.com/things-that-happen-every-60-seconds/
Kuigi need kogused võivad juba olla eriti keerulised mõista ja ette kujutada, tuleb rõhutada, et igal aastal toodetavate zettabaitide arv kasvab, nagu näitab AGCOMi koostatud graafik:
