1. Apie didžiuosius duomenis

Didieji duomenys – tai milžiniškas informacijos duomenų kiekis, kurio apimtis reikalauja specifinių analizės metodologijų ir technologijų bet kokios rūšies tyrimams. Trys pagrindinės šių informacijos rinkinių savybės – vadinamosios trys V – yra:

• Apimtis. Tai ypač dideli duomenys, reiškiantys, kad jie gali užimti daug vietos – nuo terabaitų iki petabaitų;
• Greitis. Nors duomenų kiekis yra ypač didelis, juos reikia iššifruoti ir perskaityti per kuo trumpesnį laiką. Todėl lemiamas veiksnys valdant ir tinkamai tvarkant didžiuosius duomenis yra greitis.
• Įvairovė. Didieji duomenys apibrėžiami kaip nestruktūruoti arba pusiau struktūruoti duomenys, ir tai sudaro papildomą sunkumą, nes prieš juos apdorojant reikalinga preliminari analizė.

Pastaraisiais laikais prie trijų V buvo pridėtos ir kitos savybės:

• Teisingumas: Kad didieji duomenys būtų tinkamai apdoroti, juos reikia filtruoti; kadangi tai yra neapdoroti duomenys, jie gali lemti neteisingą analizę ir didelę statistinės klaidos bei interpretacijos riziką.
• Vertė: Ne visi didieji duomenys gali būti vertingi, priklausomai nuo tikslo, kuriam jie yra apdorojami ir interpretuojami. Todėl prieš analizę reikia atrinkti tik tuos, kurie yra aktualūs.
• Kintamumas: Jie gali būti filtruojami, kategorizuojami ir naudojami įvairiais būdais pagal naudingą tikslą.

Paprastai yra trys duomenų tipai: struktūruoti, pusiau struktūruoti ir nestruktūruoti. Tačiau reikia pabrėžti, kad duomenys ir informacija nėra sinonimai, nes – ypač informatikos srityje – informacija savaime neegzistuoja, ji gaunama apdorojant surinktus duomenis.

Kai kalbame apie struktūruotus duomenis, turime omenyje tokią informacijos rūšį, kurią galima lengvai įtraukti ir susisteminti į duomenų laukus, nes ji pasižymi aiškia struktūra; pavyzdžiui, galime įsivaizduoti tokią lentelę, kurioje yra trys skirtingos stulpeliai su laukais:

Kai kalbame apie pusiau struktūruotus duomenis, turime omenyje tokią informacijos rūšį, kurios dalį galima įtraukti į duomenų laukus – taigi tai yra struktūruoti duomenys – o kita dalis sudaryta iš nestruktūruotų duomenų; pavyzdys galėtų būti el. laiškai, kuriuose kai kurie laukai yra iš anksto apibrėžti, tokie kaip siuntėjas, gavėjas ir tema, o el. laiško turinys – t. y. žinutė, kurią siunčiame – yra nestruktūruotų duomenų pavidalu, nes jos negalima įtraukti į konkretų lauką.

^{1 pav. – Duomenų klasifikacija el. laiške}

Kalbant apie didžiuosius duomenis, jie gali būti nestruktūruoti, pusiau struktūruoti ir struktūruoti.