Metódy práce s veľkými dátami. Big data – čo sú to big data systémy? Vývoj Big Data technológií

Čo Veľké dáta(doslova - veľké dáta)? Najprv sa pozrime na Oxfordský slovník:

Údaje- veličiny, znaky alebo symboly, ktoré počítač prevádzkuje a ktoré možno ukladať a prenášať vo forme elektrických signálov, zaznamenaných na magnetických, optických alebo mechanických médiách.

Termín Veľké dáta používa sa na opis veľkého súboru údajov, ktorý v priebehu času exponenciálne rastie. Spracovanie takéhoto množstva údajov je nevyhnutné.

Výhody, ktoré Big Data poskytujú:

1. Zber údajov z rôznych zdrojov.
2. Zlepšenie obchodných procesov prostredníctvom analýzy v reálnom čase.
3. Ukladanie obrovského množstva dát.
4. Prehľady. Big Data sú náročnejšie na skryté informácie pomocou štruktúrovaných a pološtruktúrovaných údajov.
5. Veľké dáta pomáhajú znižovať riziko a robiť inteligentné rozhodnutia pomocou vhodnej analýzy rizík

Príklady veľkých dát

Burza cenných papierov v New Yorku generuje denne 1 terabajtúdaje o obchodoch za poslednú reláciu.

Sociálne médiá: štatistiky ukazujú, že databázy Facebooku sa načítavajú denne 500 terabajtov nové údaje sa generujú najmä vďaka nahrávaniu fotografií a videí na servery sociálnej siete, zasielaniu správ, komentárov pod príspevkami a pod.

Prúdový motor generuje 10 terabajtovúdaje každých 30 minút počas letu. Keďže sa každý deň uskutočnia tisíce letov, množstvo dát dosahuje petabajtov.

Klasifikácia veľkých dát

Veľké dátové formuláre:

• Štruktúrovaný
• Neštruktúrovaný
• Pološtruktúrované

Štruktúrovaná forma

Údaje, ktoré je možné uchovávať, pristupovať a spracovávať v pevnom formáte, sa nazývajú štruktúrované. Informatika v priebehu rokov urobila veľké pokroky v zdokonaľovaní techník práce s týmto typom údajov (kde je formát známy vopred) a naučila sa, ako z toho profitovať. Už dnes sú však problémy spojené s rastom objemov na veľkosti merané v rozmedzí niekoľkých zettabajtov.

1 zettabajt sa rovná miliarde terabajtov

Pri pohľade na tieto čísla sa dá ľahko presvedčiť o pravdivosti pojmu Big Data a ťažkostiach spojených so spracovaním a uchovávaním takýchto údajov.

Dáta uložené v relačnej databáze sú štruktúrované a vyzerajú napríklad ako tabuľky zamestnancov firmy

Neštruktúrovaná forma

Údaje neznámej štruktúry sú klasifikované ako neštruktúrované. Okrem toho, že je táto forma veľká, vyznačuje sa množstvom ťažkostí pri spracovaní a extrakcii užitočných informácií. Typickým príkladom neštruktúrovaných údajov je heterogénny zdroj obsahujúci kombináciu jednoduchých textových súborov, obrázkov a videí. Dnešné organizácie majú prístup k veľkému množstvu nespracovaných alebo neštruktúrovaných údajov, no nevedia, ako z nich profitovať.

Pološtruktúrovaná forma

Táto kategória obsahuje obe vyššie uvedené, takže pološtruktúrované údaje majú určitú formu, ale nie sú v skutočnosti definované pomocou tabuliek v relačných databázach. Príkladom tejto kategórie sú osobné údaje prezentované v súbore XML.

Prashant raoMuž35 Seema R.Žena41 Satish hrivaMuž29 Subato royMuž26 Jeremiáš J.Muž35

Charakteristiky veľkých dát

Rast veľkých dát v priebehu času:

Modrá farba predstavuje štruktúrované dáta (Enterprise data), ktoré sú uložené v relačných databázach. Ostatné farby sú neštruktúrované dáta z rôznych zdrojov (IP telefónia, zariadenia a senzory, sociálne siete a webové aplikácie).

Podľa spoločnosti Gartner sa veľké dáta líšia v objeme, miere generovania, rozmanitosti a variabilite. Pozrime sa na tieto vlastnosti podrobnejšie.

1. Objem... Samotný pojem Big Data sa spája s veľkou veľkosťou. Veľkosť údajov je najdôležitejšou metrikou pri určovaní možnej vymožiteľnej hodnoty. Každý deň používa digitálne médiá 6 miliónov ľudí, čo podľa odhadov vygeneruje 2,5 bilióna bajtov údajov. Preto je objem prvou charakteristikou, ktorú treba zvážiť.
2. Rôznorodosť- ďalší aspekt. Odvoláva sa na heterogénne zdroje a povahu údajov, ktoré môžu byť štruktúrované alebo neštruktúrované. V minulosti boli vo väčšine aplikácií jedinými zdrojmi informácií tabuľky a databázy. Dnes sa v analytických aplikáciách berú do úvahy aj údaje vo forme e-mailov, fotografií, videí, súborov PDF, zvuku. Táto rôznorodosť neštruktúrovaných údajov vedie k problémom pri ukladaní, výrobe a analýze: 27 % spoločností si nie je istých, či pracujú so správnymi údajmi.
3. Generačná miera... Potenciál závisí od toho, ako rýchlo sa údaje zhromažďujú a spracúvajú na splnenie požiadaviek. Rýchlosť určuje rýchlosť toku informácií zo zdrojov – obchodné procesy, denníky aplikácií, stránky sociálnych sietí a médiá, senzory, mobilné zariadenia. Dátový tok je obrovský a nepretržitý v priebehu času.
4. Variabilita popisuje volatilitu údajov v určitých časových bodoch, čo komplikuje spracovanie a správu. Takže napríklad väčšina údajov má neštruktúrovaný charakter.

Analýza veľkých dát: aké sú využitie veľkých dát

Propagácia tovarov a služieb: Prístup k údajom z vyhľadávacích nástrojov a stránok, ako sú Facebook a Twitter, umožňuje firmám lepšie formovať ich marketingové stratégie.

Zlepšenie služieb zákazníkom: Tradičné systémy spätnej väzby od zákazníkov sa nahrádzajú novými, ktoré na čítanie a vyhodnocovanie spätnej väzby od zákazníkov využívajú veľké dáta a spracovanie prirodzeného jazyka.

Výpočet rizika spojené s uvedením nového produktu alebo služby.

Prevádzková efektívnosť: Veľké dáta sú štruktúrované tak, aby rýchlejšie extrahovali potrebné informácie a rýchlo poskytovali presné výsledky. Táto kombinácia veľkých dát a technológií ukladania pomáha organizáciám optimalizovať prácu s málo používanými informáciami.

Stĺpec členov fakulty HSE o mýtoch a prípadoch práce s veľkými údajmi

Do záložiek

Konstantin Romanov a Alexander Pyatigorsky, ktorý je zároveň riaditeľom digitálnej transformácie spoločnosti Beeline na HSE School of New Media, napísali pre stránku stĺpček o hlavných mylných predstavách o veľkých dátach – príkladoch použitia technológií a nástrojov. Autori naznačujú, že publikácia pomôže manažérom spoločností pochopiť tento pojem.

Mýty a mylné predstavy o veľkých dátach

Big Data nie sú marketing

Výraz Big Data sa stal veľmi módnym – používa sa v miliónoch situácií a v stovkách rôznych interpretácií, často nesúvisiacich s tým, o čo ide. V hlavách ľudí často dochádza k zámene pojmov a veľké dáta sa zamieňajú s marketingovým produktom. Navyše v niektorých spoločnostiach sú Big Data súčasťou marketingovej divízie. Výsledok analýzy veľkých dát môže byť skutočne zdrojom marketingových aktivít, ale nič viac. Pozrime sa, ako to funguje.

Ak sme pred dvoma mesiacmi identifikovali zoznam tých, ktorí si v našom obchode kúpili tovar za viac ako tri tisíc rubľov, a potom sme týmto používateľom poslali ponuku, ide o typický marketing. Zo štrukturálnych údajov odvodzujeme jasný vzor a používame ho na podporu predaja.

Ak však skombinujeme dáta CRM so streamovanými informáciami, napríklad z Instagramu, a analyzujeme ich, nájdeme vzorec: osoba, ktorá v stredu večer znížila aktivitu a na ktorej poslednej fotke sú mačiatka, by mala urobiť určitú ponuku. Toto už budú veľké dáta. Našli sme spúšť, odovzdali ju obchodníkom a tí ju použili na svoje účely.

Z toho vyplýva, že technológia väčšinou pracuje s neštruktúrovanými dátami a ak sú dáta štruktúrované, tak systém v nich stále hľadá skryté vzorce, čo marketing nerobí.

Big Data nie sú IT

Druhý extrém tohto príbehu: Big Data sa často zamieňajú s IT. Dôvodom je skutočnosť, že v ruských spoločnostiach sú to spravidla IT špecialisti, ktorí sú vodičmi všetkých technológií vrátane veľkých dát. Ak sa teda všetko deje v tomto oddelení, pre spoločnosť ako celok sa zdá, že ide o nejakú IT činnosť.

V skutočnosti je tu zásadný rozdiel: Big Data sú činnosť zameraná na získanie určitého produktu, ktorá vôbec nesúvisí s IT, hoci technológia bez nich nemôže existovať.

Veľké dáta nie sú vždy zhromažďovaním a analýzou informácií

Existuje ďalšia mylná predstava o veľkých údajoch. Každý chápe, že táto technológia je spojená s veľkým množstvom údajov, ale nie je vždy jasné, o aký druh údajov ide. Každý môže zbierať a využívať informácie, teraz je to možné nielen vo filmoch o, ale aj v každej, aj veľmi malej firme. Jedinou otázkou je, čo zbierať a ako to využiť vo svoj prospech.

Malo by sa však pochopiť, že technológia veľkých údajov nebude zhromažďovať a analyzovať absolútne žiadne informácie. Ak napríklad zbierate údaje o konkrétnej osobe na sociálnych sieťach, nepôjde o Big Data.

Čo sú to vlastne veľké dáta

Veľké dáta pozostávajú z troch prvkov:

• údaje;
• analytika;
• technológie.

Big Data nie sú len jednou z týchto zložiek, ale súhrnom všetkých troch prvkov. Ľudia často nahrádzajú pojmy: niekto si myslí, že veľké dáta sú iba dáta, niekto - tá technológia. Ale v skutočnosti, bez ohľadu na to, koľko údajov zhromažďujete, nemôžete s nimi nič robiť bez správnej technológie a analýzy. Ak existuje dobrá analytika, ale žiadne údaje, je to o to horšie.

Ak hovoríme o údajoch, nejde len o texty, ale aj o všetky fotografie zverejnené na Instagrame a vo všeobecnosti o všetko, čo je možné analyzovať a použiť na rôzne účely a úlohy. Inými slovami, Dáta sú chápané ako obrovské množstvo interných a externých dát rôznych štruktúr.

Potrebujete aj analytiku, pretože úlohou Big Data je vytvoriť nejaké vzory. To znamená, že analytika je identifikácia skrytých závislostí a hľadanie nových otázok a odpovedí na základe analýzy celého objemu heterogénnych údajov. Navyše, Big Data vyvolávajú otázky, ktoré nemôžeme odvodiť priamo z týchto údajov.

Ak sa bavíme o obrázkoch, tak to, že si zverejnil svoju fotku v modrom tričku, nič neznamená. Ale ak používate fotografiu na modelovanie veľkých dát, môže sa ukázať, že práve teraz by vám mala byť ponúknutá pôžička, pretože vo vašej sociálnej skupine toto správanie hovorí o určitom jave v akciách. Preto „holé“ údaje bez analytiky, bez odhalenia skrytých a nie očividných závislostí veľkých údajov, nie sú.

Takže máme veľké dáta. Ich počet je obrovský. Máme aj analytika. Ako sa však môžeme uistiť, že z týchto nespracovaných údajov máme konkrétne riešenie? Na to potrebujeme technológie, ktoré ich umožňujú nielen uchovávať (a predtým to nebolo možné), ale aj analyzovať.

Jednoducho povedané, ak máte veľa údajov, potrebujete technológie, napríklad Hadoop, ktoré umožňujú zachovať všetky informácie v ich pôvodnej podobe pre neskoršiu analýzu. Tento druh technológie sa objavil u internetových gigantov, pretože ako prví čelili problému ukladania veľkého množstva údajov a ich analýzy na následné speňaženie.

Okrem nástrojov na optimalizované a lacné ukladanie dát sú potrebné aj analytické nástroje, ako aj doplnky k používanej platforme. Napríklad okolo Hadoopu sa už vytvoril celý ekosystém súvisiacich projektov a technológií. Tu sú niektoré z nich:

• Pig je deklaratívny jazyk analýzy údajov.
• Hive - analýza údajov pomocou jazyka blízkeho SQL.
• Oozie je pracovný postup v Hadoop.
• Hbase je databáza (nerelačná), analogická s Google Big Table.
• Mahout je strojové učenie.
• Sqoop - prenos dát z RSDB do Hadoop a naopak.
• Flume - prenos protokolov do HDFS.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS a tak ďalej.

Všetky tieto nástroje sú dostupné pre každého zadarmo, no existuje aj sada platených doplnkov.

Okrem toho sú potrební špecialisti: ide o vývojára a analytika (tzv. Data Scientist). Potrebujete tiež manažéra, ktorý dokáže pochopiť, ako použiť túto analytiku na riešenie konkrétneho problému, pretože sama o sebe je úplne bezvýznamná, ak nie je zakotvená v obchodných procesoch.

Všetci traja zamestnanci musia pracovať ako tím. Manažér, ktorý dáva špecialistovi Data Science za úlohu nájsť určitý vzor, ​​musí pochopiť, že nie vždy je možné nájsť presne to, čo potrebuje. V tomto prípade by mal manažér pozorne počúvať, čo zistil Data Scientist, pretože jeho zistenia sa často ukážu ako zaujímavejšie a užitočnejšie pre podnik. Vašou úlohou je uplatniť to vo svojom podnikaní a vytvoriť z toho produkt.

Napriek tomu, že v súčasnosti existuje veľa rôznych druhov strojov a technológií, konečné rozhodnutie zostáva vždy na človeku. Na to je potrebné informácie nejako vizualizovať. Na to existuje pomerne veľa nástrojov.

Najilustratívnejším príkladom sú geoanalytické správy. Spoločnosť Beeline veľa spolupracuje s vládami rôznych miest a regiónov. Veľmi často si tieto organizácie objednávajú správy typu „Dopravné zápchy na určitom mieste“.

Je jasné, že takáto správa by sa mala dostať do vládnych štruktúr v jednoduchej a zrozumiteľnej forme. Ak im poskytneme obrovskú a úplne nezrozumiteľnú tabuľku (teda informácie v takej forme, v akej ich dostávame), je nepravdepodobné, že by si takúto správu kúpili – bude úplne zbytočná, nezoberú z nej poznatky. chceli dostať.

Preto bez ohľadu na to, akí dobrí sú Data Scientists a aké vzory nájdu, s týmito údajmi nemôžete pracovať bez vysoko kvalitných vizualizačných nástrojov.

Zdroje dát

Pole prijatých dát je veľmi veľké, preto sa dá rozdeliť do niekoľkých skupín.

Interné firemné údaje

Aj keď 80 % zozbieraných údajov patrí do tejto skupiny, tento zdroj nie je vždy využívaný. Často sú to údaje, ktoré, ako sa zdá, nikto vôbec nepotrebuje, napríklad protokoly. No ak sa na ne pozriete z iného uhla pohľadu, niekedy v nich môžete nájsť nečakané vzory.

Shareware zdroje

Patria sem údaje zo sociálnych sietí, internetu a čohokoľvek iného, ​​čo je dostupné zadarmo. Prečo shareware? Na jednej strane sú tieto dáta dostupné každému, no ak ste veľká firma, tak získať ich vo veľkosti predplatiteľskej základne desaťtisíc, stovky či milióny zákazníkov už nie je jednoduchá záležitosť. Preto sú na trhu platené služby na poskytovanie týchto údajov.

Platené zdroje

To zahŕňa spoločnosti, ktoré predávajú dáta za peniaze. Môžu to byť telekomunikácie, DMP, internetové spoločnosti, úverové kancelárie a agregátory. Telekomunikácie v Rusku nepredávajú dáta. Po prvé je to ekonomicky nerentabilné a po druhé je to zákonom zakázané. Preto predávajú výsledky svojho spracovania, napríklad geoanalytické správy.

Otvorené dáta

Štát vychádza biznisu v ústrety na polceste a umožňuje využívať dáta, ktoré zbierajú. Vo väčšej miere je to rozvinuté na Západe, ale aj Rusko v tomto smere drží krok s dobou. Existuje napríklad portál otvorených údajov moskovskej vlády, ktorý zverejňuje informácie o rôznych zariadeniach mestskej infraštruktúry.

Pre obyvateľov a hostí Moskvy sú údaje prezentované v tabuľkovej a kartografickej forme a pre vývojárov - v špeciálnych strojovo čitateľných formátoch. Projekt zatiaľ funguje v obmedzenom režime, ale vyvíja sa, čo znamená, že ide aj o dátový zdroj, ktorý môžete využiť pre svoje biznis úlohy.

Výskum

Ako už bolo uvedené, úlohou Big Data je nájsť vzor. Výskum vykonávaný po celom svete sa často môže stať oporou na nájdenie konkrétneho vzoru - môžete získať konkrétny výsledok a pokúsiť sa použiť podobnú logiku pre svoje vlastné účely.

Big Data sú oblasťou, kde nefungujú všetky matematické zákony. Napríklad „1“ + „1“ nie je „2“, ale oveľa viac, pretože zmiešanie zdrojov údajov môže výrazne zvýšiť účinok.

Príklady produktov

Mnohí poznajú nástroj na výber hudby Spotify. Je krásny v tom, že sa používateľov nepýta, akú majú dnes náladu, ale vypočítava si to na základe zdrojov, ktoré má k dispozícii. Vždy vie, čo teraz potrebujete – jazz alebo hard rock. Toto je kľúčový rozdiel, ktorý mu poskytuje fanúšikovskú základňu a odlišuje ho od iných služieb.

Takéto produkty sa zvyčajne nazývajú sense-produkty - tie, ktoré cítia svojho klienta.

Technológia Big Data sa využíva aj v automobilovom priemysle. Robí to napríklad Tesla – ich najnovší model má autopilota. Spoločnosť sa snaží vytvoriť auto, ktoré samo odvezie pasažiera, kam len chce. Bez veľkých dát to nie je možné, pretože ak použijeme iba dáta, ktoré dostaneme priamo, ako to robí človek, potom sa auto nebude môcť zlepšiť.

Keď sami riadime auto, pomocou neurónov sa rozhodujeme na základe mnohých faktorov, ktoré si ani nevšimneme. Možno si napríklad neuvedomujeme, prečo sme sa rozhodli nezrýchliť okamžite na zelenú, a potom sa ukáže, že rozhodnutie bolo správne – auto sa okolo vás prehnalo závratnou rýchlosťou a vy ste sa vyhli nehode.

Môžete tiež uviesť príklad využitia veľkých dát v športe. V roku 2002 sa generálny manažér bejzbalového tímu Oakland Athletics Billy Bean rozhodol prelomiť paradigmu, ako nájsť športovcov výberom a tréningom hráčov podľa čísel.

Manažéri sa zvyčajne pozerajú na úspechy hráčov, ale v tomto prípade to bolo inak - aby dosiahol výsledok, manažér študoval, aké kombinácie športovcov potrebuje, pričom venoval pozornosť individuálnym charakteristikám. Navyše si vybral športovcov, ktorí sami o sebe nepredstavovali veľký potenciál, no tím ako celok sa ukázal byť natoľko úspešný, že vyhral dvadsať zápasov v rade.

Režisér Bennett Miller o tomto príbehu neskôr nakrútil film – „Muž, ktorý zmenil všetko“ s Bradom Pittom v hlavnej úlohe.

Technológia Big Data je užitočná aj vo finančnom sektore. Ani jeden človek na svete nedokáže samostatne a presne určiť, či sa oplatí dať niekomu pôžičku. Na rozhodnutie sa vykonáva bodovanie, to znamená, že sa zostavuje pravdepodobnostný model, podľa ktorého je možné pochopiť, či táto osoba vráti peniaze alebo nie. Potom sa bodovanie aplikuje vo všetkých fázach: môžete napríklad vypočítať, že v určitom okamihu osoba prestane platiť.

Veľké dáta dokážu peniaze nielen zarobiť, ale aj ušetriť. Najmä táto technológia pomohla nemeckému ministerstvu práce znížiť náklady na dávky v nezamestnanosti o 10 miliárd eur, keďže po analýze informácií vyšlo najavo, že 20 % dávok bolo vyplatených nezaslúžene.

Technológie sa využívajú aj v medicíne (to je typické najmä pre Izrael). Pomocou Big Data je možné dodať oveľa presnejšiu analýzu, ako dokáže urobiť lekár s tridsaťročnou praxou.

Každý lekár sa pri stanovení diagnózy spolieha iba na svoje vlastné skúsenosti. Keď to robí stroj, vychádza to zo skúseností tisícok takýchto lekárov a všetkých existujúcich anamnéz. Berie do úvahy, z akého materiálu je vyrobený dom pacienta, v ktorej oblasti obeť žije, aký je tam dym atď. To znamená, že zohľadňuje veľa faktorov, ktoré lekári neberú do úvahy.

Príkladom využitia Big Data v zdravotníctve je projekt Project Artemis, ktorý realizovala Detská nemocnica v Toronte. Ide o informačný systém, ktorý zhromažďuje a analyzuje údaje o bábätkách v reálnom čase. Prístroj umožňuje každú sekundu analyzovať 1260 zdravotných indikátorov každého dieťaťa. Tento projekt je zameraný na predpovedanie nestabilného stavu dieťaťa a prevenciu chorôb u detí.

Big data sa začínajú používať aj v Rusku: napríklad Yandex má divíziu veľkých dát. Spoločnosť spolu s AstraZeneca a Ruskou spoločnosťou klinickej onkológie RUSSCO spustila platformu RAY pre genetikov a molekulárnych biológov. Projekt umožňuje zlepšiť metódy diagnostiky rakoviny a identifikácie náchylnosti na rakovinu. Platforma začne fungovať v decembri 2016.

"Veľké dáta"- téma, o ktorej aktívne diskutujú technologické spoločnosti. Niektorým z nich sa podarilo stratiť ilúzie z veľkých dát, iní z nich, naopak, vyťažia maximum pre biznis... Čerstvý analytický prehľad domáceho a globálneho trhu s veľkými dátami, ktorý pripravila Moskovská burza v spolupráci s analytikmi IPOboard , ukazuje, ktoré trendy sú teraz na trhu najrelevantnejšie... Dúfame, že informácie budú zaujímavé a užitočné.

ČO SÚ BIG DATA?

Kľúčové vlastnosti

Big Data sú dnes jednou z kľúčových hybných síl rozvoja informačných technológií. Tento smer, relatívne nový pre ruský biznis, sa rozšíril v západných krajinách. Je to spôsobené tým, že v ére informačných technológií, najmä po rozmachu sociálnych sietí, sa pre každého používateľa internetu začalo hromadiť značné množstvo informácií, čo v konečnom dôsledku dalo vývoju Big Data smer.

Pojem „Big Data“ vyvoláva množstvo kontroverzií, mnohí sa domnievajú, že sa ním myslí len množstvo nahromadených informácií, no netreba zabúdať ani na technickú stránku, do tejto oblasti patria úložné technológie, výpočtová technika, ale aj služby.

Je potrebné si uvedomiť, že táto oblasť zahŕňa spracovanie veľkého množstva informácií, ktoré je náročné spracovať tradičnými metódami *.

Nižšie je uvedená porovnávacia tabuľka tradičnej a veľkej databázy.

Sféru veľkých dát charakterizujú tieto vlastnosti:
Objem - objem naakumulovanej databázy je veľké množstvo informácií, ktoré je prácne spracovávať a uchovávať tradičnými spôsobmi, vyžadujú si nový prístup a vylepšené nástroje.
Rýchlosť - rýchlosť, tento znak označuje zvyšujúcu sa rýchlosť akumulácie údajov (90% informácií sa zhromaždilo za posledné 2 roky), ako aj rýchlosť spracovania údajov, v poslednom čase sú technológie spracovania údajov v reálnom čase čoraz žiadanejšie.
Rozmanitosť - rozmanitosť, t.j. možnosť súčasného spracovania štruktúrovaných a neštruktúrovaných viacformátových informácií. Hlavný rozdiel medzi štruktúrovanými informáciami je v tom, že ich možno klasifikovať. Príkladom takýchto informácií sú informácie o transakciách zákazníkov.
Neštruktúrované informácie zahŕňajú video, zvukové súbory, voľný text, informácie pochádzajúce zo sociálnych sietí. Dnes je 80 % informácií zaradených do neštruktúrovanej skupiny. Tieto informácie vyžadujú komplexnú analýzu, aby boli užitočné pre ďalšie spracovanie.
Pravdivosť - spoľahlivosť údajov, používatelia začali prikladať čoraz väčší význam spoľahlivosti dostupných údajov. Internetové spoločnosti majú napríklad problém oddeliť akcie vykonávané robotom a osobou na webovej stránke spoločnosti, čo v konečnom dôsledku vedie k ťažkostiam pri analýze údajov.
Hodnota - hodnota nahromadených informácií. Big Data by mali byť pre spoločnosť užitočné a mali by jej priniesť určitú hodnotu. Napríklad pomoc pri zlepšovaní obchodných procesov, reportingu či optimalizácii nákladov.

Ak je splnených vyššie uvedených 5 podmienok, akumulované objemy údajov možno klasifikovať ako veľké.

Oblasti použitia veľkých dát

Oblasť využívania Big Data technológií je široká. Takže pomocou Big Data môžete zistiť preferencie zákazníkov, efektivitu marketingových kampaní alebo vykonať analýzu rizík. Nižšie sú uvedené výsledky prieskumu inštitútu IBM o využívaní veľkých dát vo firmách.

Ako môžete vidieť z diagramu, väčšina spoločností využíva Big Data v oblasti služieb zákazníkom, druhou najobľúbenejšou oblasťou je prevádzková efektivita, v oblasti riadenia rizík sú Big Data v súčasnosti menej bežné.

Treba si tiež uvedomiť, že Big Data sú jednou z najrýchlejšie rastúcich oblastí informačných technológií, podľa štatistík sa celkové množstvo prijatých a uložených dát zdvojnásobí každých 1,2 roka.
Medzi rokmi 2012 a 2014 vzrástol objem dát prenesených mesačne mobilnými sieťami o 81 %. Podľa odhadov Cisco bol v roku 2014 objem mobilnej prevádzky 2,5 exabajtov (merná jednotka pre množstvo informácií rovnajúcich sa 10 ^ 18 štandardným bajtom) za mesiac a v roku 2019 to bude 24,3 exabajtov.
Big Data sú teda už aj napriek relatívne mladému veku etablovanou oblasťou techniky, ktorá sa rozšírila v mnohých oblastiach podnikania a zohráva významnú úlohu pri rozvoji firiem.

Big Data Technologies

Technológie používané na zber a spracovanie veľkých dát možno rozdeliť do 3 skupín:

• Softvér;
• Vybavenie;
• Servisné služby.

Medzi najbežnejšie prístupy spracovania údajov (softvér) patria:
SQL - štruktúrovaný dotazovací jazyk, ktorý umožňuje prácu s databázami. Pomocou SQL môžete vytvárať a upravovať údaje a príslušný systém správy databáz sa zaoberá správou súboru údajov.
NoSQL - pojem znamená nielen SQL (nielen SQL). Zahŕňa množstvo prístupov zameraných na implementáciu databázy, ktoré sa líšia od modelov používaných v tradičných relačných DBMS. Sú vhodné na použitie, keď sa štruktúra údajov neustále mení. Napríklad na zhromažďovanie a uchovávanie informácií na sociálnych sieťach.
MapReduce - výpočtový distribučný model. Používa sa na paralelné výpočty na veľmi veľkých súboroch údajov (petabajty * alebo viac). V programovacom rozhraní sa neprenášajú dáta do programu na spracovanie, ale program sa prenáša do dát. Preto je požiadavka samostatným programom. Princíp činnosti spočíva v sekvenčnom spracovaní údajov dvoma metódami Map a Reduce. Mapa načíta predbežné údaje, Reduce ich agreguje.
hadoop - používa sa na implementáciu vyhľadávacích a kontextových mechanizmov vysoko zaťažených stránok - Facebook, eBay, Amazon atď. Charakteristickým znakom je, že systém je chránený pred zlyhaním ktoréhokoľvek z uzlov klastra, keďže každý blok má aspoň jednu kópiu údaje na druhom uzle.
SAP HANA Je vysoko výkonná platforma NewSQL na ukladanie a spracovanie údajov. Poskytuje vysokú rýchlosť spracovania požiadaviek. Ďalšou charakteristickou črtou je, že SAP HANA zjednodušuje systémové prostredie znížením nákladov na podporu analytických systémov.

Technologické vybavenie zahŕňa:

• servery;
• vybavenie infraštruktúry.

Servery obsahujú dátové úložiská.
Infraštruktúrne vybavenie zahŕňa akcelerátory platformy, neprerušiteľné zdroje napájania, súpravy serverových konzol atď.

Servisné služby.
Služby zahŕňajú služby budovania architektúry databázového systému, usporiadania a optimalizácie infraštruktúry a zaistenia bezpečnosti ukladania dát.

Softvér, hardvér a služby spolu tvoria komplexné platformy na ukladanie a analýzu údajov. Spoločnosti ako Microsoft, HP, EMC ponúkajú služby pre vývoj, nasadenie a správu Big Data riešení.

Aplikácia v priemysle

Big Data sa rozšírili v mnohých odvetviach. Používajú sa v zdravotníctve, telekomunikáciách, obchode, logistike, finančných spoločnostiach a vláde.
Nižšie je uvedených niekoľko príkladov aplikácií veľkých dát v niektorých odvetviach.

Maloobchodné
V databázach maloobchodných predajní možno zhromaždiť množstvo informácií o zákazníkoch, systéme riadenia zásob a ponuke obchodovateľných produktov. Tieto informácie môžu byť užitočné vo všetkých oblastiach obchodov.

Takže pomocou nahromadených informácií môžete riadiť dodávku tovaru, jeho skladovanie a predaj. Na základe nahromadených informácií je možné predpovedať dopyt a ponuku tovarov. Systém spracovania a analýzy dát môže tiež vyriešiť ďalšie problémy maloobchodníka, napríklad optimalizovať náklady alebo pripraviť správy.

Finančné služby
Big Data umožňujú analyzovať úverovú bonitu dlžníka a sú tiež užitočné pre úverový skóring * a upisovanie **. Zavedenie Big Data technológií skráti čas na posúdenie žiadostí o úver. Pomocou Big Data môžete analyzovať transakcie konkrétneho klienta a ponúkať bankové služby, ktoré sú pre neho vhodné.

Telecom
V telekomunikačnom priemysle Big Data vo veľkej miere využívajú mobilní operátori.
Mobilní operátori majú spolu s finančnými inštitúciami jednu z najobjemnejších databáz, ktorá im umožňuje vykonávať najhlbšiu analýzu nahromadených informácií.
Hlavným cieľom analýzy dát je udržať si existujúcich zákazníkov a prilákať nových. Na tento účel spoločnosti segmentujú zákazníkov, analyzujú ich návštevnosť a určujú sociálnu príslušnosť predplatiteľa.

Okrem využívania veľkých dát na marketingové účely sa technológie využívajú na predchádzanie podvodným finančným transakciám.

Ťažobný a ropný priemysel
Big Data sa používajú pri ťažbe, spracovaní a marketingu. Na základe získaných informácií môžu podniky vyvodiť závery o efektívnosti rozvoja v teréne, sledovať harmonogram generálnych opráv a stav zariadení, predpovedať dopyt po produktoch a cenách.

Podľa prieskumu Tech Pro Research sú veľké dáta najrozšírenejšie v telekomunikačnom priemysle, ako aj v strojárstve, IT, finančných a vládnych podnikoch. Podľa výsledkov tohto prieskumu sú Big Data menej populárne v školstve a zdravotníctve. Výsledky prieskumu sú uvedené nižšie:

Príklady využitia veľkých dát vo firmách

Dnes sa Big Data aktívne implementujú v zahraničných spoločnostiach. Spoločnosti ako Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks a Netflix už využívajú veľké dáta.

Oblasti použitia spracovávaných informácií sú rôzne a líšia sa v závislosti od odvetvia a úloh, ktoré sa majú vykonávať.
Prezentované budú ďalšie príklady aplikácie Big Data technológií v praxi.

HSBC využíva technológie Big Data na boj proti podvodným transakciám s plastovými kartami. Pomocou Big Data spoločnosť zvýšila efektivitu bezpečnostnej služby 3-krát a detekciu podvodných incidentov - 10-krát. Ekonomický efekt zo zavedenia týchto technológií presiahol 10 miliónov USD.

Boj proti podvodom* VÍZA umožňuje automaticky počítať podvodné transakcie, systém v súčasnosti pomáha predchádzať podvodným platbám vo výške 2 miliárd USD ročne.

Superpočítač Watson Company IBM analyzuje tok údajov o peňažných transakciách v reálnom čase. Podľa IBM Watson zvýšil počet odhalených podvodných transakcií o 15 %, znížil počet falošných poplachov o 50 % a zvýšil objem prostriedkov chránených pred takýmito transakciami o 60 %.

Procter & Gamble s pomocou Big Data navrhujú nové produkty a tvoria globálne marketingové kampane. Spoločnosť P&G zriadila špecializované kancelárie Business Spheres, kde je možné prezerať informácie v reálnom čase.
Vedenie spoločnosti tak mohlo okamžite testovať hypotézy a vykonávať experimenty. P&G verí, že Big Data pomáhajú predpovedať výkonnosť spoločnosti.

Predajca kancelárskych potrieb OfficeMax pomocou technológií Big Data analyzujú správanie zákazníkov. Analýza veľkých dát nám umožnila zvýšiť príjmy B2B o 13 % a znížiť náklady o 400 000 USD ročne.

V stanovisku Caterpillar , jeho distribútori strácajú ročne 9 až 18 miliárd dolárov na zisku len preto, že neimplementujú technológie Big Data. Big Data by zákazníkom umožnili efektívnejšie spravovať svoj vozový park analyzovaním informácií pochádzajúcich zo senzorov nainštalovaných na autách.

Dnes je už možné analyzovať stav kľúčových komponentov, stupeň ich opotrebovania, riadiť náklady na palivo a údržbu.

Skupina Luxottica je výrobcom športových okuliarov ako Ray-Ban, Persol a Oakley. Spoločnosť využíva technológie Big Data na analýzu správania potenciálnych zákazníkov a „inteligentný“ SMS marketing. V dôsledku toho skupina Big Data Luxottica pridelila viac ako 100 miliónov najhodnotnejších zákazníkov a zvýšila efektivitu marketingovej kampane o 10 %.

S pomocou Yandex Data Factory, vývojárov hier Svet tankov analyzovať správanie hráčov. Big Data technológie umožnili analyzovať správanie 100 tisíc hráčov World of Tanks pomocou viac ako 100 parametrov (informácie o nákupoch, hrách, skúsenostiach atď.). Ako výsledok analýzy bola získaná predpoveď odchodu používateľov. Tieto informácie pomáhajú znižovať odchody používateľov a cielene pracovať s účastníkmi hry. Vyvinutý model sa ukázal byť o 20-30% efektívnejší ako štandardné nástroje na analýzu herného priemyslu.

nemecké ministerstvo práce využíva Big Data pri svojej práci súvisiacej s analýzou došlých žiadostí o vydávanie dávok v nezamestnanosti. Po analýze informácií sa teda ukázalo, že 20 % dávok bolo vyplatených nezaslúžene. Ministerstvo práce s pomocou Big Data znížilo náklady o 10 miliárd eur.

Detská nemocnica Toronto realizovala projekt Project Artemis. Ide o informačný systém, ktorý zhromažďuje a analyzuje údaje o bábätkách v reálnom čase. Systém každú sekundu sleduje 1260 indikátorov stavu každého dieťaťa. Projekt Artemis umožňuje predpovedať nestabilný stav dieťaťa a naštartovať prevenciu chorôb u detí.

PREHĽAD GLOBÁLNEHO TRHU S VEĽKÝMI ÚDAJMI

Aktuálny stav na svetovom trhu

V roku 2014 sa Big Data podľa Data Collective stali jednou z prioritných oblastí investícií v odvetví rizikového kapitálu. Podľa informačného portálu Computerra je to spôsobené tým, že vývoj v tejto oblasti začal pre ich používateľov prinášať výrazné výsledky. Za posledný rok vzrástol počet spoločností s realizovanými projektmi v oblasti správy veľkých dát o 125 %, objem trhu vzrástol oproti roku 2013 o 45 %.

Väčšinu príjmov z trhu s veľkými dátami podľa Wikibonu v roku 2014 tvorili služby, ich podiel sa rovnal 40 % z celkových príjmov (pozri graf nižšie):

Ak vezmeme do úvahy veľké dáta za rok 2014 podľa podtypov, potom bude trh vyzerať takto:

Podľa Wikibon tvorili aplikácie a analytika 36 % príjmov z veľkých dát v roku 2014 z aplikácií a analytiky veľkých dát, 17 % z výpočtového vybavenia a 15 % z technológií na ukladanie dát. Najmenej tržieb tvorili technológie NoSQL, vybavenie infraštruktúry a zabezpečenie siete firiem (korporátnych sietí).

Najpopulárnejšie sú Big Data technológie ako in-memory platformy SAP, HANA, Oracle a pod. Výsledky prieskumu T-Systems ukázali, že si ich vybralo 30 % opýtaných spoločností. Druhé najpopulárnejšie boli platformy NoSQL (18 % používateľov), firmy využívali aj analytické platformy od Splunk a Dell, zvolilo si ich 15 % firiem. Najmenej užitočné na riešenie problémov s veľkými dátami boli podľa výsledkov prieskumu produkty Hadoop / MapReduce.

Podľa prieskumu Accenture viac ako 50 % spoločností využívajúcich technológie Big Data míňa 21 % až 30 % na Big Data.
Podľa nasledujúcej analýzy spoločnosti Accenture sa 76 % spoločností domnieva, že tieto výdavky sa v roku 2015 zvýšia a 24 % spoločností nezmení svoj rozpočet na technológie Big Data. To naznačuje, že v týchto spoločnostiach sa už Big Data stali etablovaným smerom IT, ktorý sa stal neoddeliteľnou súčasťou rozvoja spoločnosti.

Výsledky prieskumu Economist Intelligence Unit potvrdzujú pozitívny efekt implementácie Big Data. 46 % spoločností tvrdí, že zlepšili služby zákazníkom o viac ako 10 % pomocou technológií Big Data, 33 % spoločností optimalizovalo zásoby a zlepšilo produktivitu fixných aktív, 32 % spoločností zlepšilo procesy plánovania.

Veľké dáta po celom svete

V súčasnosti sa technológie Big Data najčastejšie implementujú v amerických spoločnostiach, no už teraz začali prejavovať záujem aj iné krajiny sveta. V roku 2014 podľa IDC krajiny Európy, Blízkeho východu, Ázie (okrem Japonska) a Afriky tvorili 45 % trhu so softvérom, službami a zariadeniami v oblasti Big Data.

Spoločnosti z ázijsko-pacifického regiónu tiež podľa prieskumu CIO rýchlo prijímajú nové riešenia v oblasti analýzy veľkých dát, bezpečných úložísk a cloudových technológií. Latinská Amerika je na druhom mieste z hľadiska výšky investícií do rozvoja Big Data technológií, pred krajinami Európy a Spojenými štátmi.
Ďalej bude predstavený popis a prognózy vývoja trhu s veľkými dátami vo viacerých krajinách.

Čína
Množstvo informácií v Číne je 909 exabajtov, čo sa rovná 10 % z celkového množstva informácií vo svete, do roku 2020 dosiahne množstvo informácií 8060 exabajtov a zvýši sa aj podiel informácií v celosvetových štatistikách, v r. O 5 rokov to bude 18 %. Potenciálny rast čínskych veľkých dát má jednu z najrýchlejšie rastúcich dynamik.

Brazília
Ku koncu roka 2014 Brazília nazhromaždila 212 exabajtov informácií, čo sú 3 % celosvetového objemu. Do roku 2020 narastie objem informácií na 1 600 exabajtov, čiže 4 % svetových informácií.

India
Podľa EMC je objem nahromadených dát v Indii na konci roka 2014 326 exabajtov, čo je 5 % z celkového objemu informácií. Do roku 2020 narastie objem informácií na 2 800 exabajtov, čiže 6 % informácií na celom svete.

Japonsko
Množstvo nazhromaždených dát v Japonsku na konci roka 2014 je 495 exabajtov, čo je 8 % z celkového množstva informácií. Do roku 2020 objem informácií narastie na 2 200 exabajtov, no trhový podiel Japonska sa zníži na 5 % z celkového objemu informácií celého sveta.
Veľkosť japonského trhu sa tak zníži o viac ako 30 %.

Nemecko
Podľa EMC je objem nahromadených dát v Nemecku na konci roka 2014 230 exabajtov, čo sú 4 % z celkového objemu informácií vo svete. Do roku 2020 narastie objem informácií na 1 100 exabajtov, teda 2 %.
Na nemeckom trhu bude podľa predpovedí Experton Group generovať veľký podiel tržieb segment služieb, ktorých podiel v roku 2015 bude 54 % a v roku 2019 vzrastie na 59 %, podiel softvéru a hardvéru naopak ubudne.

Celkovo vzrastie trh z 1,345 miliardy eur v roku 2015 na 3,198 miliardy eur v roku 2019 s priemernou mierou rastu 24 %.
Na základe CIO a EMC analytiky možno teda usúdiť, že rozvojové krajiny sveta sa v najbližších rokoch stanú trhmi pre aktívny rozvoj Big Data technológií.

Hlavné trendy na trhu

Podľa IDG Enterprise budú v roku 2015 výdavky spoločností na veľké dáta predstavovať v priemere 7,4 milióna USD na spoločnosť, veľké spoločnosti plánujú minúť približne 13,8 milióna USD, malé a stredné spoločnosti - 1,6 milióna USD. ...
Väčšina sa bude investovať do oblastí, ako je analýza a vizualizácia údajov a zber údajov.
V súlade so súčasnými trendmi a dopytom na trhu budú investície v roku 2015 použité na zlepšenie kvality údajov, zlepšenie plánovania a prognózovania a zvýšenie rýchlosti spracovania údajov.
Spoločnosti vo finančnom sektore podľa Bain Company’s Insights Analysis uskutočnia značné investície, takže v roku 2015 sa plánuje minúť 6,4 miliardy dolárov na technológie veľkých dát, priemerná miera rastu investícií bude do roku 2020 22 %. Internetové spoločnosti plánujú minúť 2,8 miliardy dolárov s priemernou mierou rastu 26 % pre výdavky na veľké dáta.
Pri realizácii prieskumu Economist Intelligence Unit boli identifikované prioritné smery rozvoja Big Data v roku 2014 a v nasledujúcich 3 rokoch, rozdelenie odpovedí je nasledovné:

Podľa predpovedí IDC sú trendy na trhu nasledovné:

• V nasledujúcich 5 rokoch budú náklady na cloudové riešenia v oblasti Big Data technológií rásť 3-krát rýchlejšie ako náklady na on-premise riešenia. Žiadané budú hybridné úložné platformy.
• Rast aplikácií využívajúcich komplexnú a prediktívnu analytiku, vrátane strojového učenia, sa v roku 2015 zrýchli, trh s takýmito aplikáciami porastie o 65 % rýchlejšie ako aplikácie, ktoré prediktívnu analýzu nevyužívajú.
• Mediálna analytika sa v roku 2015 strojnásobí a stane sa kľúčovou hnacou silou rastu na trhu s veľkými dátami.
• Trend zrýchli implementácia riešení na analýzu nepretržitého toku informácií použiteľných pre internet vecí.
• Do roku 2018 bude 50 % používateľov interagovať s kognitívnymi výpočtovými službami.

Trhové ovládače a obmedzovače

Odborníci IDC identifikovali 3 hybné sily trhu s veľkými dátami v roku 2015:

Podľa prieskumu spoločnosti Accenture sú teraz problémy bezpečnosti údajov hlavnou prekážkou pri implementácii technológií veľkých dát, pričom viac ako 51 % respondentov potvrdilo, že majú obavy o zabezpečenie ochrany údajov a dôvernosti. 47 % spoločností uviedlo, že implementácia veľkých dát kvôli obmedzenému rozpočtu nie je možná, 41 % spoločností označilo za problém nedostatok kvalifikovaného personálu.

Wikibon predpovedá, že veľkosť trhu s veľkými dátami vzrastie v roku 2015 na 38,4 miliardy dolárov a v porovnaní s predchádzajúcim rokom sa zvýši o 36 %. V nasledujúcich rokoch dôjde k poklesu miery rastu na 10 % v roku 2017. Na základe týchto prognóz bude veľkosť trhu v roku 2020 68,7 miliardy USD.

Rozdelenie globálneho trhu s veľkými dátami podľa obchodnej kategórie bude vyzerať takto:

Ako je z diagramu zrejmé, väčšinu trhu zaberú technológie z oblasti zlepšovania služieb zákazníkom. Bodový marketing bude do roku 2019 medzi spoločnosťami na druhom mieste z hľadiska priority, v roku 2020 podľa prognózy Heavy Reading ustúpi riešeniam na zlepšenie prevádzkovej efektivity.
Segment „zlepšenie zákazníckych služieb“ bude mať tiež najvyššie tempo rastu, s nárastom o 49 % ročne.
Trhová predpoveď pre podtypy veľkých dát bude vyzerať takto:

Dominantný podiel na trhu, ako vidno z grafu, zaujímajú profesionálne služby, najvyššie tempo rastu budú mať aplikácie s analytikou, ktorých podiel vzrastie zo súčasných 12 % na 18 % v roku 2020 a objem tohto segmentu sa bude rovnať 12,3 miliardy USD, podiel výpočtovej techniky naopak klesne z 20 % na 14 % a v roku 2020 bude predstavovať približne 9,3 miliardy USD, trh s cloudovými technológiami sa bude postupne zvyšovať a v roku 2020 dosiahne $ 6,3 miliardy, trhový podiel riešení na ukladanie dát naopak klesne z 15 % v roku 2014 na 13 % v roku 2020 a v peňažnom vyjadrení sa bude rovnať 8,9 miliardy USD.
Podľa prognózy Bain & Company’s Insights Analysis bude rozdelenie trhu s veľkými údajmi podľa odvetví v roku 2020 vyzerať takto:

• Finančný priemysel minie 6,4 miliardy dolárov na veľké dáta s priemernou mierou rastu 22 % ročne;
• Internetové spoločnosti minú v priebehu nasledujúcich 5 rokov 2,8 miliardy USD a priemernú mieru rastu nákladov 26 %.
• Náklady verejného sektora budú úmerné nákladom internetových spoločností, ale tempo rastu bude nižšie – 22 %;
• Sektor telekomunikácií porastie priemerným tempom rastu 40 % a v roku 2020 dosiahne 1,2 miliardy USD;

Utility investujú do týchto technológií relatívne malú sumu 800 miliónov USD, ale miera rastu bude jednou z najvyšších s 54 % ročne.
Veľký podiel na trhu s veľkými dátami tak v roku 2020 zaberú firmy z finančného priemyslu a najrýchlejšie rastúcim sektorom bude energetika.
Podľa predpovedí analytikov sa celkový objem trhu v nasledujúcich rokoch zvýši. Rast trhu bude zabezpečený zavedením Big Data technológií v rozvojových krajinách sveta, ako vidno z grafu nižšie.

Predpokladaná veľkosť trhu bude závisieť od toho, ako rozvojové krajiny vnímajú technológie Big Data, či sú také populárne ako vo vyspelých krajinách. V roku 2014 tvorili rozvojové krajiny sveta 40 % nahromadených informácií. EMC predpovedá, že súčasná štruktúra trhu, kde dominujú rozvinuté krajiny, sa v roku 2017 zmení. Podľa analytikov EMC bude v roku 2020 podiel rozvojových krajín vyšší ako 60 %.
Rozvojové krajiny sveta budú podľa Cisco a EMC v práci s Big Data pomerne aktívne, a to najmä vďaka dostupnosti technológií a nahromadeniu dostatočného množstva informácií na úroveň Big Data. Mapa sveta na nasledujúcej strane zobrazí predpoveď nárastu objemu a tempa rastu veľkých dát podľa regiónu.

ANALÝZA RUSKÉHO TRHU

Aktuálny stav na ruskom trhu

Podľa štúdie CNews Analytics a Oracle sa úroveň vyspelosti ruského trhu s veľkými dátami za posledný rok zvýšila. Respondenti zo 108 veľkých podnikov zo širokého spektra odvetví preukázali vyššiu mieru povedomia o týchto technológiách, ako aj zavedené pochopenie potenciálu takýchto riešení pre ich podnikanie.
K roku 2014 sa podľa IDC v Rusku nahromadilo 155 exabajtov informácií, čo je len 1,8 % svetových údajov. Objem informácií do roku 2020 dosiahne 980 exabajtov a zaberie 2,2 %. Priemerná miera rastu objemu informácií tak bude 36 % ročne.
IDC odhaduje ruský trh na 340 miliónov dolárov, z čoho 100 miliónov dolárov tvoria riešenia SAP, približne 240 miliónov dolárov sú podobné riešenia od Oracle, IBM, SAS, Microsoft atď.
Miera rastu ruského trhu s veľkými dátami nie je nižšia ako 50 % ročne.
Predpokladá sa, že pozitívna dynamika bude v tomto sektore ruského IT trhu pokračovať aj v kontexte všeobecnej stagnácie ekonomiky. Je to spôsobené tým, že podniky stále žiadajú riešenia, ktoré zlepšujú prevádzkovú efektivitu, ako aj optimalizujú náklady, zlepšujú presnosť prognóz a minimalizujú možné riziká spoločnosti.
Hlavnými poskytovateľmi služieb Big Data na ruskom trhu sú:

• Oracle
• Microsoft
• Cloudera
• Hortonworks
• Teradata.

Prehľad trhu podľa odvetví a skúsenosti s používaním veľkých dát vo firmách

Podľa CNews v Rusku len 10 % spoločností začalo využívať technológie Big Data, pričom podiel takýchto spoločností na svete je približne 30 %. Pripravenosť na projekty veľkých dát rastie v mnohých sektoroch ruskej ekonomiky, podľa správy CNews Analytics a Oracle. Viac ako tretina opýtaných spoločností (37 %) začala pracovať s technológiami Big Data, z ktorých 20 % už takéto riešenia používa a 17 % s nimi začína experimentovať. Túto možnosť momentálne zvažuje druhá tretina opýtaných.

V Rusku sú Big Data technológie populárnejšie v bankovom sektore a telekomunikáciách, ale sú žiadané aj v ťažobnom priemysle, energetike, maloobchode, logistických spoločnostiach a verejnom sektore.
Nižšie zvážime príklady aplikácie veľkých dát v ruskej realite.

Telecom
Telekomunikační operátori majú jednu z najobjemnejších databáz, ktorá im umožňuje vykonávať najhlbšiu analýzu nahromadených informácií.
Jednou z oblastí použitia technológie Big Data je správa vernosti predplatiteľov.
Hlavným cieľom analýzy dát je udržať si existujúcich zákazníkov a prilákať nových. Na tento účel spoločnosti segmentujú zákazníkov, analyzujú ich návštevnosť a určujú sociálnu príslušnosť predplatiteľa. Okrem využívania informácií na marketingové účely sa telekomunikačné technológie používajú na predchádzanie podvodným finančným transakciám.
VimpelCom je jedným z nápadných príkladov tohto odvetvia. Spoločnosť využíva Big Data na zlepšenie kvality služieb na úrovni každého predplatiteľa, prípravu reportov, analýzu dát pre rozvoj siete, boj proti spamu a personalizáciu služieb.

banky
Významnú časť používateľov veľkých dát tvoria špecialisti z finančného sektora. Jeden z úspešných experimentov sa uskutočnil v Uralskej banke pre obnovu a rozvoj, kde bola informačná základňa použitá na analýzu klientov, banka začala ponúkať špecializované úverové ponuky, vklady a ďalšie služby. Za rok používania týchto technológií vzrástlo portfólio retailových úverov spoločnosti o 55 %.
Alfa-Bank analyzuje informácie zo sociálnych sietí, spracováva žiadosti o úver a analyzuje správanie používateľov webovej stránky spoločnosti.
Sberbank tiež začala spracovávať obrovské množstvo údajov na segmentáciu zákazníkov, predchádzanie podvodným aktivitám, krížový predaj a riadenie rizík. V budúcnosti sa plánuje zlepšovanie služieb a analýza akcií zákazníkov v reálnom čase.
Všeruská banka regionálneho rozvoja analyzuje správanie držiteľov plastových kariet. To umožňuje identifikovať transakcie, ktoré sú pre konkrétneho klienta atypické, čím sa zvyšuje pravdepodobnosť odhalenia krádeže finančných prostriedkov z plastových kariet.

Maloobchodné
V Rusku implementovali technológie veľkých dát online aj offline obchodné spoločnosti. Podľa CNews Analytics dnes Big Data používa 20 % maloobchodníkov. 75 % maloobchodníkov sa domnieva, že veľké dáta sú nevyhnutné na vytvorenie konkurencieschopnej marketingovej stratégie. Podľa štatistík Hadoop po implementácii technológie Big Data rastú zisky v obchodných organizáciách o 7-10%.
Špecialisti M.Video hovoria o zlepšení plánovania logistiky po implementácii SAP HANA a v dôsledku jeho implementácie sa skrátila príprava výročných správ z 10 dní na 3, rýchlosť denného sťahovania dát sa znížila z 3 hodiny až 30 minút.
Wikimart používa tieto technológie na generovanie odporúčaní pre návštevníkov webových stránok.
Jedným z prvých offline obchodov, ktoré zaviedli analýzu veľkých dát v Rusku, bola Lenta. S pomocou Big Data začal maloobchod študovať informácie o zákazníkoch z pokladničných dokladov. Maloobchodník zhromažďuje informácie na vytváranie modelov správania, ktoré im umožňujú prijímať informovanejšie rozhodnutia na prevádzkovej a obchodnej úrovni.

Ropný a plynárenský priemysel
V tomto odvetví je rozsah použitia veľkých dát pomerne široký. Pri ťažbe nerastov z podložia možno uplatniť technológie Big Data. S ich pomocou môžete analyzovať samotný výrobný proces a najefektívnejšie spôsoby jeho ťažby, sledovať proces vŕtania, analyzovať kvalitu surovín, ako aj spracovanie a marketing finálneho produktu. V Rusku už tieto technológie začali využívať spoločnosti Transnefť a Rosnefť.

štátne orgány
Krajiny ako Nemecko, Austrália, Španielsko, Japonsko, Brazília a Pakistan využívajú technológie veľkých dát na riešenie národných problémov. Tieto technológie pomáhajú vládnym orgánom efektívnejšie poskytovať služby obyvateľstvu, poskytovať cielenú sociálnu podporu.
V Rusku tieto technológie začali ovládať také štátne orgány, ako je dôchodkový fond, federálna daňová služba a fond povinného zdravotného poistenia. Potenciál na realizáciu projektov s využitím Big Data je veľký, tieto technológie by mohli pomôcť zlepšiť kvalitu služieb a v dôsledku toho aj životnú úroveň obyvateľstva.

Logistika a doprava
Big Data môžu využívať aj dopravné spoločnosti. Pomocou technológií Big Data je možné sledovať vozový park, zohľadňovať náklady na pohonné hmoty a sledovať požiadavky zákazníkov.
Ruské železnice implementovali technológie Big Data spolu so SAP. Tieto technológie pomohli skrátiť vykazované obdobie 43,5-krát (zo 14,5 hodiny na 20 minút) a 40-krát zlepšiť presnosť alokácie nákladov. Big Data boli tiež zavedené do procesov plánovania a regulácie taríf. Celkovo spoločnosti využívajú viac ako 300 systémov založených na riešeniach SAP, zapojené sú 4 dátové centrá a počet používateľov je 220 000.

Hlavné faktory a obmedzenia trhu

Hnacie sily rozvoja technológií veľkých dát na ruskom trhu sú:

• Zvýšený záujem používateľov o možnosti Big Data ako spôsob zvýšenia konkurencieschopnosti spoločnosti;
• Vývoj metód spracovania mediálnych súborov na globálnej úrovni;
• Prenos serverov spracúvajúcich osobné údaje na územie Ruska v súlade s prijatým zákonom o uchovávaní a spracúvaní osobných údajov;
• Implementácia sektorového plánu na nahradenie importu softvéru. Tento plán zahŕňa štátnu podporu pre domácich výrobcov softvéru, ako aj poskytovanie preferencií domácich IT produktov pri nákupoch na verejné náklady.
• V novej ekonomickej situácii, keď sa kurz dolára takmer zdvojnásobil, bude trend k čoraz väčšiemu využívaniu služieb ruských cloudových poskytovateľov ako zahraničných.
• Vytváranie technoparkov prispievajúcich k rozvoju trhu informačných technológií vrátane trhu s veľkými dátami;
• Štátny program implementácie gridových systémov, ktoré sú založené na Big Data technológiách.

Hlavné prekážky rozvoja veľkých dát na ruskom trhu sú:

• Zabezpečenie bezpečnosti a dôvernosti údajov;
• Nedostatok kvalifikovaného personálu;
• Nedostatok nahromadených informačných zdrojov na úroveň veľkých dát vo väčšine ruských spoločností;
• Ťažkosti pri zavádzaní nových technológií do zavedených informačných systémov podnikov;
• vysoké náklady na technológie veľkých dát, čo vedie k obmedzenému počtu podnikov, ktoré sú schopné tieto technológie implementovať;
• Politická a ekonomická neistota, ktorá viedla k odlivu kapitálu a zmrazeniu investičných projektov v Rusku;
• Rast cien dovážaných produktov a prudký nárast inflácie podľa IDC spomaľujú rozvoj celého IT trhu.

Prognóza ruského trhu

Od dnešného dňa nie je ruský trh s veľkými dátami taký populárny ako vo vyspelých krajinách. Väčšina ruských firiem o to prejavuje záujem, no netrúfajú si využiť ich príležitosti.
Príklady veľkých spoločností, ktoré už využili technológie Big Data, zvyšujú povedomie o sile týchto technológií.
Analytici sú tiež dosť optimistickí, pokiaľ ide o ruský trh. IDC verí, že ruský podiel na trhu sa v priebehu nasledujúcich 5 rokov zvýši, na rozdiel od trhu v Nemecku a Japonsku.
Do roku 2020 vzrastie objem veľkých dát v Rusku zo súčasných 1,8 % na 2,2 % globálneho objemu dát. Množstvo informácií vzrastie podľa EMC v roku 2020 zo súčasných 155 exabajtov na 980 exabajtov.
V súčasnosti Rusko naďalej akumuluje množstvo informácií až na úroveň veľkých dát.
Podľa prieskumu CNews Analytics 44 % opýtaných spoločností nepracuje s údajmi väčšími ako 100 terabajtov * a iba 13 % pracuje s objemami nad 500 terabajtov.

Napriek tomu bude ruský trh podľa svetových trendov rásť. V roku 2014 IDC odhaduje veľkosť trhu na 340 miliónov dolárov.
Tempo rastu trhu v predchádzajúcich rokoch bolo 50 % ročne, ak zostane na rovnakej úrovni, tak v roku 2018 objem trhu dosiahne 1,7 miliardy USD. Podiel ruského trhu na svetovom trhu bude približne 3 %, pričom sa zvýšil zo súčasných 1,2 %.

Najcitlivejšie odvetvia na používanie veľkých dát v Rusku sú:

• Retail a banky, pre nich je dôležitá predovšetkým analýza klientskej základne, posúdenie efektu marketingových kampaní;
• Telecom - segmentácia zákazníckej základne a monetizácia návštevnosti;
• Verejný sektor - účtovníctvo, rozbory žiadostí od obyvateľstva a pod.;
• Ropné spoločnosti – monitorovanie práce a plánovanie výroby a predaja;
• Energetické spoločnosti - vytváranie inteligentných energetických systémov, prevádzkové monitorovanie a prognózovanie.

Vo vyspelých krajinách sa Big Data rozšírili v oblasti zdravotníctva, poisťovníctva, hutníctva, internetových spoločností a priemyselných podnikov, s najväčšou pravdepodobnosťou v blízkej budúcnosti ruské firmy z týchto oblastí tiež vyhodnotia efekt implementácie Big Data a prispôsobia tieto technológie v ich odvetviach.
V Rusku, ako aj vo svete, bude v blízkej budúcnosti smerovať k vizualizácii údajov, analýze mediálnych súborov a rozvoju internetu vecí.
Napriek všeobecnej stagnácii ekonomiky analytici predpovedajú v nasledujúcich rokoch ďalší rast trhu s veľkými údajmi, a to predovšetkým z toho dôvodu, že používanie technológií veľkých údajov dáva jeho používateľom konkurenčnú výhodu v zmysle zvyšovania prevádzkovej efektívnosti podniku. , prilákanie ďalších zákazníkov, minimalizácia rizík a implementácia technológií na predpovedanie údajov.
Môžeme teda konštatovať, že segment veľkých dát v Rusku je vo fáze formovania, ale dopyt po týchto technológiách sa každým rokom zvyšuje.

Kľúčové výsledky analýzy trhu

svetový trh

Na konci roka 2014 je trh s veľkými dátami charakterizovaný týmito parametrami:

• veľkosť trhu dosiahla 28,5 miliardy USD, čo predstavuje nárast o 45 % v porovnaní s predchádzajúcim rokom;
• väčšinu výnosov trhu s veľkými dátami tvorili služby, ich podiel na celkovom výnose bol rovných 40 %;
• 36 % príjmov pochádzalo z aplikácií a analýzy veľkých dát, 17 % z výpočtového vybavenia a 15 % z technológií na ukladanie údajov;
• Najpopulárnejšie platformy na riešenie problémov s veľkými dátami sú in-memory platformy od spoločností ako SAP, HANA a Oracle.
• počet spoločností s realizovanými projektmi v oblasti Big Data managementu vzrástol o 125 %;

Prognóza trhu na ďalšie roky je nasledovná:

• v roku 2015 objem trhu dosiahne 38,4 miliardy USD, v roku 2020 - 68,7 miliardy USD;
• priemerná miera rastu bude 16 % ročne;
• priemerné náklady spoločnosti na technológie Big Data budú vo výške 13,8 milióna USD pre veľké spoločnosti a 1,6 milióna USD pre malé a stredné podniky;
• technológie budú najviac prevládať v oblasti služieb zákazníkom a bodového marketingu;
• v roku 2017 sa štruktúra globálneho trhu zmení smerom k prevahe užívateľských spoločností z rozvojových krajín.

ruský trh

Ruský trh s veľkými dátami je vo fáze formovania, výsledky za rok 2014 sú nasledovné:

• veľkosť trhu dosiahla 340 miliónov USD;
• priemerná miera rastu trhu v predchádzajúcich rokoch bola 50 % ročne;
• celkové množstvo nahromadených informácií bolo 155 exabajtov;
• 10 % ruských spoločností začalo používať technológie Big Data;
• Big Data technológie boli populárnejšie v bankovníctve, telekomunikáciách, internetových spoločnostiach a maloobchode.

Prognóza pre ruský trh na najbližšie roky je nasledovná:

• objem ruského trhu v roku 2015 dosiahne 500 miliónov USD av roku 2018 - 1,7 miliardy USD;
• podiel ruského trhu na svete bude v roku 2018 približne 3 %;
• množstvo nazhromaždených údajov v roku 2020 bude 980 exabajtov;
• objem dát vzrastie na 2,2 % globálneho objemu dát v roku 2020;
• najpopulárnejšími technológiami budú vizualizácia dát, analýza mediálnych súborov a internet vecí.

Na základe výsledkov analýzy možno konštatovať, že Big Data market je stále v ranom štádiu vývoja a v blízkej budúcnosti budeme pozorovať jeho rast a rozširovanie možností týchto technológií.

Ďakujeme, že ste si našli čas na prečítanie tohto rozsiahleho diela, prihláste sa na odber nášho blogu - sľubujeme veľa nových zaujímavých publikácií!

Big data alebo big data je pojem používaný v informačných technológiách a marketingu. Pojem „veľké údaje“ sa používa na definovanie analýzy a správy veľkých súborov údajov. Big data sú teda informácie, ktoré vzhľadom na ich veľké objemy nie je možné spracovať tradičnými spôsobmi.

Moderný život si bez digitálnych technológií nemožno predstaviť. Svetové dátové úložiská sa neustále dopĺňajú, a preto je tiež potrebné neustále meniť ako podmienky pre uchovávanie informácií, tak hľadať nové spôsoby zvyšovania objemu ich nosičov. Na základe znaleckého posudku zvýšenie v veľké dáta a zvýšenie tempa rastu je súčasnou realitou. Ako už bolo spomenuté, informácie sa objavujú nepretržite. Jeho obrovské objemy generujú informačné stránky, rôzne služby na zdieľanie súborov a sociálne siete, čo je však len malá časť z celkového vyprodukovaného objemu.

IDC Digital Universe po vykonaní štúdie oznámilo, že do 5 rokov objem dát ako celok na celej Zemi dosiahne štyridsať zettabajtov. To znamená, že na každého človeka na planéte pripadne 5200 GB informácií.

Najlepší článok mesiaca

Prvá polovica roka 2018 sa blíži ku koncu - je čas zhrnúť priebežné výsledky. Aj keď sa obchodná výkonnosť spoločnosti v porovnaní s predchádzajúcim obdobím zvýšila, uistite sa, že v prevádzke spoločnosti nie sú skryté ťažkosti, ktoré by mohli spôsobiť problémy.

Ak chcete diagnostikovať problémy, vyplňte kontrolné zoznamy z nášho článku a zistite, na ktorú stranu podnikania treba venovať pozornosť.

Je všeobecne známe, že ľudia nie sú hlavným producentom informácií. Hlavným zdrojom, ktorý prináša informačné dáta, sú roboty, ktoré neustále interagujú. Ide napríklad o operačný systém počítačov, tabletov a mobilných telefónov, inteligentné systémy, monitorovacie nástroje, sledovacie systémy a ďalšie. Spoločne udávajú rýchle tempo rastu dát, čo znamená, že potreba vytvárať skutočné aj virtuálne servery rastie. Spolu to vedie k rozšíreniu a implementácii nových dátových centier.

Veľké dáta sú najčastejšie definované ako informácie, ktoré sú väčšie ako pevný disk počítača a tiež sa nedajú spracovať tradičnými metódami, ktoré sa používajú na spracovanie a analýzu informácií s menším objemom.

Aby sme to zhrnuli, technológia spracovania veľkých dát sa v konečnom dôsledku skladá z 3 hlavných oblastí, ktoré následne riešia 3 typy problémov:

1. Ukladanie a správa obrovského množstva údajov – stoviek terabajtov a petabajtov – ktoré relačné databázy nedokážu efektívne využiť.
2. Organizácia neštruktúrovaných informácií – textov, obrázkov, videí a iných typov údajov.
3. Analýza veľkých dát (big data analytics) - tu sa uvažuje o tom, ako pracovať s neštruktúrovanými informáciami a vytvárať správy z analytických údajov a zavádzať prediktívne modely.

Projektový trhveľkýúdajov je úzko prepojený s BA - trhom business intelligence, ktorý v roku 2012 dosiahol hodnotu približne 100 miliárd USD a zahŕňa sieťové technológie, softvér, technické služby a servery.

Automatizácia činností spoločnosti, najmä riešení triedy garancie výnosov (RA), je tiež neoddeliteľne spojená s využívaním veľkých dátových technológií. Systémy v tejto oblasti dnes obsahujú nástroje, ktoré slúžia na odhaľovanie nezrovnalostí a na hĺbkovú analýzu dát a zároveň umožňujú identifikovať možné straty či nepresnosti v informáciách, ktoré môžu viesť k poklesu výsledkov sektora.

Ruské spoločnosti potvrdzujú, že existuje dopyt po technológiách veľkých dát, samostatne poznamenávajú, že hlavnými faktormi ovplyvňujúcimi rozvoj veľkých dát v Rusku sú nárast objemu dát, rýchle manažérske rozhodnutia a zlepšenie ich kvality.

Akú úlohu hrajú veľké dáta v marketingu?

Nie je žiadnym tajomstvom, že informácie sú jednou z hlavných súčastí úspešného vytvárania prognóz a marketingovej stratégie, ak ich viete využiť.

Analýza veľkých dát je nevyhnutná pri určovaní cieľového publika, jeho záujmov a aktivity. Inými slovami, šikovné využitie veľkých dát umožňuje presne predpovedať vývoj spoločnosti.

Napríklad pomocou známeho aukčného modelu RTB, pomocou analýzy veľkých dát, je ľahké zabezpečiť, aby sa reklamy zobrazovali len tým potenciálnym kupujúcim, ktorí majú záujem o kúpu služby alebo produktu.

Aplikácia veľké dáta v marketingu:

1. Umožňuje identifikovať potenciálnych kupcov a prilákať príslušné publikum na internete.
2. Prispieva k hodnoteniu miery spokojnosti.
3. Pomáha zosúladiť ponúkanú službu s potrebami kupujúceho.
4. Uľahčuje hľadanie a implementáciu nových metód na zvýšenie lojality zákazníkov.
5. Uľahčuje vytváranie projektov, ktoré budú následne žiadané.

Konkrétnym príkladom je služba Google.trends. S jeho pomocou bude obchodník schopný identifikovať predpoveď na sezónu týkajúcu sa konkrétneho produktu, geografie kliknutí a výkyvov. Porovnaním získaných informácií so štatistikami vašej vlastnej stránky je teda celkom jednoduché zostaviť rozpočet na reklamu s uvedením regiónu a mesiaca.

• Rozdelenie reklamného rozpočtu: na čo sa oplatí minúť
l & gt;

Ako a kde ukladať veľké dáta

Systém súborov– tu sa organizujú a ukladajú veľké dáta. Všetky informácie sú umiestnené na veľkom počte pevných diskov v počítači.

"mapa"- mapa - sleduje, kde sú jednotlivé informácie priamo uložené.

Aby ste sa poistili proti nepredvídaným okolnostiam, je zvykom uložiť každú z informácií niekoľkokrát - odporúča sa to urobiť trikrát.

Napríklad po zhromaždení jednotlivých transakcií v maloobchodnej sieti budú všetky informácie o každej jednotlivej transakcii uložené na viacerých serveroch a pevných diskoch a „mapa“ bude indexovať umiestnenie súboru pre každú konkrétnu transakciu.

Na usporiadanie ukladania údajov vo veľkých objemoch môžete použiť štandardný hardvér a softvér, ktorý je vo verejnej doméne (napríklad Hadoop).

Veľké dáta a business intelligence: rozdiel medzi konceptmi

Dnes je obchodná analýza popisným procesom výsledkov, ktoré boli dosiahnuté za určité časové obdobie. Skutočná rýchlosť spracovania veľkých dát robí analýzu prediktívnou. Na jeho odporúčania sa môžete v budúcnosti spoľahnúť. Big data technológie umožňujú analyzovať viac typov dát v porovnaní s nástrojmi a nástrojmi používanými v business intelligence. To vám umožňuje sústrediť sa nielen na úložisko, kde sú dáta štruktúrované, ale využívať oveľa širšie zdroje.

Obchodná analytika a veľké údaje sú v mnohých smeroch podobné, existujú však tieto rozdiely:

• Veľké dáta sa používajú na spracovanie množstva informácií, ktoré je oveľa väčšie ako pri business intelligence, ktorá definuje samotný koncept veľkých dát.
• Pomocou veľkých dát dokážete spracovať rýchlo prijaté a meniace sa dáta, čo vedie k interaktivite, čiže vo väčšine prípadov je rýchlosť načítania webovej stránky nižšia ako rýchlosť generovania výsledkov.
• Veľké dáta možno použiť pri spracovaní dát, ktoré nemajú žiadnu štruktúru a mali by ste s nimi začať pracovať len tak, že zabezpečíte ich uloženie a zber. Okrem toho je potrebné aplikovať algoritmy schopné identifikovať základné vzory vo vytvorených poliach.

Proces business intelligence nemá veľa spoločného s veľkými dátami. Obchodné analytiky zvyčajne dosahujú výsledky pridaním konkrétnych hodnôt: príkladom je ročný objem predaja vypočítaný ako súčet všetkých zaplatených účtov. V procese práce s veľkými dátami sa výpočet vykonáva postupnou konštrukciou modelu:

• predloženie hypotézy;
• budovanie statického, vizuálneho a sémantického modelu;
• kontrola správnosti hypotézy na základe špecifikovaných modelov;
• predkladá nasledujúcu hypotézu.

Na vykonanie celého cyklu výskumu je potrebné interpretovať vizuálne hodnoty (interaktívne otázky založené na znalostiach). Je tiež možné vyvinúť adaptívny algoritmus strojového učenia.

Odborný názor

Nemôžete sa slepo spoliehať len na názory analytikov

Vyacheslav Nazarov,

Generálny riaditeľ ruského zastúpenia Archos, Moskva

Približne pred rokom sme na základe názoru odborníkov uviedli na trh úplne nový tablet, hernú konzolu. Kompaktnosť a dostatočná technická sila našli svoje uznanie medzi fanúšikmi počítačových hier. Treba si uvedomiť, že táto skupina mala napriek svojej „úzkosti“ dosť vysokú kúpyschopnosť. Nový produkt si najskôr získal veľa pozitívnych ohlasov v médiách a od našich partnerov získal schvaľujúce hodnotenie. Čoskoro sa však ukázalo, že predaj tabletu bol dosť nízky. Riešenie nikdy nenašlo svoju masovú popularitu.

Chyba... Našou chybou bolo, že záujmy cieľového publika neboli úplne preštudované. Používatelia tabletov nepotrebujú super grafiku, pretože väčšinou hrajú jednoduché hry. Vážni hráči sú už zvyknutí hrať na počítači na pokročilejších platformách. Masívna reklama na náš produkt nebola, slabá bola aj marketingová kampaň a nakoniec si tablet nenašiel svojho kupca ani v jednej z naznačených skupín.

Účinky... Výroba produktu sa musela znížiť o takmer 40 % z pôvodne plánovaného objemu. K veľkým stratám samozrejme nedošlo, rovnako ako k plánovanému zisku. To nás však prinútilo upraviť niektoré strategické ciele. To najcennejšie, čo sme nenávratne stratili, je náš čas.

Poradenstvo... Treba myslieť dlhodobo. Produktové rady je potrebné vypočítať dva alebo tri kroky dopredu. Čo to znamená? Pri dnešnom spustení určitej zostavy je vhodné pochopiť jej zajtrajší osud a mať aspoň približnú predstavu o tom, čo s ňou bude o rok a pol. Úplné detaily sú, samozrejme, nepravdepodobné, ale aj tak je potrebné vypracovať základnú líniu.

A predsa by ste nemali úplne a úplne dôverovať analytikom. Hodnotenia odborníkov musia byť porovnané s ich vlastnými štatistikami, ako aj s prevádzkovou situáciou na trhu. Ak váš produkt nie je úplne hotový, nepúšťajte ho na trh, pretože pre kupujúceho je najdôležitejší prvý dojem a potom nebude ľahké ho presvedčiť.

Veľmi dôležitým tipom v prípade neúspechu je rýchlosť rozhodovania. Nedá sa len pozerať a čakať. Vždy je oveľa jednoduchšie a lacnejšie vyriešiť problém v horúčave, ako odstrániť zanedbaný.

Aké problémy spôsobuje systém veľkých dát?

Existujú tri hlavné skupiny problémov veľkých dátových systémov, ktoré sa v zahraničnej literatúre spájajú do 3V – Volume, Velocity a Variety, čiže:

1. Objem.
2. Rýchlosť spracovania.
3. Neštruktúrnosť.

Problém ukladania veľkého množstva informácií je spojený s potrebou usporiadať určité podmienky, to znamená s vytvorením priestoru a príležitostí. Čo sa týka rýchlosti, tá nie je spojená ani tak so spomaľovaním a spomaľovaním pri použití zastaraných metód spracovania, ale s interaktivitou: výsledok je tým produktívnejší, čím rýchlejšie ide spracovanie informácií.

1. Problém neštruktúrnosti pramení z oddelenia zdrojov, ich formátu a kvality. Úspešná integrácia a spracovanie veľkých dát si vyžaduje prípravné práce a analytické nástroje alebo systémy.
2. Veľký vplyv má aj hranica „veľkosti“ údajov. Určiť hodnotu je dosť ťažké a na základe toho je problematické vypočítať, aké finančné investície budú potrebné a aké technológie budú potrebné. Napriek tomu sa pre určité množstvá, napríklad terabajty, dnes úspešne aplikujú nové metódy spracovania, ktoré sa neustále zdokonaľujú.
3. Ďalším problémom, ktorý komplikuje spomínaná heterogenita tokov, je nedostatok všeobecne akceptovaných princípov pre prácu s veľkými dátami. Na vyriešenie tohto problému sa vytvárajú nové metódy analýzy veľkých dát. Na základe vyjadrení predstaviteľov univerzít v New Yorku, Washingtone a Kalifornii nie je ďaleko k vytvoreniu samostatnej disciplíny a dokonca aj big data science. To je hlavný dôvod, prečo sa spoločnosti so zavádzaním projektov veľkých dát neponáhľajú. Ďalším faktorom sú vysoké náklady.
4. Ťažkosti spôsobuje aj výber údajov na analýzu a algoritmus akcií. K dnešnému dňu nie je jasné, ktoré údaje nesú cenné informácie a vyžadujú analýzu veľkých údajov a ktoré možno ignorovať. V tejto situácii sa vyjasňuje ešte jedna vec - na trhu nie je dostatok odborníkov z odvetvia, ktorí by sa dokázali vyrovnať s hĺbkovou analýzou, vypracovať správu o riešení problému, a tým dosiahnuť zisk.
5. Otázka má aj morálnu stránku: líši sa zbieranie údajov bez vedomia používateľa od brutálneho zásahu do súkromia? Stojí za zmienku, že zber údajov zlepšuje kvalitu života: napríklad nepretržitý zber údajov v systémoch Google a Yandex pomáha spoločnostiam zlepšovať svoje služby v závislosti od potrieb spotrebiteľov. Systémy týchto služieb označujú každé kliknutie používateľa, jeho polohu a navštívené stránky, všetky správy a nákupy – a to všetko umožňuje zobrazovať reklamy na základe správania používateľa. Používateľ nedal súhlas na zhromažďovanie údajov: nebola poskytnutá žiadna takáto voľba. To vedie k ďalšiemu problému: ako bezpečné sú informácie? Napríklad informácie o potenciálnych kupcoch, histórii ich nákupov a prechodoch na rôzne stránky môžu pomôcť vyriešiť mnohé obchodné problémy, no či je platforma, ktorú kupujúci používajú, bezpečná, je veľmi kontroverzná otázka. Mnoho ľudí apeluje na to, že dnes nie je žiadny dátový sklad – dokonca ani server vojenských služieb – dostatočne chránený pred útokmi hackerov.

• Obchodné tajomstvá: ochrana a sankcie za zverejnenie

Používanie veľkých dát v etapách

1. fáza Technologická implementácia spoločnosti v strategickom projekte.

Medzi úlohy technických špecialistov patrí predbežná štúdia koncepcie rozvoja: analýza vývojových ciest smerov, ktoré to najviac potrebujú.

Na určenie zloženia a úloh sa vedie rozhovor so zákazníkmi, v dôsledku čoho sa analyzujú požadované zdroje. Paralelne sa organizácia rozhodne úplne outsourcovať všetky úlohy alebo vytvoriť hybridný tím pozostávajúci zo špecialistov z tejto a akýchkoľvek iných organizácií.

Podľa štatistík veľké množstvo spoločností používa práve takúto schému: prítomnosť tímu odborníkov vo vnútri, ktorí kontrolujú kvalitu práce a formovanie pohybu, a navonok, pričom realizujú priamy test hypotéz o vývoji akéhokoľvek smer.

Fáza 2. Nájdenie dátového vedca.

Vedúci zhromažďuje kolektív pracovníkov. Je tiež zodpovedný za vývoj projektu. Pri budovaní interného tímu hrajú prím personalisti.

V prvom rade potrebuje takýto tím inžiniera dátového analytika, aka vedec dát, ktorá sa bude zaoberať úlohou vytvárania hypotéz a analýzy množstva informácií. Ním naznačené korelácie budú v budúcnosti použité na zakladanie nových produktov a služieb.

Najmä v počiatočných fázach je to dôležité Úloha HR... Jeho zamestnanci rozhodujú o tom, kto presne bude vykonávať prácu zameranú na rozvoj projektu, kam ju vezme a ako ju motivuje. Nie je ľahké nájsť inžiniera dátového analytika, takže ide o „kusový produkt“.

Každá seriózna firma musí mať špecialistu takéhoto profilu, inak sa stráca zameranie projektu. Kombinovaný inžinier: vývojár, analytik a obchodný analytik. Okrem toho musí mať komunikačné schopnosti, aby ukázal výsledky svojej činnosti, a batožinu vedomostí a zručností na podrobné vysvetlenie svojich myšlienok.

• 24 myšlienok, ktoré odštartujú veľké životné zmeny

Hľadajte príklady

1. V Moskve bola zorganizovaná taxislužba „Big Data“. Cestou pasažieri odpovedali na úlohy z oblasti profesionálnej analytiky. V prípade, že cestujúci odpovedal na väčšinu otázok správne, spoločnosť mu ponúkla prácu. Hlavnou nevýhodou tejto náborovej techniky je neochota väčšiny participovať na takýchto projektoch. Len pár ľudí súhlasilo s rozhovorom.

2. Uskutočnenie špeciálnej súťaže v oblasti business intelligence s nejakou cenou. Túto metódu použila veľká ruská banka. Výsledkom bolo, že do súťaže o hackathon sa zapojilo viac ako 1000 ľudí. Tým, ktorí dosiahli v súťaži najvyšší úspech, ponúkli miesto v práci. Žiaľ, väčšina výhercov umiestnenie nechcela získať, keďže ich motiváciou bola iba cena. Napriek tomu sa niekoľko ľudí dohodlo na práci v tíme.

3. Hľadajte v prostredí dátových špecialistov, ktorí rozumejú biznis analytike a vedia dať veci do poriadku vytvorením správneho algoritmu akcií. Medzi potrebné zručnosti špecializovaného analytika patria: programovanie, znalosť Pythonu, R, Statistica, Rapidminer a ďalšie znalosti nemenej dôležité pre obchodného analytika.

Fáza 3. Vytvorenie tímu pre rozvoj.

Potrebný je dobre zohratý tím. Pri zvažovaní pokročilej analýzy, ako je napríklad inovatívny rozvoj spoločnosti, budete potrebovať manažéra, ktorý vytvorí a rozvinie business intelligence.

Výskumný inžinier sa zaoberá konštrukciou a testovaním hypotéz pre úspešný vývoj prevzatého vektora.

Do hlavy je potrebné organizovať rozvoj prevzatého odboru podnikania, vytvárať nové produkty a koordinovať ich so zákazníkmi. Medzi jeho povinnosti okrem toho patrí kalkulácia obchodných prípadov.

Vývojový manažér je povinný s každým úzko spolupracovať. Analytický inžinier a Business Development Manager objasňujú potreby a príležitosti analýzy veľkých dát prostredníctvom stretnutí so zamestnancami zodpovednými za rôzne oblasti projektu. Po analýze situácie manažér vytvorí prípady, vďaka ktorým bude spoločnosť rozhodovať o ďalšom vývoji smeru, služby alebo produktu.

• Manažér rozvoja: požiadavky a náplň práce

3 zásady práce s bigdata

Hlavné metódy práce s veľkými údajmi možno rozlíšiť:

1. Horizontálna škálovateľnosť. Vďaka tomu, že by malo ísť o obrovské množstvo dát, bude rozšíriteľný každý systém, ktorý spracováva veľké množstvo informácií. Napríklad, ak sa množstvo dát niekoľkonásobne zvýšilo, množstvo „hardvéru“ v klastri sa tiež zvýšilo o rovnakú hodnotu.
2. Odolnosť proti chybám. Na základe princípu horizontálnej škálovateľnosti môžeme konštatovať, že v klastri je veľké množstvo strojov. Napríklad klaster Hadoop od Yahoo ich má viac ako 42 000. Všetky metódy práce s veľkými dátami musia zohľadňovať možné zlyhania a hľadať spôsoby, ako sa s problémami vyrovnať bez následkov.
3. Lokalita údajov. Dáta uložené vo veľkých systémoch sú rozložené na pomerne veľkom počte strojov. Preto v situácii, keď sú dáta uložené na serveri č. 1, ale spracovávané na serveri č. 2, nemožno vylúčiť, že ich prenos bude stáť viac ako spracovanie. Preto sa pri návrhu venuje veľká pozornosť tomu, aby dáta boli uložené a spracované na jednom počítači.

Všetky metódy práce s veľkými dátami, tak či onak, dodržiavajú tieto tri princípy.

Ako používať systém veľkých dát

Výkonné riešenia veľkých dát pre širokú škálu podnikov pochádzajú z mnohých kombinácií softvéru a hardvéru, ktoré dnes existujú.

Dôležitá výhodaveľkýúdajov- schopnosť aplikovať nové nástroje s tými, ktoré sa už v tejto oblasti používajú. Toto je obzvlášť dôležité v situácii medziodborového projektu. Príklady zahŕňajú viackanálový predaj a zákaznícku podporu.

Na prácu s veľkými údajmi je dôležitá určitá postupnosť:

• ako prvý sa uskutoční zber údajov;
• potom sú informácie štruktúrované. Na tento účel sa používajú dashboardy ( informačné panely) - nástroje na štruktúrovanie;
• v ďalšej fáze sa vytvárajú náhľady a súvislosti, na základe ktorých sa tvoria odporúčania pre rozhodovanie. Vzhľadom na vysoké náklady na zber údajov je hlavnou úlohou určiť účel použitia získaných informácií.

Príklad. Reklamné agentúry môžu používať telekomunikačné súhrnné informácie o polohe. Tento prístup zabezpečí cielenú reklamu. Rovnaké informácie platia aj v iných oblastiach súvisiacich s poskytovaním a predajom služieb a tovarov.

Takto získané informácie môžu byť kľúčové pri rozhodovaní o otvorení obchodu v konkrétnej oblasti.

Ak vezmeme do úvahy prípad použitia vonkajších billboardov v Londýne, niet pochýb, že dnes je takýto zážitok možný len vtedy, ak je v blízkosti každého billboardu umiestnené špeciálne meracie zariadenie. Mobilní operátori zároveň vždy poznajú základné informácie o svojich predplatiteľoch: ich polohu, rodinný stav atď.

Ďalším možným využitím veľkých dát je zbieranie informácií o návštevnosti rôznych podujatí.

Príklad. Organizátori futbalových zápasov nevedia vopred vedieť presný počet ľudí, ktorí na zápas prišli. Napriek tomu by takéto informácie dostali, ak by použili informácie od mobilných operátorov: kde sú potenciálni návštevníci určitý čas – mesiac, týždeň, deň – pred zápasom. Ukazuje sa, že organizátori by mali možnosť naplánovať miesto konania podujatia v závislosti od preferencií cieľového publika.

Big data ponúkajú neporovnateľné výhody aj bankovému sektoru, ktorý dokáže pomocou spracovaných dát identifikovať bezohľadných držiteľov kariet.

Príklad. Keď držiteľ karty vyhlási, že bola stratená alebo odcudzená, banka má možnosť sledovať polohu karty použitej na platbu a mobilného telefónu držiteľa, aby si overila správnosť informácií. Zástupca banky tak vidí, že platobná karta držiteľa a mobilný telefón sa nachádzajú v rovnakej oblasti. To znamená, že kartu používa majiteľ.

Vďaka výhodám tohto druhu dáva využívanie informácií spoločnostiam mnoho nových príležitostí a trh s veľkými dátami sa neustále vyvíja.

Hlavným problémom pri implementácii veľkých dát je zložitosť výpočtu prípadu. Tento proces je komplikovaný prítomnosťou veľkého množstva neznámych.

Je dosť ťažké robiť nejaké predpovede do budúcnosti, zatiaľ čo údaje o minulosti nie sú vždy dostupné. V tejto situácii je najdôležitejšia vec plánovanie vašich počiatočných akcií:

1. Určenie konkrétneho problému, pri riešení ktorého sa uplatní technológia spracovania veľkých dát, pomôže určiť koncepciu a nastaviť vektor pre ďalšie kroky. Po dôraze na zhromažďovanie informácií o tejto konkrétnej problematike sa tiež oplatí využiť všetky dostupné nástroje a metódy na získanie jasnejšieho obrazu. Navyše tento prístup výrazne uľahčí rozhodovací proces v budúcnosti.
2. Pravdepodobnosť, že veľký dátový projekt bude realizovať tím bez určitých zručností a skúseností, je extrémne malá. Vedomosti, ktoré je potrebné využiť pri takomto komplexnom štúdiu, sa zvyčajne získavajú dlho, a preto sú predchádzajúce skúsenosti v tejto oblasti také dôležité. Je ťažké preceňovať vplyv kultúry využívania informácií získaných takýmto výskumom. Poskytujú rôzne príležitosti vrátane zneužitia prijatých materiálov. Pre dobré využitie informácií sa oplatí dodržiavať základné pravidlá správneho spracovania údajov.
3. Štatistiky sú základnou hodnotou technológie. Trh stále pociťuje akútny nedostatok silných špecialistov – tých, ktorí rozumejú zákonitostiam podnikania, dôležitosti informácií a oblasti ich použitia. Nie je možné nebrať do úvahy skutočnosť, že analýza údajov je kľúčovým spôsobom dosiahnutia cieľov a rozvoja podnikania, musíte sa snažiť vyvinúť špecifický model správania a vnímania. Ak áno, veľké dáta budú užitočné a zohrajú pozitívnu úlohu pri riešení problémov riadenia podniku.

Úspešné prípady implementácie veľkých dát

Niektoré z nižšie uvedených prípadov boli úspešnejšie pri zbere údajov, iné pri analýze veľkých údajov a spôsoboch aplikácie údajov získaných z výskumu.

1. « Tinkoff Credit Systems„Využili sme masívne paralelnú výpočtovú platformu EMC2 Greenplum. V dôsledku neustáleho nárastu toku používateľov kariet v banke bolo potrebné urýchliť spracovanie údajov. Rozhodlo sa využiť veľké dáta a pracovať s neštruktúrovanými informáciami, ako aj podnikovými informáciami, ktoré boli získané z rôznych zdrojov. Pozornosti ich špecialistov neušlo, že analytická vrstva federálneho dátového skladu sa zavádza na webe Federálnej daňovej služby Ruska. Následne sa na jeho základe plánuje zorganizovať priestor, ktorý poskytuje prístup k údajom daňového systému pre následné spracovanie a získavanie štatistických údajov.
2. Samostatne stojí za zváženie ruský startup Synqera, sa zaoberá online analýzou veľkých dát a vyvinula platformu Simplate. Podstatou je, že sa spracúva veľké množstvo údajov, analyzujú sa údaje o spotrebiteľoch, ich nákupoch, veku, nálade a stave mysle. Kozmetický reťazec nainštaloval pri pokladniach senzory, ktoré dokážu rozpoznať emócie zákazníka. Po určení nálady sa analyzujú informácie o kupujúcom a čase nákupu. Potom kupujúci účelovo dostáva informácie o zľavách a akciách. Toto rozhodnutie zvýšilo lojalitu spotrebiteľov a dokázalo zvýšiť príjem predávajúceho.
3. Samostatne stojí za to hovoriť o prípade použitia veľkých dátových technológií v spoločnosti. Dunkin's Donuts, ktorí analogicky s predchádzajúcim príkladom použili online analýzu na zvýšenie zisku. V maloobchodných predajniach sa teda zobrazujú špeciálne ponuky, ktorých obsah sa každú minútu menil. Náhrady v texte boli založené na dennej dobe aj na tovare na sklade. Spoločnosť získavala informácie z pokladničných dokladov, o ktoré položky je najväčší dopyt. Tento spôsob zvýšil príjem a obrat zásob.

Spracovanie veľkých dát má teda pozitívny vplyv na riešenie obchodných problémov. Dôležitým faktorom je samozrejme výber stratégie a využitie najnovšieho vývoja v oblasti veľkých dát.

Informácie o spoločnosti

Archos. Profil podnikania: výroba a predaj elektronických zariadení. Územie: obchodné zastúpenia sú otvorené v deviatich krajinách (Španielsko, Čína, Rusko, USA, Francúzsko atď.). Počet zamestnancov pobočky: 5 (v ruskom zastúpení).

Poznáte tento známy vtip? Big Data sú ako sex do 18 rokov:

• každý o tom premýšľa;
• všetci o tom hovoria;
• každý si myslí, že to robia jeho priatelia;
• takmer nikto to nerobí;
• ten, kto to robí, to robí zle;
• každý si myslí, že nabudúce to bude lepšie;
• nikto neprijíma bezpečnostné opatrenia;
• každý sa hanbí priznať, že niečo nevie;
• ak sa to niekomu podarí, vždy to narobí poriadny hluk.

Ale povedzme si úprimne, pri akomkoľvek humbuku bude vždy existovať obvyklá zvedavosť: aký druh rozruchu a je tam niečo naozaj dôležité? Skrátka áno, existuje. Podrobnosti sú uvedené nižšie. Vybrali sme pre vás tie najúžasnejšie a najzaujímavejšie aplikácie Big Data technológií. Tento malý prieskum trhu na jasných príkladoch konfrontuje jednoduchý fakt: budúcnosť nepríde, netreba „čakať ešte n rokov a kúzlo sa stane realitou“. Nie, už to prišlo, ale je to ešte okom nepostrehnuteľné, a preto spekanie singularity ešte toľko nepáli známy bod trhu práce. Choď.

1 Ako sa technológie Big Data používajú tam, kde vznikli

Veľké IT spoločnosti sú miestom, kde sa zrodila dátová veda, takže ich útroby sú v tejto oblasti najzaujímavejšie. Kampaň Google, ktorá je domovom paradigmy Map Reduce, má jediný účel, a to vzdelávať svojich programátorov v oblasti technológií strojového učenia. A práve v tom spočíva ich konkurenčná výhoda: zamestnanci po získaní nových vedomostí implementujú nové metódy do tých projektov Google, kde neustále pracujú. Predstavte si ten obrovský zoznam oblastí, v ktorých môže kampaň priniesť revolúciu. Jeden príklad: používajú sa neurónové siete.

Spoločnosť tiež implementuje strojové učenie do všetkých svojich produktov. Jeho výhodou je prítomnosť veľkého ekosystému, ktorý zahŕňa všetky digitálne zariadenia používané v každodennom živote. To umožňuje spoločnosti Apple dosiahnuť nemožnú úroveň: kampaň má toľko používateľských údajov ako ktorákoľvek iná. Zásady ochrany osobných údajov sú zároveň veľmi prísne: spoločnosť sa vždy chválila tým, že nepoužíva údaje o zákazníkoch na reklamné účely. V súlade s tým sú informácie o používateľovi šifrované, takže právnici spoločnosti Apple alebo dokonca FBI so zatykačom ich nemôžu prečítať. Tu nájdete skvelý prehľad o vývoji AI spoločnosti Apple.

2 Veľké dáta na 4 kolesách

Moderné auto je akumulátorom informácií: zhromažďuje všetky údaje o vodičovi, prostredí, pripojených zariadeniach a o sebe samom. Čoskoro jedno vozidlo, ktoré je pripojené k sieti, ako je toto, vygeneruje až 25 GB dát za hodinu.

Dopravnú telematiku využívajú výrobcovia áut už mnoho rokov, no lobuje sa za sofistikovanejší spôsob zberu dát, ktorý naplno využíva Big Data. To znamená, že technológia teraz dokáže upozorniť vodiča na zlý stav vozovky automatickou aktiváciou protiblokovacieho brzdového systému a protišmykových systémov.

Iné koncerny, vrátane BMW, využívajú technológiu Big Data v kombinácii s informáciami získanými z testovacích prototypov, pamäte chýb v aute a sťažností zákazníkov, aby identifikovali slabé stránky modelu na začiatku výroby. Teraz namiesto manuálneho vyhodnocovania údajov, ktoré trvá mesiace, sa používa moderný algoritmus. Chyby a náklady na riešenie problémov sú znížené, čo urýchľuje pracovné toky informačnej analýzy v BMW.

Podľa odborných odhadov dosiahne obrat na trhu s prepojenými automobilmi do roku 2019 130 miliárd dolárov, čo nie je prekvapujúce vzhľadom na tempo integrácie technológií, ktoré sú neoddeliteľnou súčasťou vozidla, výrobcami automobilov.

Použitie veľkých dát pomáha zvýšiť bezpečnosť a funkčnosť stroja. Napríklad Toyota zabudovaním informačných komunikačných modulov (DCM). Tento nástroj, ktorý sa používa pre veľké dáta, spracováva a analyzuje dáta zhromaždené službou DCM, aby z nej mohol ďalej profitovať.

3 Aplikácia veľkých dát v medicíne

Implementácia technológií Big Data v lekárskej oblasti umožňuje lekárom dôkladnejšie študovať chorobu a zvoliť si efektívny spôsob liečby pre konkrétny prípad. Analýzou informácií je pre poskytovateľov zdravotnej starostlivosti jednoduchšie predpovedať relaps a prijímať preventívne opatrenia. Výsledkom je presnejšia diagnóza a lepšia liečba.

Nová technika umožnila pozrieť sa na problémy pacientov z iného uhla pohľadu, čo viedlo k odhaleniu dovtedy neznámych zdrojov problému. Napríklad niektoré rasy sú geneticky náchylnejšie na srdcové choroby ako iné etnické skupiny. Teraz, keď sa pacient sťažuje na určitú chorobu, lekári berú do úvahy údaje o príslušníkoch jeho rasy, ktorí sa sťažovali na rovnaký problém. Zhromažďovanie a analýza údajov vám umožňuje dozvedieť sa oveľa viac o pacientoch: od preferencií potravín a životného štýlu až po genetickú štruktúru DNA a metabolitov buniek, tkanív, orgánov. Napríklad Centrum pre detskú genomickú medicínu v Kansas City používa pacientov a analyzuje mutácie v genetickom kóde, ktoré spôsobujú rakovinu. Individuálny prístup ku každému pacientovi s prihliadnutím na jeho DNA pozdvihne efektivitu liečby na kvalitatívne novú úroveň.

Pochopenie toho, ako sa veľké dáta používajú, je prvou a najdôležitejšou zmenou v oblasti medicíny. Keď pacient podstupuje liečbu, nemocnica alebo iné zdravotnícke zariadenie môže získať veľa zmysluplných informácií o danej osobe. Zozbierané informácie sa používajú na predpovedanie recidívy ochorenia s určitým stupňom presnosti. Napríklad, ak pacient utrpel mozgovú príhodu, lekári študujú informácie o čase cerebrovaskulárnej príhody, analyzujú prechodné obdobie medzi predchádzajúcimi precedensmi (ak existujú), pričom venujú osobitnú pozornosť stresovým situáciám a ťažkej fyzickej aktivite v živote pacienta. Na základe týchto údajov poskytujú nemocnice pacientovi jasný akčný plán, aby v budúcnosti zabránili možnosti mŕtvice.

Nositeľné zariadenia tiež zohrávajú úlohu pri identifikácii zdravotných problémov, aj keď človek nemá zjavné príznaky konkrétneho ochorenia. Namiesto hodnotenia stavu pacienta dlhým priebehom vyšetrení môže lekár vyvodiť závery na základe informácií zhromaždených fitness trackerom alebo inteligentnými hodinkami.

Jedným z najnovších príkladov je. Počas vyšetrenia pacienta na nový záchvat kvôli vynechaným liekom lekári zistili, že muž má oveľa vážnejší zdravotný problém. Tento problém sa ukázal ako fibrilácia predsiení. Diagnóza bola stanovená vďaka tomu, že personál oddelenia získal prístup k telefónu pacienta, a to k aplikácii spárovanej s jeho fitness trackerom. Údaje z prihlášky sa ukázali ako kľúčový faktor pri určovaní diagnózy, pretože v čase vyšetrenia muž nemal žiadne srdcové abnormality.

Toto je len jeden z mála prípadov, ktorý ukazuje prečo používať veľké dáta v oblasti medicíny dnes hrá takú významnú úlohu.

4 Analýza dát sa už stala základom maloobchodu

Pochopenie používateľských dopytov a zacielenia je jednou z najväčších a najviac propagovaných oblastí použitia nástrojov Big Data. Big Data pomáhajú analyzovať zvyky zákazníkov s cieľom lepšie pochopiť potreby spotrebiteľov v budúcnosti. Spoločnosti sa snažia rozšíriť tradičný súbor údajov o sociálne médiá a históriu vyhľadávania v prehliadači, aby vytvorili čo najúplnejší obraz o zákazníkovi. Niekedy sa veľké organizácie rozhodnú vytvoriť svoj vlastný prediktívny model ako globálny cieľ.

Napríklad obchodné reťazce Target s pomocou hĺbkovej analýzy údajov a vlastného prognostického systému dokážu určiť s vysokou presnosťou -. Každému klientovi je pridelené ID, ktoré je následne viazané na kreditnú kartu, meno alebo e-mail. Identifikátor slúži ako akýsi nákupný košík, kde sú uložené informácie o všetkom, čo kedy človek nakúpil. Experti siete zistili, že ženy v pozícii aktívne získavajú neparfumované produkty pred druhým trimestrom tehotenstva a počas prvých 20 týždňov sa opierajú o doplnky vápnika, zinku a horčíka. Na základe prijatých údajov Target posiela zákazníkom kupóny na detské produkty. Úplne rovnaké zľavy na tovar pre deti sú „riedené“ kupónmi na ďalšie produkty, aby ponuky na kúpu postieľky či plienok nepôsobili príliš vtieravo.

Dokonca aj vládne rezorty našli spôsob, ako využiť technológie Big Data na optimalizáciu volebných kampaní. Niektorí sa domnievajú, že víťazstvo Baracka Obamu v prezidentských voľbách v USA v roku 2012 bolo spôsobené vynikajúcou prácou jeho tímu analytikov, ktorí spracovali obrovské množstvo údajov správnym spôsobom.

5 Veľké údaje o ochrane zákona a poriadku

Za posledných pár rokov orgány činné v trestnom konaní prišli na to, ako a kedy použiť veľké dáta. Je všeobecne známe, že Národná bezpečnostná agentúra využíva technológiu Big Data na predchádzanie teroristickým útokom. Iné agentúry používajú progresívnu metodiku na predchádzanie menším zločinom.

Policajné oddelenie v Los Angeles podáva žiadosť. Je zapojená do toho, čo sa bežne označuje ako proaktívne presadzovanie práva. Pomocou hlásení o trestných činoch za konkrétne časové obdobie algoritmus identifikuje oblasti, v ktorých je najväčšia pravdepodobnosť spáchania trestných činov. Systém označí takéto oblasti na mape mesta malými červenými štvorčekmi a tieto údaje sa okamžite prenesú do hliadkových áut.

Policajti v Chicagu používať technológie Big Data trochu iným spôsobom. Orgány činné v trestnom konaní City of Winds majú to isté, ale jeho cieľom je vymedziť „rizikový kruh“ ľudí, ktorí môžu byť obeťou alebo účastníkom ozbrojeného útoku. Podľa The New York Times tento algoritmus prideľuje hodnotenie zraniteľnosti osobe na základe jej kriminálnej minulosti (zatknutia a účasť na streľbe, príslušnosť k zločineckým gangom). Vývojár systému ubezpečuje, že systém síce študuje kriminálnu minulosť jednotlivca, ale neberie do úvahy sekundárne faktory, akými sú rasa, pohlavie, etnická príslušnosť a miesto, kde sa osoba nachádza.

6 Ako technológie Big Data pomáhajú mestám rozvíjať sa

Generálny riaditeľ spoločnosti Veniam João Barros demonštruje sledovaciu mapu Wi-Fi smerovačov v autobusoch Porto

Analýza údajov sa používa aj na zlepšenie viacerých aspektov fungovania miest a krajín. Ak napríklad presne viete, ako a kedy použiť technológie veľkých dát, môžete optimalizovať prepravné toky. Na tento účel sa berie do úvahy online pohyb vozidiel, analyzujú sa sociálne médiá a meteorologické údaje. V súčasnosti sa množstvo miest pustilo do kurzu využívania analýzy údajov na spojenie dopravnej infraštruktúry s inými druhmi služieb do koherentného celku. Ide o koncept smart city, v ktorom autobusy čakajú na meškajúci vlak a semafory dokážu predvídať dopravné zápchy, aby sa minimalizovali zápchy.

Long Beach využíva technológie Big Data na prevádzku inteligentných vodomerov, ktoré sa používajú na obmedzenie nelegálneho zavlažovania. Predtým sa používali na zníženie spotreby vody v súkromných domácnostiach (maximálny výsledok je zníženie o 80%). Úspora pitnej vody je vždy aktuálna téma. Najmä vtedy, keď štát zažíva najhoršie zaznamenané sucho.

Zástupcovia ministerstva dopravy v Los Angeles sa pridali k zoznamu tých, ktorí využívajú Big Data. Na základe údajov získaných zo snímačov dopravných kamier úrady monitorujú fungovanie semaforov, čo následne umožňuje reguláciu dopravy. Pod kontrolou počítačového systému je v celom meste asi 4 500 000 semaforov. Podľa oficiálnych údajov pomohol nový algoritmus znížiť preťaženie o 16 %.

7 Motor pokroku v marketingu a predaji

V marketingu vám nástroje Big Data umožňujú identifikovať, ktoré nápady sú najefektívnejšie v určitej fáze predajného cyklu. Analýza údajov identifikuje, ako môžu investície zlepšiť riadenie vzťahov so zákazníkmi, akú stratégiu zvoliť na zvýšenie miery konverzie a ako optimalizovať životný cyklus zákazníka. V cloudovom biznise sa algoritmy Big Data používajú na zistenie, ako minimalizovať náklady na získanie zákazníka a zvýšiť životný cyklus zákazníka.

Diferenciácia cenových stratégií v závislosti od vnútrosystémovej úrovne klienta je azda to hlavné, na čo sa Big Data v oblasti marketingu využívajú. McKinsey zistil, že približne 75 % príjmov priemernej firmy pochádza zo základných produktov, z ktorých 30 % je ocenených nesprávne. Zvýšenie ceny o 1 % znamená zvýšenie prevádzkového zisku o 8,7 %.

Výskumný tím spoločnosti Forrester zistil, že analýza údajov umožňuje obchodníkom zamerať sa na to, ako zlepšiť vzťahy so zákazníkmi. Skúmaním smerovania vývoja zákazníkov môžu špecialisti posúdiť úroveň ich lojality, ako aj predĺžiť životný cyklus v kontexte konkrétnej spoločnosti.

Optimalizácia predajných stratégií a kroky na vstup na nové trhy pomocou geoanalýzy sa odrážajú v biofarmaceutickom priemysle. Podľa McKinsey farmaceutické spoločnosti vynakladajú v priemere 20 až 30 % svojich ziskov na administratívu a predaj. Ak podniky začnú aktívnejšie používať veľké dáta na identifikáciu najziskovejších a najrýchlejšie rastúcich trhov sa náklady okamžite znížia.

Analýza údajov je pre spoločnosti prostriedkom na úplné pochopenie kľúčových aspektov ich podnikania. Zvyšovanie výnosov, znižovanie nákladov a znižovanie pracovného kapitálu sú tri výzvy, ktoré sa moderný biznis snaží vyriešiť pomocou analytických nástrojov.

Nakoniec, 58 % CMO tvrdí, že implementáciu Big Data technológií možno vysledovať v optimalizácii pre vyhľadávače (SEO), e-mailovom a mobilnom marketingu, kde analýza dát hrá najvýznamnejšiu úlohu pri tvorbe marketingových programov. A len o 4 % menej respondentov je presvedčených, že Big Data budú v priebehu rokov hrať významnú úlohu vo všetkých marketingových stratégiách.

8 Analýza údajov v planetárnom meradle

Nemenej zvedavý je. Je možné, že strojové učenie bude nakoniec jedinou silou schopnou udržať jemnú rovnováhu. Téma ľudského vplyvu na globálne otepľovanie je stále predmetom mnohých kontroverzií, takže presnú odpoveď môžu poskytnúť iba spoľahlivé prediktívne modely založené na analýze veľkého množstva údajov. V konečnom dôsledku zníženie emisií pomôže aj nám všetkým: minieme menej energie.

Teraz Big Data nie sú abstraktným pojmom, ktorý môže nájsť svoje uplatnenie o pár rokov. Ide o dokonale fungujúci súbor technológií, ktoré môžu byť užitočné takmer vo všetkých sférach ľudskej činnosti: od medicíny a polície až po marketing a predaj. Etapa aktívnej integrácie Big Data do nášho každodenného života sa práve začala a ktovie, aká bude úloha Big Data o pár rokov?