Big data analytik je všestranný špecialista, ktorý má znalosti v oblasti matematiky, štatistiky, informatiky, informatiky, obchodu a ekonómie. Analytik veľkých údajov študuje veľké množstvo údajov, ktoré obsahujú rôznorodé informácie, napríklad výsledky výskumu, trendy na trhu, preferencie zákazníkov atď. servis atď. Hlavnou zručnosťou dátových vedcov je vidieť logické súvislosti v systéme zozbieraných informácií a na základe toho vyvinúť určité biznis riešenia a modely.
Analytici veľkých dát musia byť schopní extrahovať informácie, ktoré potrebujú, zo všetkých druhov zdrojov vrátane informačných tokov v reálnom čase a analyzovať ich pre ďalšie obchodné rozhodovanie. Ide nielen o množstvo spracovaných informácií, ale aj o ich heterogenitu a rýchlosť aktualizácie.
Dnes sa výraz Big Data zvyčajne používa nielen na označenie samotných súborov údajov, ale aj nástrojov na ich spracovanie a potenciálnych výhod, ktoré je možné získať ako výsledok starostlivej analýzy. Hlavné charakteristiky, ktoré odlišujú veľké údaje od iného druhu údajov, sú tri V: objem (veľké objemy), rýchlosť (potreba rýchleho spracovania), rozmanitosť (rozmanitosť).
Pre ľudí, ktorí chcú pracovať s veľkými dátami, existujú dve hlavné špecializácie:
- Inžinieri veľkých dát sú zodpovednejší za ukladanie, transformáciu dát a rýchly prístup k nim;
- Analytici veľkých dát sú zodpovední za analýzu veľkých dát, identifikáciu vzťahov a vytváranie modelov.
Hlavný dopyt po analytikoch Big Data tvoria IT a telekomunikačné spoločnosti a veľké obchodné reťazce. Big Data sa v poslednom čase čoraz viac využívajú v bankovom sektore, verejnej správe a poľnohospodárstve. Angažovanie špecialistu na veľké dáta je príležitosťou pozrieť sa na dostupné dáta z rôznych uhlov pohľadu.
Názvy iných profesií: Data scientist, Data Scientist, BI, Business intelligence specialist, Big Data specialist.
Zodpovednosti
Zber dát
Akýkoľvek analytik veľkých údajov sa zaoberá rozptýlenými informáciami, ktoré je potrebné správne štruktúrovať, konkrétne, aby:
- vybudovanie procesu zberu dát pre možnosť ich následného operatívneho spracovania;
- zabezpečenie úplnosti a prepojenia údajov z rôznych zdrojov;
- vývoj riešení na optimalizáciu súčasných procesov na základe výsledkov analýzy.
Analýza dát
Po štruktúrovaní údajov by mal analytik vykonať analýzu na ich základe a získať odpovede na predtým položené otázky. Na tento účel analytik:
- analýza a prognózovanie spotrebiteľského správania, segmentácia zákazníckej základne, štatistické ukazovatele;
- analýza efektívnosti interných procesov a prevádzkových činností;
- analýza rôznych rizík;
- príprava pravidelných správ s prognózami a prezentáciou údajov.
Vývoj efektívnych obchodných riešení
V dnešnom konkurenčnom a rýchlo sa meniacom svete, v neustále rastúcom toku informácií je Data Scientist nepostrádateľný, aby vás sprevádzal pri prijímaní správnych obchodných rozhodnutí:
- príprava správ, uzatváranie záverov;
- prezentácia výsledkov.
Čo potrebujete vedieť a vedieť
- Rýchlo sa učiaci;
- Kritické myslenie;
- Analytická myseľ;
- Pozornosť na detaily;
- Zodpovednosť;
- Široký výhľad;
- Schopnosť pokračovať vo výskume napriek neúspešným priebežným výsledkom;
- Schopnosť vysvetliť zložité veci jednoduchými slovami;
- Obchodná intuícia.
Osobné kvality
- Dôkladná znalosť odvetvia, v ktorom sa práca vykonáva;
- Vlastníctvo štatistických nástrojov SPSS, R, MATLAB, SAS Data Miner, Tableau;
- Hlboká znalosť metód štatistickej analýzy dát, konštrukcie matematických modelov (neurónové siete, Bayesovské siete, zhlukovanie, regresia, faktoriál, variačné a korelačné analýzy atď.);
- ETL (Extraction, Transformation, Loading) - extrahovanie údajov z rôznych zdrojov, ich transformácia na analýzu, načítanie do analytickej databázy;
- Schopnosť nastaviť úlohu pre databázových špecialistov;
- plynulosť v SQL;
- znalosť anglického jazyka na úrovni čítania technickej dokumentácie;
- znalosť skriptovacích programovacích jazykov Python / Ruby / Perl;
- zručnosť strojového učenia;
- Schopnosť pracovať v Hadoop, Google big table.
Základné zručnosti
Povedzme si niečo o tých, ktorí pracujú s veľkými dátami a vedomostiach, ktoré sú na to potrebné.
Existuje stereotyp, že s veľkými dátami pracujú iba IT oddelenia, programátori a matematici. V skutočnosti toto mladé odvetvie zahŕňa pomerne veľa profesií: od inžiniera po špecialistu na rozprávanie dát. V rámci špeciálneho projektu sme sa spolu s IE Business School T&P rozprávali s Josephom Curtom, analytikom, obchodným konzultantom a podnikateľom, o multifunkčnosti, možnosti ovplyvňovať globálne procesy a big data v poľnohospodárstve.
Jozef Curto
výkonný riaditeľ nezávislej poradenskej spoločnosti Delfos Research, docent na IE School of Social, Behavioral & Data Sciences
- Špecialista na veľké dáta - kto je to?
Verí sa, že špecialista na veľké dáta je super profesionál, superman s obrovským množstvom rôznych zručností. Do istej miery je to pravda, pretože okrem iného musí dobre rozumieť biznisu. Samozrejme, pre jedného človeka je ťažké vôbec všetko vedieť, preto najčastejšie pracujeme v tímoch – to je oveľa produktívnejšie. Napríklad jeden môj kolega je odborníkom len na vizualizáciu dát a rozprávanie dát. Vytvára ohromujúce infografiky, ktoré dokážu vyrozprávať akýkoľvek príbeh v číslach. Hlavná vec je mať 360-stupňový uhol záberu, ktorý prichádza so skúsenosťami. Mne osobne to trvalo takmer 15 rokov.
- Aké je najlepšie zázemie, ak chcete pracovať s veľkými dátami?
V Big Data je veľa rôznych rolí: napríklad môžete byť Big Data Engineer (čiže inžinier) alebo analytik, a to sú úplne odlišné funkcie. Základné veci sú znalosti z matematiky, štatistiky a informatiky.
- Popíšte hlavné fázy práce špecialistu na veľké dáta?
Pracujeme v rôznych oblastiach: financie, maloobchod, právne odvetvia. Jednou z najdôležitejších úloh je stratég: v prvej fáze väčšina spoločností jednoducho nevie, ako začať s veľkými dátami. Navyše je niekedy veľmi ťažké pochopiť, aký problém v spoločnosti je spojený s týmito údajmi a ako ho vyriešiť.
Na začiatok je najdôležitejšie identifikovať problém, ktorému spoločnosť čelí. Robíme workshopy, kde hovoríme o možnostiach Big Data. V procese práce musíme transformovať prácu v spoločnosti, ale našou prvoradou úlohou je vyriešiť problém. Hovoríme s klientom, kladieme veľa otázok o všetkých oblastiach činnosti. V priebehu týchto rozhovorov sa objavujú obrovské zoznamy položiek a úloh, ktoré budeme brať do úvahy a na ktorých budeme pracovať. Hlavným cieľom, ktorý sledujeme pri práci s Big Data, je schopnosť lepšie porozumieť spotrebiteľovi, produktu, zamestnancom, dodávateľom. Big Data pokrývajú všetky oblasti spoločnosti.
Po zhromaždení informácií prediskutujeme všetky problematické body a pochopíme, či súvisia s veľkými údajmi. Niektoré problémy môžu súvisieť aj s niečím iným – napríklad s nedostatočnou motiváciou zamestnancov. Musíme teda celý zoznam skrátiť a nechať len problémy, ktoré sa týkajú našej kompetencie. Ak chcete vedieť viac o svojich predajoch, znamená to, že ich musíte mať možnosť sledovať. To je niekedy dosť ťažké. Napríklad v obchodoch by ste mali mať možnosť sledovať každý nákup. Toto však nie je problém veľkých dát. To znamená, že si stačí zakúpiť systém na sledovanie nákupov. Niekedy musí spoločnosť prejsť sériou významných zmien, aby mohol Big Data špecialista začať pracovať.
Ďalším krokom je zostavenie zoznamu odporúčaní. Potom diskutujeme o budúcej stratégii spoločnosti tak, ako ju chcú manažéri mať. Implementácia Big Data nie je len o najatí jedného špecialistu, je to zmena myslenia všetkých zamestnancov. Je veľmi dôležité, aby každý chápal, čo robí chlapík, ktorý si hovorí špecialista na veľké dáta. Je veľmi dôležité vyvrátiť mýtus, že Big Data sú len časťou IT oddelenia. Po definovaní stratégie navrhujeme spôsoby jej implementácie.
- Aké základné zručnosti by mal mať špecialista na veľké dáta?
Hlavná vec je schopnosť pracovať s veľkým množstvom informácií a znalostí technológií: už sú ich stovky a každý mesiac sa objavujú nové. Zároveň musí mať vedecké myslenie, byť veľmi zvedavý. Je veľmi dôležité vedieť myslieť v rámci biznisu. Dovoľte mi pripomenúť, že môžete byť na niečo úzkym špecialistom a byť užitočným členom tímu, ktorý bude zodpovedný za svoju časť procesu.
- Kde takíto špecialisti najčastejšie pracujú?
Veľmi často sme označovaní ako odborníci; mnohí moji kolegovia spájajú vedeckú prácu s výučbou.
- Ktoré odvetvia najviac potrebujú veľké dáta?
Verím, že úplne všetko. Big Data sa v poslednom čase čoraz viac využívajú v bankovom sektore, verejnej správe a poľnohospodárstve. Angažovanie špecialistu na veľké dáta je príležitosťou pozrieť sa na dostupné dáta z rôznych uhlov pohľadu. Niekedy sa so študentmi pozeráme na veľmi jednoduché súbory údajov - napríklad tabuľky s iba tromi stĺpcami (dátum, číslo zákazníka a suma nákupu). Aj keď sa to môže zdať primitívne, ukazujem študentom, koľko nových informácií z toho môžu získať. Aj keď nemáte veľa údajov, môžete robiť predpovede a závery.
- Ako by sa malo zmeniť vzdelávanie pre vzdelávanie špecialistov na veľké dáta?
Hlavnou vecou je školenie multifunkčných špecialistov. Dôležité je venovať dostatočnú pozornosť matematike a informatike, študovať nové technológie, prístupy (napríklad NoSQL). Najdôležitejšie je analytické myslenie. Toto je prvá vec, ktorú učím svojich študentov. Špecialista na veľké dáta pozná matematiku, technológiu a myslí kriticky. Je dôležité si zapamätať - nikdy nemôžete vedieť všetko, je to nemožné, ale musíte vedieť vyhľadávať a analyzovať informácie.
- V akej najneobvyklejšej oblasti ste pracovali?
Toto je bezpochyby poľnohospodárstvo. Toto odvetvie má širokú škálu procesov, pričom sú úplne nepripravené na nové technológie. Musíte sa naučiť hovoriť ich jazykom a pochopiť, akým úlohám spoločnosti čelia. Veľmi častou úlohou je napríklad zníženie spotreby vody, ktorá sa v poľnohospodárstve využíva každý deň v obrovských množstvách. Schopnosť pomôcť vyriešiť tieto problémy je úžasná. Poľnohospodárske organizácie sú nútené byť pragmatické a Big Data im v tom pomáhajú.
Big Data špecialisti sú novým typom profesionálov. Musíte pochopiť, že najúžasnejšia vec na tejto práci je schopnosť výrazne ovplyvňovať globálne procesy. Je to ako práca detektíva. Vy určujete, čo sa stalo, kde a prečo. Môžete pomôcť spoločnostiam pochopiť, prečo prichádzajú o peniaze a zákazníkov, ako sa tomu vyhnúť a zvýšiť zisky v budúcnosti.
Jurij Kotikov
Strategy Consultant v Ericsson, absolvent Master in Management IE Business School
Nemôžem inak, než súhlasiť s kolegom. Veľké dáta v organizáciách skutočne nezačínajú v prvom rade nákupom drahého vybavenia, softvérových riešení alebo analýzou súborov údajov, ale definovaním cieľov, ktoré možno dosiahnuť pomocou analytiky, ako aj správnym prístupom k procesy ich implementácie.
Napríklad takmer všetci poprední svetoví mobilní operátori vytvárajú špecializované divízie pre Big Data, ktoré majú voľný prístup k dátam v rámci spoločnosti, ako aj podporu od vrcholového manažmentu a akcionárov. Ide o jeden z kľúčových faktorov úspechu v projektoch Big Data, ktoré zahŕňajú množstvo funkcií a znamenajú významné zmeny v procesoch spoločností.
Metodologicky dôležitým faktorom je takzvaný Lean Startup Approach – flexibilný prístup k riešeniu biznis problémov pomocou Big Data. Namiesto zdĺhavého procesu vývoja finálneho komplexného modelu alebo produktu založeného na veľkých dátach je potrebné postupovať s malými iteráciami a rýchlymi výhrami, získavaním pravidelnej spätnej väzby od kľúčových zákazníkov riešenia. Telefónica sa napríklad pri vývoji svojho riešenia Smart Steps s použitím agregovaných údajov o polohe predplatiteľov spočiatku zamerala na maloobchodníkov. Operátor plánoval poskytovať zákazníkom údaje o pohybe ľudí v určitých uliciach mesta. Vďaka pravidelnej spätnej väzbe mohla Telefónica rozhodnúť o potrebnom strategickom obrate, ktorý zmenil zameranie produktu na analýzu tokov cestujúcich pre sektor dopravy.
Ak hovoríme o špecialistoch v oblasti Big Data, potom je podľa nášho názoru kľúčovou kvalitou pre technických aj manažérskych špecialistov krížová funkčnosť. Je takmer nemožné mať celý rad schopností analýzy údajov. Technici však musia mať základné znalosti o tom, ako podnik funguje, a manažéri musia rozumieť základným princípom analytiky. Vzdelávacie programy v oblasti veľkých dát, ktoré kombinujú technickú časť s obchodnými aspektmi a ponorením sa do určitých odvetví, majú preto veľkú šancu pripraviť personál požadovaný trhom.
Odporúčaný učebný plán: Majster v odbore Business Analytics a Big Data
MSc Business Analytics and Big Data je moderný program zameraný na ponorenie sa do štyroch oblastí znalostí súvisiacich s oblasťami obchodnej analytiky a veľkých dát: Big Data Technologies, Data Science, Business Transformation, Professional Skills. Program pozostáva z troch semestrov, z ktorých každý končí praktickým projektom, vrátane Big Data startupu a konzultačného projektu.
Spoločnosti hľadajú dynamických profesionálov s rôznym zázemím – skúsenosťami v obchode, IT, znalosťami ekonómie, matematiky a príbuzných vied a schopných pracovať s informáciami: zbierať, analyzovať a interpretovať dáta.
Výsledky prieskumu medzi zamestnávateľmi naznačujú, že Big Data špecialisti pracujú v 6 % spoločností. Hlavný dopyt po Big Data analytikoch tvoria IT a telekomunikačné spoločnosti, banky a veľké obchodné reťazce.
otázka: "Má vaša spoločnosť špecialistov na analýzu veľkých dátových polí (Big Data, Data Scientist)?"
| Možná odpoveď | Všetky oblasti činnosti | IT / Telekom | banky | Maloobchodné |
| Áno | 6% | 21% | 17% | 13% |
| nie | 75% | 60% | 50% | 45% |
| Neviem odpovedať | 19% | 19% | 33% | 42% |
Zástupcovia veľkých spoločností vo svojich komentároch poznamenali, že analýza veľkých dát je dôležitou oblasťou podnikania.
„Analytici veľkých dát sú súčasťou divízie Digital. Je to pre nás strategické smerovanie, podlieha priamo generálnemu riaditeľovi. Pred necelým rokom bola v tomto formáte vytvorená pododdiel. Náš biznis je spojený so získavaním obrovského množstva dát, preto je pre nás analytika veľmi dôležitá. Máme veľmi silný tím a veľmi ambiciózne úlohy, “hovorí zástupca telekomunikačného operátora.
„V banke máme asi 15 smerov/projektov, kde sú takíto špecialisti žiadaní. Každý projekt potrebuje svojich špecialistov a tí dokážu analyzovať rôzne dáta,“ komentoval recruiter veľkej komerčnej banky.
Náboroví pracovníci zaznamenali množstvo ťažkostí pri nábore big data analytikov spôsobených nedostatkom kvalifikovaného personálu a absenciou kritérií na hodnotenie kompetencií: „Je ťažké posúdiť úroveň kvalifikácie a odbornosti. Máme veľmi vysoké požiadavky. Vykonávame viacstupňový výber s niekoľkými fázami pohovorov s testami, ktoré preverujú analytické schopnosti. Preveruje sa veľmi veľký počet kandidátov.
„Všetci chceme už etablovaných špecialistov, ktorí zrealizovali úspešné prípady, no na trhu ich nie je veľa. Ťažko určiť úroveň človeka, pretože úlohy sú rôzne, nie je úplne jasné, či nám budú jeho skúsenosti postačovať, “dodáva zástupca veľkej komerčnej banky.
Problémy s náborom narastajú v dôsledku nedostatku spoločného názvu pre prácu analytikov veľkých dát a súboru štandardných pracovných povinností.
Pracovné miesta zahŕňajúce prácu s veľkými údajmi môžu mať úplne iné názvy, napríklad: analytik veľkých údajov; matematik / matematik-programátor; manažér systémovej analýzy; architekt veľkých dát; obchodný analytik; BI analytik; informačný analytik; špecialista na dolovanie údajov; inžinier strojového učenia.
Špecialistov na veľké dáta možno rozdeliť do 2 oblastí:
Inžinieri veľkých dát sú zodpovednejší za ukladanie, transformáciu dát a rýchly prístup k nim;
Analytici veľkých dát sú zodpovední za analýzu veľkých dát, identifikáciu vzťahov a vytváranie modelov.
Pracovné povinnosti analytika veľkých dát zahŕňajú:
Vybudovanie procesu zberu dát pre možnosť ich následného operatívneho spracovania;
analýza a prognózovanie spotrebiteľského správania, segmentácia zákazníckej základne (klastrovanie, klasifikácia, modelovanie, prognózovanie);
personalizácia ponúk produktov;
analýza efektívnosti interných procesov a prevádzkových činností;
vývoj riešení na optimalizáciu súčasných procesov na základe výsledkov analýzy;
analýza rizík, podozrivé transakcie, odhaľovanie podvodov;
zabezpečenie úplnosti a prepojenia údajov z rôznych zdrojov (multikanálový predaj, marketing, internet);
generovanie periodických správ na vyhodnotenie výsledkov, vizualizáciu a prezentáciu údajov.
Platy analytikov veľkých dát a požiadavky na ich profesionálne zručnosti
Hodnota avatarov v psychológii
Hodnota avatarov v psychológii
Ako zdôrazniť písmeno v MS Word
Čo to znamená, ak je avatar osoby
Ako si vytvoriť svoj vlastný Twitter moment