TECHNOLÓGIE BIG DATA A ICH VYUŽITIE VO FINANCIÁCH A ROZHODOVANÍ

Doc. RNDr. Juraj Pančík , PhD.Bankovní institut vysoká škola, a. s., o. z., Námestie slobody 3, 974 01 Banská Bystrica

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

2

ÚVOD

V posledných niekoľkých rokoch, svet zažil exponenciálny rast objemu dát

Pred dvoma rokmi boli veľké objemy údajov (Big Data) videné ako problém pre spoločnosti akými sú Google alebo Facebook

Dnes každá finančná inštitúcia a či poisťovňa si uvedomuje význam veľkých dát (Big Data).

Firmy musia byť schopné získať cennú inteligenciu z dát rýchlo a efektívne, alebo riskovať, že zostanú za svojimi konkurentmi.

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

3

4Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Zdroj : štvrtok 4. 4. 2013 17:17 | Mirek Tóda Článok bol uverejnený v tlačenom

vydaní SME.

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

5

ČO JE BIG DATA ?

Big data[1][2] is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications.

The challenges include capture, curation, storage,[3] search, sharing, transfer, analysis,[4] and visualization.

The trend to larger data sets is due to the additional information derivable from analysis of a single large set of related data, as compared to separate smaller sets with the same total amount of data, allowing correlations to be found to "spot business trends, determine quality of research, prevent diseases, link legal citations, combat crime, and determine real-time roadway traffic conditions."[5][6][7]

Zdroj : Big data From Wikipedia, the free encyclopedia

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

6

ČO JE BIG DATA ?

As of 2012, limits on the size of data sets that are feasible to process in a reasonable amount of time were on the order of exabytes of data.[8][9]

 Scientists regularly encounter limitations due to large data sets in many areas, including meteorology, genomics,[10] connectomics, complex physics simulations,[11] and biological and environmental research.[12] 

The limitations also affectInternet search, finance and business informatics.

Data sets grow in size in part because they are increasingly being gathered by ubiquitous information-sensing mobile devices, aerial sensory technologies (remote sensing), software logs, cameras, microphones, radio-frequency identification readers, and wireless sensor networks.[13][14] 

The world's technological per-capita capacity to store information has roughly doubled every 40 months since the 1980s;[15] as of 2012, every day 2.5 quintillion (2.5×1018) bytes of data were created.[16]

The challenge for large enterprises is determining who should own big data initiatives that straddle the entire organization.[17]

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

7

ČO JE BIG DATA ?

Big data is difficult to work with using most relational database management systems and desktop statistics and visualization packages, requiring instead "massively parallel software running on tens, hundreds, or even thousands of servers".[18] 

What is considered "big data" varies depending on the capabilities of the organization managing the set, and on the capabilities of the applications that are traditionally used to process and analyze the data set in its domain.

"For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration."[19]

Zdroj : Big data From Wikipedia, the free encyclopedia

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

8

ČO JE BIG DATA ?

9

BIG DATA—A GROWING TORRENT

$600 to buy a disk drive that can store all of the world’s music

5 billion mobile phones in use in 2010 30 billion pieces of content shared on Facebook every

month 40% projected growth in global data generated per

year vs. 5% growth in global IT spending 235 terabytes data collected by the US Library of

Congress by April 2011 15 out of 17 sectors in the United States have more

data stored per company than the US Library of Congress Zdroj : (MCKINSEY, 2012)

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

10

BIG DATA—CAPTURING ITS VALUE

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Zdro

j :

(MC

KIN

SEY,

201

2)

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

11

BIG DATA—CAPTURING ITS VALUE

$300 billion potential annual value to US health care—more than double the total annual health care spending in Spain

€250 billion potential annual value to Europe’s public sector administration—more than GDP of Greece

$600 billion potential annual consumer surplus from using personal location data globally

60% retailers’ operating margins possible with big data 140,000–190,000 more deep analytical talent

positions, and 1.5 million more data-savvy managers needed to take full advantage of big data in the United States

Zdroj : (MCKINSEY, 2012)

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

12

BIG DATA—CAPTURING ITS VALUE

Zdro

j :

(MC

KIN

SEY,

201

2)

13

KĽÚČOVÉ APLIKÁCIE BIG DATA VO FINANČNÝCH INŠTITÚCIÁCH

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Podľa zdroja (ORACLEa, 2012)

14

TYPICKÁ APLIKÁCIE BIG DATA VO FINANČNÝCH INŠTITÚCIÁCH

Podľa zdroja (CAPGEMINIa, 2013) • Citlivostná analýza (Sentiment Analysis). Generovanie tzv. citlivostného

skóra pre vstupné dáta pomocou taxonómií špecifických pre finančné služby alebo poistenia spolu so zoznamamy pozitívnych / negatívnych slov

• Analýza časových radov (Time Series Analysis). Vytváranie dátových vzorov z časových radov na základe vstupných dát v reálnom čase analýzou tisícov kombinácií možných nákupných košíkov reprezentujúcich obchodovanie medzi stranami a výber najvýnosnejšie alebo inak žiaducich obchodných príležitostí.

• Elastické vyhľadávanie (Elastic Search). Programové riešenia vyhľadávacích rozhraní, ktoré umožní vyhľadávať uložené súbory dát. Toto riešenie umožňuje na základe využitia programového rozhrania API pre elastické vyhľadávanie (API = Application Programming Interface) a s využitím prednastavených vyhľadávacích dotazov neustále sledovať (monitorovať) dátové transakčné toky a detegovať tak zmeny vo vstupných údajoch. Odpadá tak využitie analytických databáz.

• Vizualizácia veľkých objemov dát (Big Data Visualization). Ide o vytvorenie vizualizácie na objemovo veľkých, nehomogénnych a  časovým šumom ovplyvnených údajov. Poskytuje kvalitatívny pohľad na údaje určené pre ďalšiu kvantitatívnu analýzu. Toto riešenie umožňuje reprezentovať viac rozmerné údaje s jednoduchosťou a eleganciou. Ide najmä o geografické a chronologické údaje.

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

15

BIG DATA VO FINANČNÝCH INŠTITÚCIÁCH finančné inštitúcie majú údaje, ktoré môžu byť analyzované

a preskúmané s cieľom získať ich obchodnú hodnotu finančné inštitúcie čelia výzvam na uvedenia výsledkov analýz

Big Data údajov do praxe. je časovo náročné a nákladné nastaviť a spravovať analytické

platformy väčšina inštitúcií nemá armádu vedcov - analytikov a

programátorov pre realizáciu a vyskúšanie riešení verejné cloudy poskytujú na vyžiadanie potrebné infraštruktúry finančné inštitúcie sa zdráhajú používať cloud kvôli dodržiavaniu

zásad informačnej bezpečnosti - najmä kvôli proprietárnej povahe informácií a hrozbe krádeže identity

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

16

TECHNOLÓGIE BIG DATA – ANALÝZA JE V PRÍSPEVKU V ZBORNÍKU

Veľkí hráči v IT na príklade rešerše : Uvodný článok (CISCO, 2012) (CISCOa, 2012) ( 4SYTH,

2012) (BRADLEY, 2012) Rozdiely v prístupe v klasickej Business Intelligence a Big

Data (IBM, 2012) Technológie ORACLE a CLOUDERA (ORACLEc, 2012),

technologický článok s príkladmi (ORACLEd, 2012) Big Data a informačné systémy (SAP, 2012) Historický pohľad na vývoj informačných systémov a ich

vzťah k Big Data (COGNIZANT, 2011) Rôzne technologické prístupy (PWC, 2010) Micorosoft a jeho technológie BD (MICROSOFT, 2013)

17

PRÍKLAD TECHNOLÓGIE BIG DATA – SPOLOČNOSŤ ORACLE

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Zdroj : (ORACLEc,2012)

18

PRÍKLAD TECHNOLÓGIE BIG DATA – SPOLOČNOSŤ ORACLE

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Zdroj : (ORACLEc,2012)

19

PRÍKLAD TECHNOLÓGIE BIG DATA – SPOLOČNOSŤ ORACLE

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

Zdroj : (ORACLE,2012)

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

20

PRÍKLAD TECHNOLÓGIE BIG DATA – SPOLOČNOSŤ CLOUDERA

Poznámka : viď OPEN SOURCE riešenia a použitie programovacieho jazyka R (výučba) Zdroj : CAPGEMINIa,2013

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013

21

ZÁVERY :

Big Data nie je módny pojem Big Data je seriózny zdroj rozvoja v

podnikaní Big Data môže pomôcť nájsť

východiská z krízy Big Data má využitie a špecifiká vo

finačnom sektore Big Data robí každá veľká IT firma Big Data vyžaduje pripraviť

množstvo nových odborníkov pre prax

22

Ďakujem za pozornosť

Pančík BIG DATA : KONFERENCIA BIVŠ 2013 „FINANCIE V OBDOBÍ KRÍZY – VÝZVY" 11. apríl 2013