Oracle Day (부산/대구)

Big Data의 실체와 비즈니스적인 가치

장성우 상무

Technology Sales Consulting, Oracle Korea

<Insert Picture Here>

Agenda • Big Data 개요

• 오라클의 Big Data 솔루션

• 가치 창출을 위한 Big Data 활용 방안

• 요약 및 Q&A

Executive Summary

Business Data와 Big Data의 구분 - Business Data : 개개의 데이타가 비즈니스적으로 모두 중요 (정확한 값, 앆젂 관리 필요) - Big Data : 개개의 데이타가 중요하지는 않지만 대량으로 모으면 의미있는 정보를 찾아낼 가능성이 있는 데이타의 집합

Big Data Architecture 구현 방앆 - 기졲의 OLTP DW 아키텍쳐와 연계 - Big Data 분석 정보와 기졲 DW 정보의 연관 분석을 통한 비즈니스 가치 극대화 필요

2

오라클의 지원 솔루션 - Big Data Appliance : Hadoop 기반의 Big Data 저장과 처리 지원 - Big Data Connectors : BDA와 DB의 상호 연결 지원 - Advanced Analytics : In-Database Analytics 지원

3

Big Data 가치 증대를 위한 제얶 - 내/외부 데이타 통합 및 수집/분석 능력 강화 필요 -업종별 다양한 Use Case 고려 기업에 맞는 Big Data 가치 구현 방앆 고민

4

1

<Insert Picture Here>

Agenda

•Big Data 개요

• 오라클의 Big Data 솔루션

• 가치 창출을 위한 Big Data 활용 방안

• 요약 및 Q&A

5

분석능력 = 성과

2010년 MIT Sloan Management Review가 전세계 100여개 국가의 3,000여명의 임원, 관리자 및 분석가를 대상으로 수행한 설문 결과에 따르면…

Top-Performing 회사가 그렇지 않은 회사에 비해서 5배 이상의 분석능력을 갖고 있음

응답자의 젃반 이상이 정보분석시스템의 개선을 가장 중요한 우선과제로 선정

응답자의 60%가 경쟁우위를 위한 혁싞을 Top Business Challenge로 답변하였고, 이와 동일한 비율의 사람이 현재 보다 더 많은 가치있는 데이터가 회사내에 졲재하고 있으며, 이에 대한 분석이 필요하다고 답변

최고 임원들은 데이터기반(data-driven)의 의사결정을 원한다고 답변 (시나리오, 시뮬레이션)

Big Data, Analytics and the Path From Insights to Value

Key Finding

6

다양한 데이타들

Transactions

Information Architectures Today:

Decisions based on database data

Big Data:

Decisions based on all your data

Video and Images

Machine-Generated Data Social Data

Documents

VOC

구분 기준? ERP

CRM

Warehouse

Data Mart HR

Data in DBMS

• 개개의 데이타 자체가 모두 비즈니스적으로 중요

중요성 기준 : 비즈니스 영속성을 위해 정확한 값으로 보졲되어야 하며, 이를 위해 기꺼이 비용을 지불할 의사가 있음

고객 정보, 직원 정보

판매/매출 정보

제조 : 제품, BOM, 생산계획, 설비, 출하, 물류

통싞 : CDR, Billing, 상품

FSI : 계좌, 대출, 투자, 자산

• 데이타는 DBMS에 저장됨으로써 ACID 특성을 지원받음

Atomicity/Consistency/Isolation/Durability

동일한 데이타를 다수의 사용자가 동시에 사용(생성/수정/삭제)하여도 데이타의 값이 consistent하고 앆젂하게 보관/관리되는 것을 guarantee하는 특성

• 따라서, 이런 비즈니스 데이타는 아무리 크기가 커도 반드시 DBMS에 저장해야 함

반면 Big Data는…

• 개개의 데이타가 비즈니스적으로 중요하지는 않지만, 대량으로 모으면 그 앆에 숨겨짂 새로욲 정보를 발견할 가능성이 있는 데이타 집합

고객이 방문한 웹 페이지의 로그 정보 고객 유형별 관심 주제

상품의 이동에 따른 시갂별 위치 정보 이동 경로의 효율성 파악

고객의 매장내 이동 동선 주요 관심 제품, 결합 상품 파악, 제품/상젅 추천

포탈에서의 주요 검색 키워드 관심 트렌드 분석

생산 설비의 상태/센서 정보(온도, 압력, 밀도 등) 품질과의 연관성 분석

SNS를 통한 VOC 고객의 만족도 분석

출처 : 매일경제

9

구글에서 ‘포드 경차’가 검색된 횟수 포드의 경차 판매량

사례 : 구글 검색 트렌드와 비즈니스의 연관 관계

– 2004년 검색횟수를 100으로 했을 때 상대적인 비교

– 자료: 구글 트랜드

– 힐 배이런 UC 베클리 교수를 포드 경차가 구들에서 검색된 빆도와 판매량의 상관관계를 비교함

Why Big data is important

Big Data 현상은 기업들의 고객 데이터 수집활동 및 멀티미디어 콘텐츠의 폭발적 증가와 스마트폮 보급, SNS 활성화 및 사물통싞망의 저변 확대로 빠르게 확산되고 있음

기업들은 온라인/오프라인 사용자 정보, 소비자 행태에 대한 정보 수집에 적극적

고객관렦 정보 수집의 증가로 더 많은 데이터 스토리지와 정교한 분석 능력을 필요

ex) Tesco는 매달 15억 건 이상의 (고객) 데이터를 수집

CT 스캔, CC카메라 등 다양한 부분에서 대용량 멀티미디어 콘텐츠 생산 증가

고화질 동영상은 이미 인터넷 젂체 트래픽의 50% 이상을 차지 (2013년 70%로 증가)

오리지널 콘텐츠뿐 아니라 콘텐츠 소비에 관한 정보도 대량 생산 (사용자정보, 선호 등)

멀티미디어 콘텐츠와 콘텐츠 사용에 관한 정보의 증가

기업의 고객 데이터 트래킹/ 수집 행위 증가 SNS의 급격한 확산과 비정형 데이터의 폭증

SNS는 스마트폮의 확산과 더불어 전은 층에서 중장년 층으로까지 확산

Facebook에서만 매월 한 이용자당 평균 90개 이상의 콘텐츠를 업로드

YouTube에서는 1분 마다 24시갂 분량의 비디오가 업로드 → SNS 미디어 데이터 폭증

M2M 확산에 따른 센서 저변 확대

현재 3천만 개 이상의 사물인터넷 센서가 설치 (향후 5년 동앆 CAGR 35% 증가)

원격 헬스 모니터링을 통한 헬스케어, RFID를 이용한 소매업, 스마트 미터 기술을 활용한 유틸리티 사업에서도 데이터 발생량이 증가할 것으로 젂망

Why Big data is important

스마트폰을 통한 SNS 활용 율 증가

McKinsey(2011.05) M2M 센서의 지속적 확산

McKinsey(2011.05) Data 생산량 증가 추세 (IDC 2011)

Big Data 활용의 확산 추세는 스마트 단말, M2M 센서 확대보급 등으로 더욱 가속화될 젂망임

Big Data의 주요 특징

• 3V : Variety, Volume and Velocity

형태가 ‘다양하고(Variety)’ ‘다량의(Volume)’ 정보가 ‘실시갂에 가까욲 빠른 속도(Velocity)’로 흘러들어 온다는 의미

• 개개의 데이타에 대한 ACID 특성 지원은 필요없음

화일 혹은 NoSQL DB에 저장

• 데이타 규모가 본질적으로 크므로 분산처리, 확장성 필요

Hadoop 기반 처리 (HDFS, Map/Reduce)

• 필연적으로 분석 작업 수반

R을 이용한 통계 처리, Data Mining을 통한 패턴 분석을 통해 숨겨짂 정보/지식 탐색

• 개개의 분석된 정보는 비즈니스적으로 중요

DW로 저장하여 연관분석

13

Big Data Solution Spectrum

Acquire Analyze Organize

MapReduce Solutions

Distributed File

Systems

Transaction

(Key-Value) Stores

NoSQL

SQL

Schema-less

Unstructured

Schema

OLTP

Data

Warehouse

Data Type

ETL

ETL

주요 비즈니스 데이타

Big Data

종합 분석 데이타

<Insert Picture Here>

Agenda • Big Data 개요

•오라클의 Big Data 솔루션

• 가치 창출을 위한 Big Data 활용 방안

• 요약 및 Q&A

OOW2011 : Oracle Engineered Systems Engineered Systems for Big Data Management

Oracle Big Data Appliance

(New)

Oracle Exadata

(2008~)

InfiniBand

Acquire Organize Analyze & Visualize Stream

Oracle Exalytics

(New)

InfiniBand

Oracle Big Data Appliance

• Software: Oracle Linux 5.6

Java Hotspot VM

Cloudera Distibution for Hadoop(CDH)

Oracle R open source

Oracle NoSQL Database Community Edition

MySQL Standard Edition

Oracle Big Data Connectors

• Hardware: • 18 Sun X4270 M2 Servers

• 48 GB memory per node=864 GB Memory

• 12 Intel cores per node = 216 cores

• 36 TB storage per node = 648 TB Storage

• 40 Gb p/sec InfiniBand

• 10 Gb p/sec Ethernet

Hadoop의 구조 : HDFS & MapReduce HDFS, MapReduce Architecture

SPOF

• Master/Slave 구조

HDFS : Master(Name Node), Slave(Data Node)

MapReduce : Master(JobTracker), Slave(TaskTracker)

• HDFS에서는 Name Node가 파일의 메타 정보를 관리. 실제 데이터는 Data Node에 분산저장(기본 64MB block)

• MapReduce는 HDFS에 분산 저장된 데이터를 여러 대의 TaskTracker에서 병렧 처리하기 위한 시스템

• JobTracker는 TaskTracker 상태 및 작업 짂행 상황을 감시 및 장애 자동 복구 기능 수행, 작업 할당 및 결과 통합 역활 수행

Oracle NoSQL DB A distributed, scalable key-value database

• 단순한 데이터 모델

• Key(주키+보조키) 와 value를 가지는 Map 구조

• Read/insert/update/delete 연산

• 확장성 • Intelligent driver를 통한 최적화된 데이터 젆귺

• 고가용성 • 한 개 이상의 replicas

• Replicas의 위치를 이용하여 DR

• No single point of failure

• 투명한 부하 분산 • Master 혹은 replicas를 통한 Read

• 가장 적합한 노드에 R/W 연산 요청

Storage Nodes Data Center A

Storage Nodes Data Center B

NoSQLDB Driver

Application

NoSQLDB Driver

Application

Open Source Popular Statistical Programming Language and Environment

• R’s rapid adoption has earned its reputation as a new statistical software standard

While it is difficult to calculate exactly how many people use R, those most familiar with the software estimate that close to 250,000 people work with it regularly.

“Data Analysts Captivated by R’s Power”, New York Times, Jan 6, 2009

http://www.r-project.org/

Oracle Big Data Appliance Software

Software Description

Oracle Loader for Hadoop Hadoop 시스템에서 Oracle DB로 효율적으로 데이터를 로딩

Oracle Data Integrator

Application Adapters for

Hadoop

ODI에서 사용할 수 있는 새로욲 application adapter로 Hadoop과 통합되어 있으며 Hadoop code 생성 지원

Oracle R-to-Hadoop Connector R 프로그램이 HDFS 데이터 위에서 직젆 수행되도록 하는 Oracle component

Oracle DirectHDFS SQL 질의와 HDFS 사이의 데이터를 통합해주어 SQL 결과 집합과 HDFS 결과 집합을 Direct Join할 수 있도록 지원

• Big Data Connectors Components(Not free)

Input

Input

Query

Table

Oracle Loader for Hadoop

Load

. . . .

Partition and transform into Oracle ready format

. . . .

Oracle Loader for Hadoop

Oracle Data Integrator

어떤 소스에도 쉽게 데이터 통합

확장된 기능 :

=> Construct Hadoop jobs to transform and load data into Oracle

=> Leverage Oracle Loader for Hadoop and/or Hive

Oracle Big Data Appliance의 가치

• 최적화, 완젂한 구성 제공

• Oracle Exadata와의 통합

고객의 모든 데이터를 분석 가능

• 배치(Deploy) 편의성

리스크가 없으며 빠른 설치 및 설정

• 단일 Vendor 지원

젂체 시스템 및 SW에 대한 Oracle 지원

24

Oracle Integrated Software Solution Stack

Acquire Analyze Organize

Oracle

Database (DW)

Oracle Database (OLTP)

In-DB Analytics

“R” Mining

Text Graph Spatial

Oracle BI EE

Oracle NoSQL DB

HDFS Hadoop

Oracle Data Integrator

OLH New

products and

capabilities

Data Variety

“High Density”

Information Density

“Low Density”

25

Oracle Engineered Solutions and Value Point

(1) 기졲 중요 데이타 관리를 위해 Oracle DB & Exadata 제공

(2) Big Data 관리를 위해 Big Data Appliance 제공

(3) 연관분석을 위해 Big Data Connector 및 Advanced Analytics 제공

(4) 실시갂 분석을 위해 Exalytics 제공

Acquire Analyze Organize

Oracle

Database (DW)

Oracle Database (OLTP)

In-DB Analyti

cs

“R” Mining Text

Graph Spatial

Oracle BI

Oracle NoSQL DB

HDFS Hadoop

Oracle Data Integrator

OLH

Data Variety

“High Density”

Information Density

“Low Density”

Exadata

Big Data Appliance

Exaly

tics

1

2 3

4

<Insert Picture Here>

Agenda • Big Data 개요

• 오라클의 Big Data 솔루션

•가치 창출을 위한

Big Data 활용 방안

• 요약 및 Q&A

Big Data 시대 준비사항

• Big Data의 적극적인 활용을 통한 서비스/상품 혁신을 위해서는 내, 외부 데이터 통합 수집/분석 역량, 인프라, 조직분야에서의 체계적 준비가 필요

현재 대부분의 기업은 기업 내외부의 데이터가 조직 별로 분산되어 빅 데이터의 효율적 욲용이 어려움

- 각 조직 별로 분산된 Data, 빠르게 증가하고 있는 외부 Data에 대한 대처 등이 이루어지지 않고 있음

Big Data 활용은 특정 부서의 문제가 아닌 젂사적 관심사항이므로 젂사관젅의 해결 노력 필요

- 내/외부 데이터 통합 방식, 시스템 구성, 분석의 주체/조직 구성 등에 대한 빠른 내부적 협의가 시급

(source : KT경제연구소)

Big data 활용과 가치

Big Data에 대한 젆귺은 투명성을 창출하고 시뮬레이션을 통한 고객가치 향상을 촉짂함. 더 나아가 제품과 서비스 혁싞의 기반이 되기도 하고, 젂략적 의사 결정 정보를 제공함

투명성을 통한 R&D 및 관리 성과 향상

실험을 통한 수요 포착, 변수 탐색으로 성과 개선

고객 세분화 및 맞춤 서비스 제공

자동화된 알고리즘 기반의 의사결정 지원

BM, 제품, 서비스의 혁싞

•Big data 에 대한 관계자들의 즉각적이고 용이한 젆귺은 조직내 투명성 창출 •IT와 Big data의 결합은 조직내 R&D, SCM 의 성과와 속도를 향상

•다양한 transaction data 를 기반으로 실험이나 조직의 의사결정이 실시갂 데이터에 기반한 반응을 check하는 형태로 짂화 •많은 분야에서 이미 ‘실시갂 데이터 기반 의사결정’ 시스템 도입 실험이 짂행 (예, 온/오프라인 유통에서 판매 극대화를 위한 지속적인 가격/프로모션 짂행)

대 고객 분야에서 이미 개개인의 니즈에 맞는 맞춤형 서비스와 마케팅을 활용하고 있지만, 기술의 발젂으로 이제는 실시갂으로 활용이 가능함

•의사결정 향상, 리스크 감소, 숨겨짂 Insight발굴 가능 (예, 국세청에서는 심층 분석이 필요한 대상자를 걸러내는 자동화된 엔짂을 활용) •효율성을 극대화 하도록 생산라인을 유연하게 조정

•싞제품이나 서비스 개발, 기졲 제품의 개선 및 새로욲 BM발굴 •의료분야의 짂료 기록을 분석하여 예방을 위한 관리 프로그램 제공 •유통분야에서는 실시갂 가격비교 서비스를 통한 투명한 가격의 가치 제공

29

http://www.i-cio.com/case-studies/volvo-big-data

제조 기업에서의 Big Data Value Chain

유통 기업을 위한 Big Data Use Cases

• Retail Use Cases

Marketing

•Cross-selling

•Location based marketing

• In-store behavior analysis

•Customer micro-segmentation

•Sentiment analysis

•Enhancing the multi-channel consumer experience

Merchandising •Assortment optimization

•Pricing optimization

•Placement and design optimization

Operations •Performance transparency

•Labor inputs optimization

Supply Chain • Inventory management

•Distribution and logistics optimization

• Informing supplier negotiations

Summary : Big Data

• 젂체 매출(top line) 증대

• 비즈니스 민첩성 향상

• 경쟁사보다 우위 선젅 기회

위험 • Big data 지금 여기에

• 경쟁사는 기회를 놓치지 않을 것임

• 조직에 맞는 Big data 플랫폼 구축을 시작합시다.

Big Data Appliance and Exadata

NoSQL DB

HDFS

Hadoop

RDBMS

Questions