JBoss Data Virtualization

opennaru.com | 2013 | All Rights Reserved 1

• Red Hat이 2007년에 인수한 MetaMatrixopen source 프로젝트

• 2008년부터 Jboss 커뮤니티에서 프로젝트

• Query Engine

• Embedded

• Server

• Connectors

• Tools

• Data Services는 ModeShape를리포지터리(repository)로서 사용

JBoss 커뮤니티(Teiid Project)

opennaru.com | 2013 | All Rights Reserved 2

데이터 가상화와 비교

구분 미들웨어 목적 특징 제품

Physical

Movement and

Consolidation

(ETL, CDC)

ETL DBDB Scheduled• Talend• Oracle DI

CDC DBDBEventDriven

• Goldengate• shareplex

Abstraction /

Virtual

Consolidation

(Data Federation)

Data Virtualization

DB Application

On Demand• JBoss Data Virtualization• IBM Federation Server• Informatica Data Services

Synchronization

and Propagation

(Messaging)

EAI/ESBApplication

ApplicationSOA

• JBoss Fuse• Oracle Service Bus• Websphere ESB

opennaru.com | 2013 | All Rights Reserved 3

통합 복잡도

BI 리포트와 분석 대/내외 서비스 사용자 포탈

데이터베이스패키지

애플리케이션 웹서비스 파일

모바일 애플리케이션

Complexity

Location

Structure

LatencyCompleteness

opennaru.com | 2013 | All Rights Reserved 4

데이터 가상화를 통한 통합

BI 리포트와 분석 대/내외 서비스 사용자 포탈

데이터베이스패키지

애플리케이션 웹서비스 파일

모바일 애플리케이션

Data Services (Info Server)Data Virtualization

opennaru.com | 2013 | All Rights Reserved 5

Data Challenges Getting Bigger -Big Data, Cloud, and Mobile

• 지금까지 데이터 통합 기술의 한계

• 데이터 추출, 데이터 전송에는 많은 시간과 비용이 필요

• 각각의 시스템은 다른 데이터 액세스/데이터 통합 방식

• 데이터소스에 의존적인 통합 기술

• 데이터 접근에 대한 유연성과 변화 대응력이 필수

BI ReportsOperational

ReportsEnterprise Applications

SOA Applications

Mobile Applications

Hadoop NoSQL Cloud Apps Data Warehouse & Databases

Mainframe XML, CSV& Excel Files

Enterprise Apps

Integration Complexity

Constant Change

Siloed &Complex

How to align?

opennaru.com | 2013 | All Rights Reserved 6

복잡하게 분산된 데이터를 변화시키는 실시간 데이터 통합

Connect Native Data Connectivity

Compose

Consume

Unified Customer View

Unified Product View

Unified Supplier View

BI Reports & Analytics

Mobile ApplicationsSOA Applications & Portals

Unified Virtual Database / Common Data Model

ESB, ETL

Standard based Data ProvisioningJDBC, ODBC, SOAP, REST, OData

Design Tools

Dashboard

Optimization

Caching

Security

Metadata

Hadoop NoSQL Cloud Apps Data Warehouse & Databases Mainframe XML, CSV

& Excel Files

Enterprise Apps

Siloed &Complex

VirtualizeAbstractFederate

Easy,Real-time InformationAccess

opennaru.com | 2013 | All Rights Reserved 7

데이터 가상화를 통한 빅데이터 접근

1.Reporting tool accesses the data virtualization server via rich SQL dialect

2.The data virtualization server translates rich SQL dialect to HiveQL

3.Hive translates SQL to MapReduce

4.MapReduce runs MR job on big data

BI Reports & Analytics

Hive

MapReduce

HDFS

Analytical Reporting Tool

Data Virtualization Server

Hadoop

Big Data

opennaru.com | 2013 | All Rights Reserved 8

소매점 구축 사례

목표:

적시에 적합한 가격으로 판매

당면과제:

소셜 데이터의 활용 미흡과 재고 및 구매관리 시스템과 오피니언 마이닝(Sentiment Analysis) 에 대한 분석의어려움

솔루션:

Jboss data Virtulization 을 이용하여 재고와구매시스템을 매쉬업하여 오피니언마이닝(Sentiment Analysis) 데이터를매쉬업함.

가격과 재고관리를 최적화하기 위해서 BRMS 도입

ConsumeComposeConnect

Analytical Apps

JBoss Data Virtualization

Hive

Inventory Databases

Purchase Mgmt Applica

tionSentimentAnalysis

JBossBRMS

Data Driven Decision

Management

opennaru.com | 2013 | All Rights Reserved 9

JBoss Data Virtualization 아키텍처

JBoss

EAP

JBoss

Data

Virtu

liza

tionJDBC/ODBC/SOAP

FunctionLibrary

CacheVirtual Database

Security

Log/Audit

Query Engine(optimization)

Connecter Framwork

JDBC File LDAP SOAP SFDC 커스텀

repository

Design Tool Runtime Engine Management Tool

JBoss Developer Studio

XML 정의 파일

Admin Shell

관리 콘솔

데이터베이스

LDAPFile SOAP/REST

SFDC 커스텀

JDBC ODBC SOAP/REST JDBC/WebDav

가상 데이터베이스 Deploy

NoSQL

NoSQL

opennaru.com | 2013 | All Rights Reserved 10

Support Datasource

Enterprise RDBMS:• Oracle • IBM DB2 • Microsoft SQL Server• Sybase ASE• MySQL• PostgreSQL• Ingres

Enterprise EDW:• Teradata • Netezza• Greenplum

Hadoop:• Apache Hive• HortonWorks• Cloudera• More coming…

Office Productivity:• Microsoft Excel • Microsoft Access• Google Spreadsheets

Specialty Data Sources:• ModeShape

Repository• Mondrian• MetaMatrix• LDAP

NoSQL:• JBoss Data Grid• MongoDB• More coming…

Enterprise & Cloud Applications:• Salesforce.com• SAP

Technology Connectors:• Flat Files, XML Files,

XML over HTTP• SOAP Web Services• REST Web Services• OData Services

opennaru.com | 2013 | All Rights Reserved 11

• 리얼타임에 통합 데이터를 활용 가능

• 복사된 과거 데이터를 사용하지 않고 현재 데이터를 참조

• 데이터를 보관 유지하고 있지 않기 때문에 유연한 변경이 가능

• 기존 데이터 배치, 구성, 이용 상황을 파악

• 엔터프라이즈 데이터 매니지먼트 구현

• 데이터를 보관하지 않기 때문에 높은 확장성 실현

• 물리 데이터와 분리하여 DB 벤더의 종속성을 탈피하여 스케일 아웃 확장

• 유연한 접속 관리

• 액세스 컨트롤, Audit, 쿼리 접속 권한 제어

Data Virtualization – Benefits

감사합니다.