17
LOGO Ghayoun Information & Communication, INC. FastReader FastReader High Performance Database Un-Load Utility High Performance Database Un-Load Utility Supported by Supported by Wisdom isdomF orce orce

Ghayoun Information & Communication, INC

Embed Size (px)

DESCRIPTION

FastReader High Performance Database Un-Load Utility. Ghayoun Information & Communication, INC. Supported by W isdom F orce. 회 사 소 개. FastReader Overview. 미국 워싱턴 소재 Wisdomforce Technologies 사의 제품 시스템 오버헤드 없이 대용량 오라클 데이터베이스로부터 매우 빠른 데이터 추출 - PowerPoint PPT Presentation

Citation preview

Page 1: Ghayoun Information & Communication, INC

LOGO

Ghayoun Information & Communication, INC.

FastReaderFastReaderHigh Performance Database Un-Load UtilityHigh Performance Database Un-Load Utility

Supported by Supported by WWisdomisdomFForceorce

Page 2: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

회 사 소 개

회사명 주식회사 가연아이앤씨 대표자 이 찬 일

주소 서울시 강남구 대치동 943-10 상영빌딩 5 층

전화번호 02-557-3661

주요 사업 분야 소프트웨어 개발 및 판매

설립연도 2002 년 12 월

해당분야 사업기간 2002 년 12 월 ~ 2007 년 11 월

2002. 12 : ㈜ 가연아이앤씨 법인 설립 2005. 12 : 국민은행 모바일 솔루션 공급 계약 체결 –모바일 결제 시스템 2006. 01 : 국민은행 BMC 솔루션 공급 계약 체결 02 : 한국외환은행 모바일 장애 관제 시스템 구축 10 : 국민은행 모바일 장애 관제 시스템 구축 10 : 기업은행 모바일 장애 관제 시스템 구축 12 : 기업은행 모바일 지점 시스템2007. 04 : 한국외환은행 모바일 장애 관제 시스템 추가 구축 05 : 국민은행 모바일 장애 관제 시스템 추가 구축 11 : 농협 모바일 장애 관제 시스템 구축* DBMS 기반 통합 솔루션

Page 3: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

FastReader Overview

미국 워싱턴 소재 Wisdomforce Technologies 사의 제품

시스템 오버헤드 없이 대용량 오라클 데이터베이스로부터 매우 빠른

데이터 추출

추출된 데이터를 다양한 Data Loader 용 Utility 들이 활용 할 수

있게 자동적으로 Input 용 Loader 제공

Initial Unload & Aggregation 단계의 시간을 대폭 절감함으로써

신속한 Unload 를 제공

Oracle 로부터 MS-SQL Server 로의 데이터 전송에 있어 안정성이

매우 뛰어나고 , 속도가 매우 빨라 Microsoft 사 에서 표준

마이그레이션 툴로 추천하고 있는 제품

Page 4: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

FastReader Workflow

Ghayoun Information & Communication, INC.

FastReader Workflow

Output into flat Text ASCII files Create schema Definition scripts Data loaders for Oracle, DB2 SQL Server, Sybase, MySQL External tables create scripts

TargetDatabases

Fast Data Compression

Source Oracledata

Parallel

Processing

Solaris

AIX

Linux/386

IA64

Windows

HPUX

Tru64

Monitoring Reporting

Third Party Application via API or Queue

Write into pipe

Page 5: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

FastReader Solution

FastReader 는 데이터베이스에 대한 사용자의 조작 없이 ,

실시간 데이터의 Locking 없이 DataBase Unload 를 제공 FastReader 는 동일한 CPU 사용율에 10 -15 % 의 성능 개선을 제공 운용중인 OLTP 데이터베이스의 최초 데이터 추출 시 소요 시간 비교 - 기존의 Unload 제품 사용 시 : 20 시간 소요 - FastReader 제품 사용 시 : 2 시간 소요 Source Database : Oracle Target Database : Oracle, DB2, MS-SQL Server,

Sybase, My-SQL… 등 지원

Page 6: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

Why use FastReader

대용량 데이터베이스에서 flat text file 로의 효율적인 알고리즘을 적용하여 고성능의 데이터 추출

고성능을 위한 병렬 데이터 추출 ( 최적의 상태로 설정 가능 )

매우 낮은 CPU 사용율 ( 타사 및 기존제품 대비 )

데이터베이스 시스템의 오버헤드가 없음 ( 직접 액세스 기능 )

직관적이며 , 편리한 GUI 제공 (Java 기반이므로 플랫폼 독립적 운영가능 )

데이터베이스의 원격 관리 및 튜닝을 제공

데이터 추출을 위해 컬럼 조건 변경이 가능 ( 데이터 변환가능 )

Page 7: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

Why use FastReader

대부분의 DB loader 를 지원 (Oracle, DB2, MS-SQL, MySQL, Sybase, Netezza 등 )

모든 종류의 플랫폼을 지원 (AIX, HPUX, Tru64, Linux/386, Solaris, Widows, IA64, …)

Oracle 엔진을 사용하지 않고 데이터파일에 Direct read 가 가능 ASM (Automatic Storage Management) 에 대하여 Direct path 를 이용한 데이터 추출이

가능 멀티프로세서와 멀티 쓰레드 기능 제공

Page 8: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

Why use FastReader

Direct Path Data 를 지원 (indirect 옵션 설정 가능 ) OS authentication 특정 파티션이나 , 서브파티션 및 특정 조건의 컬럼

데이터 추출 가능 (Where 절 사용가능 ) 데이터 추출을 위해 컬럼 조건 변경이 가능 모든 표준 데이터타입 지원 . ( binary, BLOB/CLOB, chained and migrated rows,

fixed length rows… )

스키마 변환이 가능

Page 9: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

Why use FastReader

멀티 프로세서와 멀티 쓰레드 지원 row migration, partitions 지원 Oracle 의 모든 버전 지원 : 8 ~ 11g 레포팅과 모니터링 , Alerts 기능 제공 Data Unload 시 다양한 Format 으로 Unload 하며

여러 Filesystem 에 분산하여 Data Unload 가능 업무환경에 따른 다양한 활용 및 데이터가공 엔진 활용 SQL 엔진과 Kernel 을 우회하고 데이터 블록에서 직접

읽기 때문에 빠른 속도 보장

Page 10: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

Why use FastReader

다른 데이터베이스 , 다른 벤더 , 다른 플랫폼으로 빠른 데이터

이동이 필요할 때

대용량의 테이블에서 빠른 실시간 압축과 백업이 필요할 때

실사용 DB 에서 테스트환경의 DB 로 대용량 데이터테이블

이나 테이블 파티션을 이동하거나 데이터를 추출할 때

데이터베이스간의 복제를 하기 전 처음으로 데이터동기화를 할 때

CLOB 데이터형식을 휴대용 텍스트형식으로 추출하거나 검토할 때

NAS large tables 을 위해 백업을 만들 때

Page 11: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

Advenced FastReader

대용량 데이터파일을 지원

(2Gbyte 보다 큰 raw partitions, 파일시스템의 제한보다 크게 )

Dictionary 로부터 데이터 직접 추출

Local managed Tablespaces 로부터 데이터 추출

Cluster 파일시스템 , 혹은 Cluster Row Device 로 구성된 OPS

혹은

RAC 의 테이블스페이스로부터 데이터 추출

Chained rows, ASM(10g) 지원

XML 형식으로 data 추출 가능 (Option)

External tables 을 위하여 생성스크립터 제공 (Option)

Page 12: Ghayoun Information & Communication, INC

Benchmark Test테스트 환경 (S 보험사 , 2008.08)

HPUX 11.x, 12Way, 12GB RAM, Oracle 10g

Partitioned Table : No sub-partition

< 테스트 결과 1>

(211Byte Row, 31,620,000 건 Unload)

- FastReader : 2 분 31 초

- C 사 제품 : 5 분 01 초

< 테스트 결과 2>

(206 Byte Row, 118,040,000 건 Unload)

- FastReader : 5 분 54 초

- C 사 제품 : 20 분 26 초

Page 13: Ghayoun Information & Communication, INC

Where Use FastReader 다양한 운영체제하에서 구동하는 서로 다른 데이터베이스로

신속한 데이터 이동이 필요한 경우

초대형 오라클 DB테이블에서 필요한 데이터만 고성능으로 추출하여 MS-SQL, Oracle, Sybase, DB2, MySQL 등으로 스키마 생성과 함께 데이터 전송

업무에 영향을 주지 않고 초대형 OLTP 테이블에서 필요한 데이터만

선별적으로 신속하게 Backup 을 받아야 하는 경우

필요할 때 언제든지 실무 테이블의 스냅샷을 신속하게 제공

테스트 환경을 구축하는 경우 실무 시스템에 영향을 주지 않고 필요한 대용량 데이터 및 파티션 데이터를 추출하여 구축하고자 하는 테스트 데이터베이스로 빠르고 편리하게 전송함으로써 손쉽게 테스트 환경 구축 가능

Page 14: Ghayoun Information & Communication, INC

Where Use FastReader 데이터베이스 사이의 데이터 이중화 프로세스를 시작하기 전 , 초기 데이터의 동기화가 필요한 경우

대형 실무 데이터베이스에 대해 데이터 이중화 솔루션 적용 전에 초기 데이터의 동기화가 필요하며 FastReader 를 활용하여 이기종 데이터베이스 사이의 데이터 동기화를 신속하게 수행할 수 있음

OLTP 데이터베이스로부터 필요한 데이터를 추출 /전송하여 소규모 Data Mart 를 구축하는 경우 실무시스템에 영향을 주지 않고 필요한 데이터만 선별적으로 추출하여 이 기종 혹은 동종의 데이터베이스를 사용하는 소규모 Data Mart 의 구축 가능

NAS (Network Attached Stroage) 등에 대형 테이블 백업을 생성하는 경우

초대형 테이블을 디스크 혹은 NAS/SAN/NFS 저장 장치로 신속하게 백업 받고자 하는 경우 (Portable Text 포맷 )

Page 15: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

FastReader 요약

항 목 지원 여부 비 고

Data file 직접 Access 지원  

Parallel Processing 지원

Column Function 지원  

Timestamp 기능 지원  

특정 파티션 , 서브파티션특정 컬럼의 데이터 추출 지원  

Compress 지원  

다양한 데이터 타입 지원binary, BLOB/CLOB, chained and migrated rows, fixed length rows 등

Multi-processor 와 Multi-thread

지원  

DB Lock 없이 데이터 추출 지원 옵션으로 처리 가능

지원 O.S HPUX, Solaris, Linux, Tru64, Windows, AIX 등

Page 16: Ghayoun Information & Communication, INC

Ghayoun Information & Communication, INC.

적 용 사 례

Page 17: Ghayoun Information & Communication, INC

LOGO

Ghayoun Information & Communication, INC.