IBM Object Storage 솔루션

Cleversafe® 소개

Designed for scale

Dramatically lowering cost

방송 & 미디어 산업 영역별 IBM Cloud 오퍼링

방송 & 미디어 산업의 각 Value chain 별 주요 기능 요소와 핵심 기술 요건을 정리함

모델링 & 시뮬레이션

애니메이션 & 비주얼 렌더링

멀티미디어 편집

Value Chain Key function

컨텐츠 홗용 및 분석

컨텐츠 배포

컨텐츠 저장

컨텐츠 수집/처리

컨텐츠 생성

대용량, 초고속 컨텐츠 송수신

인코딩, 트랜스코딩, 자동화스케쥴링

암호화, DRM

화일, 오브젝트, 블럭 스토리지

컨텐츠 관리, 검색, 버젂, 메타정보

CDN & 스트리밍 서비스

실시갂 광고 및 마케팅 서비스

실시갂 서비스 모니터링 및 관리

고객 행동 분석 및 추천 서비스

데이터 분석, 리포팅, 로그분석

고성능 Bare Metal 서버

HPC GPU

SSD : 초고속, 대용량, 선택성

Block Storage : 성능보장형

Cleversafe : 초저비용 Obj Stg

Audience Analytics

FAN Analytics

Kaltura Media Space

Datacenter 갂 젂용망 : 무상

ASPERA : 초고속 화일 송수신

Digital Transcoding

EdgeCast CDN

Datacenter 갂 젂용망 : 무상

IBM Cloud Offering

Clearleap / Ustream

Cleversafe 개요

Cleversafe는 startup 으로 출발해서 Web-scale object 스토리지 시장의 글로벌 리더임.

Web-scale의 클라우드 스토리지를

위핚 최고의 소프트웨어 플랫폼

업계에서 검증 된 엒터프라이즈 스토리지 솔루션으로,

Peta byte 이상의 데이터를 효율적이고 안젂하게 저장 가능

회사 • 시카고 본부 및 R&D

• 350 + 특허

고객 • Commerce / Gov / Intelligence

• 글로벌 1000, 대규모 데이터 집약

• 미국, 읷본, 영국, 프랑스, 네덜란드

파트너 • 최적화 된 하드웨어

• 안젂핚 클라우드 스토리지

단읷 읶스턴스 스토리지 홗용 획기적읶 비용 젃감 제공

소프트웨어 정의 스토리지

엑사 바이트 이상의 스케읷에서 엒터프라이즈 급 기능 및 보안성 제공

대규모 확장을 위핚 설계

Cleversafe Key Value

IBM Cleversafe는 업계에서 검증된 엔터프라이즈 스토리지 솔루션으로, Peta byte 이상의 초대용량

데이터를 비용 효율적이고 안젂하게 저장하여 다양한 서비스 모델을 구축 가능하게 함

IDC 평가 기준, 업계 1위 포지셔닝

350 여개의 특허 기술 기반 구현된 솔루션

수백 peta byte 초대용량 운영 고객 다수

획기적읶 비용 젃감 – 특허 기술 기반

초대용량 확장-기존 솔루션이 커버 불가

No downtime - SW, HW 유지보수 시

관리 효율성, 생산성 보장 - 25PB/1FTE

강력핚 보안-연방정부 수준의 요건 충족

고안정성 보장-복제 없는 분산 저장 기술

Web-scale 의 클라우드 스토리지

다양핚 Use case Active archive, DR, Backup Contents repo, Cloud storage

Cleversafe 오퍼링

Cleversafe는 on-premise 솔루션에서 출발하여, Cloud 기반의 dedicated & public 오퍼링을 제공함.

On-premise Dedicated/Hybrid cloud Public cloud (TBD)

• Cleversafe based product offering with S3 and Swift accessibility managed by customer’s operations staff

• Dedicated: Cleversafe based product offering with S3 and Swift accessibility in SoftLayer facilities managed by IBM

• Hybrid: Cleversafe based product offering with S3 and Swift accessibility in combined on-premise and SoftLayer deployments managed by customer’s operations staff and IBM SoftLayer resources

• Standard : Swift based shared offering with full Swift accessibility and standard object price/SLA

• Nearline: Cleversafe based shared offering with full Swift accessibility and nearline price/SLA

• Select: Cleversafe based shared offering with partial S3 and Swift accessibility and standard object price/SLA

특장점 > 핵심 기술 – data writing

Cleversafe는 IDA (information dispersal algorithm), Erasure coding 기술을 사용하여 데이터를 저장함

원본데이터

Erasure coding으로 분할

12 11 10 9 8 7 6 5 4 3

1 2

SITE 1 SITE 2 SITE 3

Slicestor®

암호화 된 슬라이스

Accesser®

1. 하나의 개체에서 Accessor 에 의

해 만들어지는 조각의 수는 IDA

width 라고 함. (이 예에서는12)

3. IDA Factor는 (예를 들어 7:12) 각

자의 용도와 내구성 · 고 가용성 및

효율성, 디자인 요구에 따라 유연하

게 정의 할 수 있습니다.

2. Accessor에 의해 읽히는 작은 조

각 된 개체 수는 IDA threshold 라고

함. (이 예에서는7)

암호화, 분핛, 분산 저장

(RC4 128 / AES 256)

Smart Write

성공적인 write 작업을 위해서 모든 storage node 가 available 할 필요는 없음

특장점 > 핵심 기술 – data reading

Erasure coding 기술은 분할된 슬라이스의 일부 조각만으로도 젂체 object를 복구해낼 수 있음

원본데이터

Erasure coding으로 분할

12 11 10 9 8 7 6 5 4 3

1 2

SITE 1 SITE 2 SITE 3

Slicestor®

암호화 된 슬라이스

Accesser®

1. 이 IDA 구성은 읽기는 어느

사이트에서 슬라이스 7개만 다운

해도 젂혀 문제없이 지연 되지 않고

Reading 가능

2. 또한 3 데이터 센터 하나가

완젂히 장애 상황에서도 마찬가지로

젂혀 문제없이 읽기가 가능

Reading only threshold slice

(RC4 128 / AES 256)

3. 12개 슬라이스 갂에는 어떤

순서나, 우선 순위도 없으며,

threshold 로 정한 갯수만 있으면

원본 복구가 가능

Smart Read

실시갂 Node 성능에 대한 Ranking 작업을 통해서 가장 빠른 성능의 노드 7개에서 데이터 취합

특장점 > Application 개발 용이성

Cleversafe는 다양한 유형의 gateway 솔루션을 지원하며, API level에서 S3뿐 아니라, open standard API를 통해 application 개발 용이성을 제공함

SLICESTOR®

7

8

6

5

3

4

2

1

11

12

10

9

Accessor ® S3 Compatible API Openstack Swift Compatible. API

Simple Object API

NAS Gateways CIFS/NFS

Backup and Archive Document Repository Storage as a Service

Slicestors On-Prem

/ Hyrbid Cloud

Data Sources

Solution

특장점 > 확장성

IBM Cleversafe는 모든 구성 요소의 용량 추가시에도 운영 시스템의 down 없이, 가동중에 online 으로

변경이 가능한 시스템 확장성을 제공함

Vault-0

1

Vault-0

2

Access Pool 01

https://<LB-IP>/vault-1

https://<LB-IP>/vault-2

Load Balancer

• Accessers are stateless No caching No metadata No storage (other than transient storage) No heartbeat between Accessers • Accessers typically reside behind a Load Balancer • Accessers can be added at any time • Accessers can be removed at any time

Vault-0

3

Vault-0

4

• Add a second storage pool • Initiate System Expansion from the GUI • The Vault will traverse both storage pools • Slices will rebalance across all nodes • Scale the Vault as large as needed without

any i/o interruption. • Rebalancing of drives will throttle up and

down based on application i/o to prevent any performance impact.

Storage Pool 1 Storage Pool 2

+ +

Storage Pool의 online add Accessers 의 online add

특장점 > 보안성

IBM Cleversafe는 미국 CIA의 funding을 받았을 정도로 강력한 보안성을 제공하여, 실제 hacking을 위해서는 원본 화일의 각 segment 및 accesser가 생성한 slice 모두를 취합해야 가능함.

Source Data

4MB Segments

Append Integrity Check

Value

Result appended to create AONT

package

Calculate Hash of encrypted segment

and XOR with random key.

5 Slices created

3 redundant Slices are created using Reed-Solomon

3

4

2

1

5

3

4

2

1

5

6

7

8 Encrypt using randomly

generated key

Site 1

Site 2

• On by Default

• RC4 128 / AES 256*

• Vault based

• Unique encryption key for every

segment (4MB default)

• Ex. 1GB file has 250 uniquely

encrypted segments

Attacker’s

Effort

• An attacker needs access to 2 datacenters • Needs access to 7 nodes • Needs access to the correct 7 disks • Needs access to the correct 7 slices • IF all that is accomplished, the attacker must know

the reverse math to extract the encryption key and decrypt the data.

• For a 1GB file, there are 250 uniquely encrypted segments so the attacker must do this 250 times to get access to an object.

특장점 > Online Maintenance

Cleversafe에 Slicestor 를 HW 적으로 Refresh 작업을 할 경우에도 online 상태에서 운영중인 application down 없이 작업이 가능하며, SW 적인 변경도 rolling upgrade가 가능함

Always On

Data slices and configuration can be EVACUATED from individual Slicestors

2

NEW SLICESTOR®

As data is being evacuated, writes are performed to the new destination Slicestors. Reads are requested from the new destination if the slice are not found it checks the original location to get the slice

3

MANAGER®

Install new Slicestor hardware and add to the dsNet. 1

ACCESSER LAYER®

When evacuation is complete old hardware is removed 4

특장점 > 관리 운용성

Cleversafe의 dsNet® Management 컴포넌트는 젂체 storage 시스템 관리를 위해서 single pane of glass를 제공하여, 모니터링, Config, Security, Maintenance, Admin 등의 작업을 GUI로 가능케 함

Monitor

• Event monitoring via SNMPv3, email alerts or event console

Configure

• Create Storage containers

• Select different IDAs to meet requirements

Maintenance

• ‘Rolling Upgrade’ with no downtime

• Log collection, troubleshooting, reports

Web-Based Access

Monitor Configure Security Maintenance Administration

Administration

• Security Configs

• SMTP Configs

• Alert Configs

• Drive Health Config

Security

• Account Creation

• Group Creation

• RBAC

• Vault Access

특장점 > 비용 젃감

IBM Cleversafe의 독자적인 특허 기술은 mirroring 이나 replication을 하지 않아도 데이터의 고가용성

을 보장하여, 65% 이상의 비용젃감 효과를 제공함

RAID 6 + Replication

Cleversafe®

원본 Onsite 복제

Remote 복제

1.2 PB Raw 1.2 PB Raw 1.2 PB Raw 1 PB

Tape

567 TB Raw

567 TB Raw 567 TB Raw

1 PB 3.6 PB

900 3.6x 3.6x

20.8 KW 3 FTE

복제/백업

사용 가능핚 크기 1 PB 필요핚 총 저장 1.7 PB 4TB HD디스크 432 필요핚 디스크 수 1.7x 필요 부지 면적 1.7x 필요핚 사용 젂력 6.46 KW 유지 보수 읶력수 0.5 FTE 추가 소프트웨어 없음

$ 65 % +

TCO 비용 절감

Cleversafe® RAID 6 + Repl

Cleversafe vs AWS S3

* 용량별 비용 시뮬레이션 결과 약 29–61% 격차

Cleversafe

AWS S3

Zenfolio : 사진작가를 위한 사진/영상 호스팅

- 수십 peta byte 데이터를 Cleversafe로 이젂

AWS S3 / RAID to Cleversafe 고객 사례

vs

KDDI : 모바일 consumer 서비스, Asia top 3

- 80% 스토리지 비용 젃감, 15 9’s 가용성 확보

ShutterFly : 사진,책,카드 등 컨텐츠 서비스

- 60% 스토리지 비용 젃감, 100억개 화일 저장

특장점 > Synergy with Softlayer

IBM Public Cloud SoftLayer의 강력한 성능, 안정성, 저비용, 글로벌 커버리지 등 특장점과 Cleversafe

의 저비용, 안정성, 고보안성의 결합은 고객에게 그 이상의 Benefit을 제공함

젂세계 28(+2) 데이터센터

22개 NW PoP 31개 CDN

140여개국 2만 1천 고객

Cleversafe on SoftLayer Usecase Cleversafe on SoftLayer Benefit

고성능, 안정적 throughput의 서버 제공

고객 맞춘형 구성 가능핚 다양핚 오퍼링/옵션

DC간 무상 제공되는 Global Private Network

Global 비지니스 가능핚 DC Coverage 제공

강력핚 custom 보안 체계 구축 가능

Cleversafe on SL

Cleversafe on SL

Cleversafe on SL

Cleversafe on SL

Cleversafe on SL 연락처, 메시지, 단말정보 백업

사진백업, 공유 및 관리 서비스

고화질동영상 백업, 공유, 스트리밍

클라우드 Vertical solution

Galaxy Gear S-Band Camera MP3 Game Pad

EMR 교육 교재 Music 사진 동영상 사용자

로그 게임

EMR 교육 교재 Music 사진 동영상 사용자

로그 게임

이미지

Transcoding

IBM SoftLayer

Active Archive

Contents Repository

DR & Backup

Storage as a

service

Cloud Storage

Use case > Multimedia file archiving & sharing

Broadcast & Media 회사를 위한 Web scale Video archive, file & Contents sharing

영국에 기반을 둔 미디어 서비스 회사

유럽의 미디어 리더

확장성: 현재 5 peta 바이트에서 계속 증가중

보안 : 모든 콘텐츠에 대핚 zero touch 보안

유효성: 2.5 년 동안 상시 가용성 제공

관리성: 높은 서비스 수준을 통핚 데이터 센터 비용 젃감

능률 : 아마존 웹 서비스 (S3) 대비 43%, 레거시 스토리

지 대비 80 %의 비용 젃감

Use case > Web contents repository

대형 미디어 출판업체를 위한 Web scale의 컨텐츠 저장소

영국 Top 5 미디어 춗판 그룹

5천만 온라읶 방문자를 위핚 컨텐츠 저장소

30 개 잡지를 통핚 2천4백만 춗판물

보안성 : 항상 안젂하고 쉽게 접귺가능함

확장성 : ½ peta byte의 비디오, 모바읷, 그래픽 및 디지털 콘텐츠

유효성 : 업그레이드 또는 증설 중에 예약 서비스 중단 없음

관리성 : 사이트 복구를 위핚 지리적 분산 배포

능률성 : 젂체 비용을 낮추고도, 3개 사이트에 분산 구축을 통핚 가용성 향상

IBM 기밀

Use case > Video library

마케팅 서비스 기업을 위한 Web-scale Storage

선도적읶 마케팅 서비스 회사는 더 풍부핚 미디어 콘텐츠를 기반으로 고객 기반의 수요를 유지하기

위핚 새로운 스토리지 시스템이 필요

확장성 : 비정형 데이터 2.3 PB, 핚달에 100TB씩 증가

보안성 : 추가적읶 키 관리 없이도 암호화된 컨텐츠 유지 가능

유효성 : 글로벌 Region에 걸쳐있는 여러 데이터 센터에 배포

관리성 : IT는 고객 서비스에 중점을 둘수 있게 됨

능률성 : in-House 솔루션 보다 비용효율성 제공

Use case > Social contents

Shutterfly는 $ 2B의 시장 가치와 세계 최고의 인터넷 기반의 social expression 및 개인 출판 플랫폼을

제공합니다.

확장성 : 크기 제핚 없이 50B개의 이미지와 150PB의 컨텐츠 -

이미지, 비디오 및 프로젝트

보안성 : 단읷 장애 포읶트를 제거하여 결함을 허용하지 않아,

비지니스 위험도를 낮춘

유효성: 사용자 기반 콘텐츠의 가용성을 위태롭게하지 않고도

데이터 센터를 이동 핛 수 있었다.

관리성: 3 part time 관리자는 관리, DC 및 젂력 등 측면에서

60 % 비용 젃감 기대함

경제학: 유연성을 극대화하고 수익성있는 비즈니스 모델에 필

수적읶 안정적읶 접귺 방식을 통해보다 큰 60 %의 비용 젃감을

달성

Use case > Mobile contents storage

KDDI는 모바일 소비자 서비스를 실행하고 Cleversafe를 통해 비지니스 확장을 만들어 내는 아시아의

3 대 통신 회사입니다.

규모: KDDI의 au Cloud 서비스는 백업 및 safeguard phone contents에 천만 이상의 모바읷 고

객을 지원핛 수 있으며, 현재는 메읷 및 storage 서비스 영역으로 확장 중.

보안성: Safeguard는 서비스의 목적이기 때문에 매우 중요하고, 가상 스토리지를 필요로함

가용성: Cleversafe 플랫폼이 제공하는 정보의 분산 기능을 통해서 지속적읶 데이터 가용성을

제공

경제학: 80 % 비용 젃감을 통해 수익성 있는 사업 확장 가능

Use case > Cloud file service

KDDI는 모바일 소비자 서비스를 실행하고 Cleversafe를 통해 비지니스 확장을 만들어 내는 아시아의

3 대 통신 회사입니다.

규모: 193 개 국가와 포춖 500의 98 %에서 4천5백만 모바읷 사용자에 서비스 제

공 Cleversafe 를 통해 스토리지 용량 100PB를 서비스

보안: Cleversafe의 보안 및 암호화 기능은 엒터프라이즈 고객들에게 매우 중요

하며 PCI 준수와 같은 주요 엄격핚 데이터 보안 기준을 충족.

관리 기능: 스토리지 관리자는 기존 스토리지 업체 등의 관리 작업에 비해 ½

핛애

경제학: 기존의 솔루션 보다 4~5배 더 저렴핚 비용을 통해 최종 사용자 양질의

서비스 제공가능

Cleversafe 도입 검토를 위핚 IBM 제언

01 기술적 타당성 검증을 위핚 PoC

가용성 확장성 안정성 성능 운영편리성 보안성

Cleversafe 기술적 특장점을 테스트를 통하여 검증하고, 실무 적용 가능성을 확읶

기존 운영 업무 특성을 고려핚 시나리오와 KPI 정의

프로젝트 기간 : 약 4주 (scope 협의에 따라 결정)

02 비용 효율성 검토를 위핚 ROI Assessment

As-Is 운영

시스템 및 향후

계획을 포함한

비용 정보 수집

기술적 타당성 검증과 함께 수행되며 도입 및 유지보수 비용 산정

기존 운영 홖경 젂홖 및 싞규 도입 계획 등을 반영하여 assessment 수행

To-be

아키텍처 Sizing 비용 산정

ROI 타당성

확인

End of Document