기업은 방대한 양의 데이터를 통해 새로운 기회를 찾

을 수 있는 시점에 와 있습니다. 폭발적으로 증가하는

데이터와 고도화된 분석 기술이 만나면서 비즈니스의

새로운 기회를 찾을 수도 있고, 잠재된 위험을 찾아

대응할 수도 있습니다.

하지만 이러한 모든 데이터를 수집하고 분석하는 작업

은 비즈니스를 운영하는 기업에게는 새로운 과제입니

다.

얼마나 수집해야 하는지, 얼마나 빨리 분석해야 하는

지, 데이터 증가에는 어떻게 대비해야 하는지, 분석은

어떻게 하고 결과는 어떻게 활용해야 하는지 등을 기

업에서 고민해야 하는데, BigPodTM이 이런 고민들을 해

결할 수 있도록 도와드립니다.

BigPodTM은 기업이 빅데이터 기술을 쉽게 활용할 수 있

는 통합된 환경과 외산 대비 빠르고 편리한 기술 서비

스를 제공하며, 변하는 비즈니스의 요구사항에 따라

다양한 형태의 데이터를 쉽게 분석하고 실시간으로 모

니터링하는 비용 대비 높은 성능의 실시간 빅데이터

분석 플랫폼을 제공합니다.

아키텍처

Hadoop과 Hadoop 에코시스템 기반으로 데이터 처리

및 분석 성능에 최적화하여 설계 되었으며, 데이터 수

집/접근/처리/저장, 보안, 운영, 시각화, 통합 및 연동

기능을 제공합니다

• BigPod : 유실 없는 데이터 수집과 유연하게 확장할 수

있는 구조

• BigPod-I : 원시 데이터와 분석 데이터에 대한 시각화

• Savanna (Manager) : 분산 환경과 BigPod를 구성하는 여

러 컴포넌트들을 제어하고 관리하는 도구

BigPodTM Enterprise 실시간 처리에 강한 데이터 분석 플랫폼

이런 분들이 필요로 합니다:

• 비용 효율적이며 엔터프라이즈 수준의 상용

빅데이터 플랫폼이 필요한 고객

• 실시간 빅데이터 분석의 전과정을 하나의 제

품으로 경험하고자 하는 고객

• 정형 데이터 기반의 비즈니스 분석 솔루션을

사용하여 고속의 데이터 처리가 필요한 고객

• 외산 제품의 비용 부담으로 제품 결정이 어

려운 솔루션 구매 담당자

• 별도의 BI솔루션을 도입 없이 데이터를 분석

하고자 하는 데이터 분석 전문가

• 늘어나는 스토리지를 효율적으로 운영하고

싶은 IT 담당자

BigPodTM은 수집과 분석의 성능을 효율적으로 향상시

킬 수 있는 다양한 기술들을 차용한 플랫폼으로 효율

적인 비용으로 기업이 원하는 환경을 구축할 수 있습

니다

데이터플랫폼은 빅데이터 기술의 집합체이자 이를 활

용할 수 있도록 지원하는 통합 환경입니다. 폭발적인

용량 증가에도 유연하게 대응할 수 있어야 하고, 실시

간 분석 성능을 비즈니스 적시성을 확보 할 수 있을

만큼 향상 시켜야 합니다

쉬운 플랫폼 관리

최적의 기본 설정 값을 제공하고, 웹 화면에서 편리하게 서

비스를 구성하여 배포할 수 있습니다. 여러 서비스들의 로그

를 중앙에서 관리하여 운영자가 시스템의 이상 현상을 신속

하게 진단할 수 있습니다

• 웹에서 클릭만으로 클러스터와 서비스들을 구성하고 설

치된 서비스를 제어

• 모든 노드와 서비스의 로그를 중앙 관리

• 시스템의 오류를 알려줘서 문제가 생겼을 경우 신속하게

대응하도록 지원

• 전체 노드의 리소스 정보와 서비스 별 동작 상태, 서비스

구동 상태를 통합된 화면에서 확인

• 고객이 원하는 서비스를 사용할 수 있도록 외부 서비스

들의 통합 지원

• 쉽고 자유롭게 노드를 확장하고 축소

실시간 데이터 분석 환경

실시간 분석, 통계 분석, 상관 분석, 기계학습 기반의 분석,

검색 등 다양한 방법을 제공합니다. . 또한, 실시간 분석과

통계 분석을 동일한 방식으로 분석할 수 있습니다.

• 현재 수집되고 있는 스트림 데이터를 실시간으로 처리

• HDFS에 저장된 데이터 배치 분석 (통계데이터)

• 스트림 데이터와 통계 데이터의 연관 분석

• 분석 모듈간의 연관/선후 관계를 파악하는 상관 분석

• Spark MLlib을 활용한 기계학습 기반의 분석

• 단순 또는 복합 쿼리로 원본 로그 검색

고성능 아키텍처

실시간 수집, 실시간 통계 분석, 스트림 분석 등 데이터 처

리를 고객이 요구하는 최적의 시간 내에 처리할 수 있는 고

성능 아키텍처이며, 비즈니스 환경에 최적화 된 구성으로 제

공합니다. 비즈니스 환경에 최적화 된 구성과 고객의 실시간

요구사항을 만족할 수 있는 아키텍처로 설계되어, 어떤 구성

을 선택하든지 고성능의 실시간 분석을 경험할 수 있습니다.

• BigPod Single : 하나의 노드로 구성하여 최소 자원만 활

용한 실시간 분석 환경을 제공,

• BigPod Lite : 최소 노드(3대), 최적을 성능으로 초당 6만

이상의 로그를 수집하고 실시간으로 처리

• BigPod Enterprise : 데이터 수집량이 증가하는 시점에 맞

춰 성능과 용량을 증설할 수 있음.

직관적인 데이터 시각화

원본 데이터와 분석 데이터를 쉽게 조회할 수 있는 대시보

드 환경을 제공합니다.

웹 화면에서 쉽게 사용자가 원하는 대시보드를 만들고 편집

할 수 있습니다.

• 검색 데이터, 실시간 이벤트, 이벤트간 연관 관계, 통계

데이터에 대한 시각화 지원

• 시각화를 위한 다양한 형태의 차트나 그래프로 지원

• 데이터 드릴 다운 옵션 지원

• 대시보드 편집 기능

BigPod에서 지원하는 오픈소스 Hadoop 에코시스템

데이터 저장 Hadoop (HDFS, YARN),

NoSQL (HBase, Cassandra)

데이터 처리 Spark (Sparm Streaming, Spark MLLib)

데이터 검색 ElasticSearch

데이터 수집 Flume

메세징 Kafka

인증 및 보안 관

리 Kerberos, Ranger, Knox

작업 관리 Livy

코디네이터 ZooKeeper

관리 Savanna (Manager)

BigPod의 데이터 인터페이스

데이터 연동 RESTful API, RDB, File

데이터 조회 Cassandra CQL, SparkSQL,

Elasticsearch Search API

비즈니스 영속성

성능 확장 또는 용량 증설이 필요하면 언제든지 서버 또는

서비스 단위의 확장이 가능합니다. 클러스터링을 통한 고가

용 설정과 자동복구를 지원하고, 분산 코디네이터를 통해 시

스템 장애에 즉각적으로 대응합니다

• 장애 후 복구 시 데이터 뿐만 아니라, 시스템 설정 값 복

구 지원

• HDFS 데이터 암호화와 외부 접근 제어도 원시 데이터를

안전하게 보호

• 수집 서버는 Shared-nothing 구조를 지원하며 다른 서버

의 동작과 무관하게 확장 가능

• 노드를 추가 하여 저장 용량을 쉽게 확장

• 운영 중에 언제라도 노드를 확장할 수 있는 프로비저닝

기능 제공

• 네트워크가 허용하는 대역폭 내에서 노드 수와 처리 성

능은 선형적으로 증가

안전한 Hadoop 플랫폼

BigPod™은 두 가지 수준의 보안 기능을 제공합니다.

• 입/출력 보안 : BigPod™ 플랫폼으로 들어오는 데이터에

대한 SSL 암호화 기능과 BigPod™ 플랫폼의 데이터를 활

용하기 위한 RESTful API에 대한 Apache Knox를 활용한

서비스 인증을 통해서 안전하게 데이터를 수집하고 활용

할 수 있도록 기본 기능으로 제공합니다.

• 강화된 데이터 흐름 보안 : 입/출력 보안 이외에도 플랫

폼 내의 모든 데이터 흐름에 대해서 인증(Kerberos 기반),

권한 제어 및 관리, 사용 기록 제공 등의 엔터프라이즈

보안을 부가 기능으로 제공합니다.

기업 맞춤형 플랫폼

기업 비즈니스 요건에 충족할 수 있도록 기술 지원을 통한

고객 맞춤형 데이터 플랫폼을 제공합니다. 사내 환경에 특화

된 데이터 플랫폼을 찾으신다면 언제든지 S-Core의 BigPod

팀에 문의해주시기 바랍니다. 기업에서 필요로 하는 데이터

회사 주소, 홈페이지 주소, 주요 연락처….

플랫폼을 빠르게 확보 할 수 있도록 도와드립니다.

에스코어의 Hadoop/Hadoop Platform 역량

에스코어는 2011년부터 빅데이터와 관련된 다양한 연구/상

업 프로젝트를 수행해 왔습니다. Storm을 활용한 실시간 데

이터 처리, Hadoop의 MapReduce 기반의 배치 분석, 그리고

Spark를 활용한 In-memory 기반의 고성능 고급 데이터 분

석 모두 에스코어가 고객의 가치 창출을 목표로 수행할 수

있는 일입니다.

30명 이상의 Hadoop과 관련 Open Source 전문가를 보유한

에스코어의 Hadoop 개발/운용 역량은 그룹웨어와 같은

Database 기반의 기업 솔루션을 Hadoop 환경으로 성공적으

로 전환해 낸 사례가 보여주듯 저비용의 안정적인 솔루션

개발에 도움을 줄 수 있습니다.

전통적인 BI(Business Intelligence)를 '애널리틱스 1.0',

분석 대상을 빅데이터로 확장한 것이 '애널리틱스 2.0'입니다.

"하버드 비즈니스 리뷰"는 여기에 실시간을 더해 '애널리틱스 3.0’이라고 말하고 있습니다.

산업 환경과 비즈니스 요구사항이 급속히 변하고 데이터가 실시간으로 움직이고 있으며,

이런 실시간 데이터까지 포함해 더 빠르고,더 광범위하게 분석할 수 있는 시대가 온 것입니다.

경쟁사보다 1초라도 더 빨리 분석 하는 것이 경쟁력인 만큼,

실시간 데이터 분석 플랫폼의 확보는 선택이 아닌 필수인 시점입니다.