Upload
edward-kim
View
1.489
Download
2
Embed Size (px)
DESCRIPTION
오픈소스 Big Data Platform 및 회사 소개자료입니다.
Citation preview
회사����������� ������������������ 및����������� ������������������ 제품����������� ������������������ 소개서����������� ������������������
(주)클라우다인����������� ������������������
2014.04.10����������� ������������������ v2.0����������� ������������������
1
회사����������� ������������������ 소개����������� ������������������
2011년����������� ������������������ 3월����������� ������������������ 16일����������� ������������������ 설립연월일����������� ������������������
김병곤����������� ������������������ ([email protected])����������� ������������������ 대표이사����������� ������������������
서울시����������� ������������������ 강남구����������� ������������������ 역삼동����������� ������������������ 720-12����������� ������������������ 아남타워����������� ������������������ 1208호����������� ������������������ 회사주소����������� ������������������
www.opencloudengine.org����������� ������������������ (영업:����������� ������������������ [email protected])����������� ������������������ 홈페이지����������� ������������������
• Big����������� ������������������ Data����������� ������������������ Platform����������� ������������������ 솔루션����������� ������������������ 개발����������� ������������������ 및����������� ������������������ 기술����������� ������������������ 지원����������� ������������������ • Big����������� ������������������ Data����������� ������������������ Platform����������� ������������������ 구축����������� ������������������ 및����������� ������������������ 운영����������� ������������������ • Big����������� ������������������ Data����������� ������������������ 기반����������� ������������������ 분석����������� ������������������ 시스템����������� ������������������ 아키텍팅����������� ������������������ 및����������� ������������������ 설계����������� ������������������ • 자바����������� ������������������ 애플리케이션����������� ������������������ 성능����������� ������������������ 튜닝����������� ������������������ 및����������� ������������������ 프로파일링����������� ������������������ • 오픈소스����������� ������������������ 기술����������� ������������������ 지원����������� ������������������ 및����������� ������������������ 운영����������� ������������������ • 클라우드����������� ������������������ 서비스(SaaS,����������� ������������������ PaaS)����������� ������������������ • 교육����������� ������������������ 서비스����������� ������������������
사업영역����������� ������������������
(주)클라우다인����������� ������������������ 회사명����������� ������������������
2
㈜클라우다인의����������� ������������������ Big����������� ������������������ Data����������� ������������������ Platform����������� ������������������ View����������� ������������������
Browser
디자이너 Search
형태소����������� ������������������
분석����������� ������������������
그래프����������� ������������������ 분석����������� ������������������
사용자별����������� ������������������ 평가����������� ������������������
리더����������� ������������������ 선출����������� ������������������
로그����������� ������������������ 데이터����������� ������������������
데이터����������� ������������������ 분석가����������� ������������������
데이터����������� ������������������ 분석가����������� ������������������
Browser
인포메이션 카탈로그 Search
인포메이션 유형 보안등급 생성주기 형식
사용자 친밀도 1 매일 새벽2시 XML
아이템 추천 2 매일 새벽 1시 JSON
구매 성향 3 매일 저녁 8시 XML/JSON
오피니언 리더 점수 2 매일 오전 10시
XML/JSON
데이터����������� ������������������ 이용자����������� ������������������
시스템����������� ������������������
오피니언����������� ������������������ 리더����������� ������������������ 점수����������� ������������������
Open����������� ������������������
API����������� ������������������
데이터����������� ������������������ 시각화를����������� ������������������ 위한����������� ������������������ Chart����������� ������������������
워크플로우����������� ������������������ 디자인����������� ������������������
수집����������� ������������������ ����������� ������������������
데이터����������� ������������������ 이용자����������� ������������������
서비스����������� ������������������ ����������� ������������������
요청����������� ������������������
모바일����������� ������������������
분석����������� ������������������ 결과를����������� ������������������ 재사용����������� ������������������ 분석����������� ������������������ 결과를����������� ������������������ 외부에����������� ������������������ 제공하기����������� ������������������
위해����������� ������������������ Open����������� ������������������ API����������� ������������������ 로����������� ������������������ 노출����������� ������������������
분석����������� ������������������ 결과����������� ������������������
검증����������� ������������������ 로그����������� ������������������ 데이터����������� ������������������ MapReduce����������� ������������������ 분석����������� ������������������ 모듈����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 분석����������� ������������������ 및����������� ������������������ 서비스����������� ������������������ 플랫폼����������� ������������������
1����������� ������������������
2����������� ������������������
3����������� ������������������
4����������� ������������������
5����������� ������������������
6����������� ������������������
7����������� ������������������
3
확장성����������� ������������������
1����������� ������������������ § ����������� ������������������ Flamingo는����������� ������������������ 아주����������� ������������������ 단순한����������� ������������������ 확장����������� ������������������ 모델을����������� ������������������ 가지고����������� ������������������ 있어서����������� ������������������ 유지보수����������� ������������������ 및����������� ������������������ 기능����������� ������������������ 추가가����������� ������������������ 매우����������� ������������������ 쉽습니다.����������� ������������������ § ����������� ������������������ 기존에����������� ������������������ 사용하던����������� ������������������ MapReduce����������� ������������������ 분석����������� ������������������ 프로그램을����������� ������������������ 그대로����������� ������������������ 사용할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������ § ����������� ������������������ UI의����������� ������������������ 모듈은����������� ������������������ JSON과����������� ������������������ JavaScript를����������� ������������������ 이용하여����������� ������������������ 최소의����������� ������������������ 노력을����������� ������������������ 추가할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������ § ����������� ������������������ 화면을����������� ������������������ 구성하는����������� ������������������ 단위����������� ������������������ 기능은����������� ������������������ 별도의����������� ������������������ 독립����������� ������������������ 페이지로����������� ������������������ 구성되어����������� ������������������ 기능����������� ������������������ 추가가����������� ������������������ 가능합니다.����������� ������������������
검증된����������� ������������������ 코드����������� ������������������
와����������� ������������������ ����������� ������������������
국내����������� ������������������ 최고����������� ������������������ 오픈소스����������� ������������������
2����������� ������������������ § ����������� ������������������ 한국에서����������� ������������������ 만든����������� ������������������ 빅데이터����������� ������������������ 분야����������� ������������������ 최고의����������� ������������������ 오픈소스입니다(영문버전����������� ������������������ 지원).����������� ������������������ § ����������� ������������������ Flamingo는����������� ������������������ 글로벌����������� ������������������ 제조사의����������� ������������������ 빅����������� ������������������ 데이터����������� ������������������ 플랫폼으로����������� ������������������ 선택받았습니다.����������� ������������������ § ����������� ������������������ Amazon����������� ������������������ EMR,����������� ������������������ Amazon����������� ������������������ S3����������� ������������������ 환경에서����������� ������������������ 전세계����������� ������������������ 7개����������� ������������������ 데이터����������� ������������������ 센터의����������� ������������������ 분산����������� ������������������ 구성을����������� ������������������ 검증받았습니다.����������� ������������������ § ����������� ������������������ 20����������� ������������������ Peta����������� ������������������ Bytes,����������� ������������������ 300명이����������� ������������������ 사용하는����������� ������������������ 환경에서����������� ������������������ 검증받았습니다.����������� ������������������ § ����������� ������������������ 블랙덕으로����������� ������������������ 라이센스����������� ������������������ 검증을����������� ������������������ 받았습니다.����������� ������������������
사용성����������� ������������������
3����������� ������������������ § ����������� ������������������ Flamingo는����������� ������������������ 웹����������� ������������������ 브라우저를����������� ������������������ 기반으로����������� ������������������ 동작하여����������� ������������������ 별도����������� ������������������ 클라이언트가����������� ������������������ 필요하지����������� ������������������ 않습니다.����������� ������������������ § ����������� ������������������ Flamingo는����������� ������������������ 이미����������� ������������������ 사용가능한����������� ������������������ MapReduce����������� ������������������ 기반����������� ������������������ 알고리즘����������� ������������������ 및����������� ������������������ 데이터����������� ������������������ 처리����������� ������������������ 모듈을����������� ������������������ 제공합니다.����������� ������������������ (비정형����������� ������������������ 분석,����������� ������������������ 다양한����������� ������������������ 통계,����������� ������������������ 추천,����������� ������������������ 클러스터링,����������� ������������������ 웹����������� ������������������ 서버����������� ������������������ 로그����������� ������������������ 추출����������� ������������������ 등등)����������� ������������������
§ ����������� ������������������ Flamingo는����������� ������������������ 상용����������� ������������������ 도구와����������� ������������������ 유사한����������� ������������������ 인터페이스를����������� ������������������ 가지고����������� ������������������ 있어서����������� ������������������ 기존����������� ������������������ 고객을����������� ������������������ 흡수하는데����������� ������������������ 용이한����������� ������������������ 환경을����������� ������������������ 제공합니다.����������� ������������������
커스터마이징����������� ������������������
4����������� ������������������
§ ����������� ������������������ 커스터마이징이����������� ������������������ 가능하도록����������� ������������������ 내부����������� ������������������ 리소스를����������� ������������������ 구현하고����������� ������������������ 있습니다.����������� ������������������ 로고,����������� ������������������ 스타일����������� ������������������ 등을����������� ������������������ 손쉽게����������� ������������������ 교체할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������ § ����������� ������������������ 핵심����������� ������������������ 엔진����������� ������������������ 및����������� ������������������ 디자이너는����������� ������������������ 유지보수를����������� ������������������ 고려하여����������� ������������������ 설계하여����������� ������������������ 쉽게����������� ������������������ 추가할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������ § ����������� ������������������ UI����������� ������������������ 자체����������� ������������������ 모듈은����������� ������������������ 별도����������� ������������������ 개발하여����������� ������������������ ����������� ������������������ 고객의����������� ������������������ 원하는����������� ������������������ 기능을����������� ������������������ 추가할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������
개발비용����������� ������������������ 절감����������� ������������������
5����������� ������������������ § ����������� ������������������ Flamingo와����������� ������������������ 동일한����������� ������������������ 기능을����������� ������������������ 제공하는����������� ������������������ 것을����������� ������������������ 개발하는����������� ������������������ 경우����������� ������������������ 구매����������� ������������������ 비용보다����������� ������������������ 더����������� ������������������ 많은����������� ������������������ 비용을����������� ������������������ 지출해야����������� ������������������ 합니다.����������� ������������������ § ����������� ������������������ Flamingo를����������� ������������������ 사용하는����������� ������������������ 경우����������� ������������������ 고객은����������� ������������������ 환경����������� ������������������ 구성����������� ������������������ 및����������� ������������������ 인프라의����������� ������������������ 복잡도로����������� ������������������ 인한����������� ������������������ 개발����������� ������������������ 생산성����������� ������������������ 저하를����������� ������������������ 방지하고����������� ������������������ 이로����������� ������������������ 인한����������� ������������������ 비용����������� ������������������ 지출을����������� ������������������ 줄일����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������
§ ����������� ������������������ Flamingo를����������� ������������������ 통해����������� ������������������ 고객사에게����������� ������������������ 모든����������� ������������������ 기술을����������� ������������������ 전수합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ 의����������� ������������������ 강점����������� ������������������
4
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Architecture����������� ������������������
5
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Workbench����������� ������������������
Flamingo는����������� ������������������ 웹����������� ������������������ 브라우저에서����������� ������������������ 빅����������� ������������������ 데이터����������� ������������������ 인프라의����������� ������������������ 접근성����������� ������������������ 및����������� ������������������ 데이터����������� ������������������ 분석����������� ������������������ 업무의����������� ������������������ 생산성을����������� ������������������ 최대화����������� ������������������ 하기����������� ������������������ 위한����������� ������������������ 가상����������� ������������������ 데스크탑����������� ������������������ 환경을����������� ������������������ 제공하며����������� ������������������ 이를����������� ������������������ 통해����������� ������������������ 빅����������� ������������������ 데이터의����������� ������������������ 인프라����������� ������������������ 사용을����������� ������������������ 극대화합니다.����������� ������������������
6
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ 워크플로우����������� ������������������ 디자이너����������� ������������������
Flamingo는����������� ������������������ 워크플로우����������� ������������������ 디자이너를����������� ������������������ 제공하여����������� ������������������ 하나����������� ������������������ 이상의����������� ������������������ 모듈을����������� ������������������ 연계하여����������� ������������������ 데이터����������� ������������������ 분석����������� ������������������ 및����������� ������������������ 처리����������� ������������������ 워크플로우를����������� ������������������ 구성할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������ ����������� ������������������
전통적인����������� ������������������ 분석����������� ������������������ 도구의����������� ������������������ UI와����������� ������������������ Apache����������� ������������������ Hadoop을����������� ������������������ 결합하여����������� ������������������ 데이터����������� ������������������ 분석����������� ������������������ 및����������� ������������������ 처리����������� ������������������ 플로우를����������� ������������������ 구성����������� ������������������
각����������� ������������������ 모듈별����������� ������������������ 설정����������� ������������������
워크플로우����������� ������������������ 목록����������� ������������������
데이터����������� ������������������ 분석/처리����������� ������������������ 모듈����������� ������������������ (누구나����������� ������������������ 추가����������� ������������������ 가능)����������� ������������������
7
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ 워크플로우����������� ������������������ 디자이너����������� ������������������
Flamingo는����������� ������������������ 워크플로우����������� ������������������ 디자이너를����������� ������������������ 제공하여����������� ������������������ 하나����������� ������������������ 이상의����������� ������������������ 모듈을����������� ������������������ 연계하여����������� ������������������ 데이터����������� ������������������ 분석����������� ������������������ 및����������� ������������������ 처리����������� ������������������ 워크플로우를����������� ������������������ 구성할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������ ����������� ������������������
8
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ 워크플로우����������� ������������������ 디자이너����������� ������������������ >����������� ������������������ 기본����������� ������������������ 제공����������� ������������������ 알고리즘����������� ������������������
Flamingo는����������� ������������������ 워크플로우����������� ������������������ 디자이너는����������� ������������������ 기본으로����������� ������������������ 사용가능한����������� ������������������ 다양한����������� ������������������ MapReduce로����������� ������������������ 구현한����������� ������������������ 알고리즘을����������� ������������������ 제공합니다.����������� ������������������
9
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hadoop����������� ������������������ Job����������� ������������������ Tracker����������� ������������������ Monitoring����������� ������������������
Hadoop����������� ������������������ Job����������� ������������������ Tracker����������� ������������������ 모니터링은����������� ������������������ Hadoop����������� ������������������ Cluster를����������� ������������������ 관리하는����������� ������������������ 관리자에게����������� ������������������ 매우����������� ������������������ 중요하므로����������� ������������������ Flamingo에서는����������� ������������������ 가장����������� ������������������ 중요한����������� ������������������ 정보를����������� ������������������ 중점적으로����������� ������������������ 모니터링합니다.����������� ������������������
Job����������� ������������������ Tracker의����������� ������������������ 중요����������� ������������������ 정보����������� ������������������ 모니터링����������� ������������������
10
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ File����������� ������������������ System/Namenode����������� ������������������ Monitoring����������� ������������������
Apache����������� ������������������ Hadoop����������� ������������������ Cluster를����������� ������������������ 관리의����������� ������������������ 핵심중����������� ������������������ 하나가����������� ������������������ 바로����������� ������������������ 파일����������� ������������������ 시스템입니다.����������� ������������������ 전체����������� ������������������ 용량����������� ������������������ 및����������� ������������������ 데이터����������� ������������������ 노드의����������� ������������������ 동작����������� ������������������ 상태를����������� ������������������ 모니터링할����������� ������������������ 수����������� ������������������ 있도록����������� ������������������ 합니다.����������� ������������������
파일����������� ������������������ 시스템����������� ������������������ 및����������� ������������������ Namenode����������� ������������������ 모니터링����������� ������������������
11
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hadoop����������� ������������������ Job����������� ������������������ Monitoring����������� ������������������
Flamingo는����������� ������������������ ����������� ������������������ Apache����������� ������������������ Hadoop����������� ������������������ Job����������� ������������������ Tracker에서����������� ������������������ 제공하는����������� ������������������ Hadoop����������� ������������������ Job����������� ������������������ 모니터링을����������� ������������������ 하둡����������� ������������������ 배포판의����������� ������������������ 수정����������� ������������������ 없이,����������� ������������������ 배포판����������� ������������������ 제한����������� ������������������ 없이,����������� ������������������ 어떠한����������� ������������������ 네트워크����������� ������������������ 환경����������� ������������������ 제약에서도,����������� ������������������ Amazon����������� ������������������ EMR에서도����������� ������������������ 완벽하게����������� ������������������ 제공합니다.����������� ������������������
Hadoop����������� ������������������ Job����������� ������������������ Tracker의����������� ������������������ 완벽한����������� ������������������ 모니터링����������� ������������������
12
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hadoop����������� ������������������ Job����������� ������������������ Monitoring����������� ������������������
대용량����������� ������������������ 데이터����������� ������������������ 처리����������� ������������������ 및����������� ������������������ 분석����������� ������������������ 과정을����������� ������������������ 업무로����������� ������������������ 구현하기����������� ������������������ 위한����������� ������������������ 워크플로우����������� ������������������ 디자이너로서����������� ������������������ 클라우드����������� ������������������ 환경����������� ������������������ 및����������� ������������������ 웹����������� ������������������ 환경에����������� ������������������ 적합하도록����������� ������������������ 웹����������� ������������������ 브라우저에서����������� ������������������ 동작하며����������� ������������������ 완전하게����������� ������������������ 커스터마이징이����������� ������������������ 가능합니다.����������� ������������������
MapReduce의����������� ������������������ 처리����������� ������������������ 현황����������� ������������������ 그래프����������� ������������������
데이터����������� ������������������ 검증을����������� ������������������ 위한����������� ������������������ MapReduced의����������� ������������������ Counter����������� ������������������ 정보����������� ������������������
MapReduce����������� ������������������ Job����������� ������������������ Configuration����������� ������������������ 검색����������� ������������������ 및����������� ������������������ 다운로드����������� ������������������ 기능����������� ������������������
13
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hadoop����������� ������������������ Job����������� ������������������ Monitoring����������� ������������������
Hadoop Job 모니터링에서도 반대로 추적이 모두 가능해야 함.
14
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ 워크플로우����������� ������������������ 모니터링����������� ������������������
워크플로우����������� ������������������ 디자이너의����������� ������������������ 워크플로우를����������� ������������������ 실행하고����������� ������������������ 진행����������� ������������������ 상황을����������� ������������������ 모니터링하는����������� ������������������ 기능이며����������� ������������������ Hadoop을����������� ������������������ 이용하는����������� ������������������ 개발자����������� ������������������ 및����������� ������������������ 분석가들이����������� ������������������ 보는����������� ������������������ 정보를����������� ������������������ 그대로����������� ������������������ 제공합니다.����������� ������������������
워크플로우����������� ������������������ 디자이너에서����������� ������������������ 설계한����������� ������������������ ����������� ������������������ 워크플로우의����������� ������������������ 동작����������� ������������������ 상태����������� ������������������ 모니터링����������� ������������������
MapReduce,����������� ������������������ Pig,����������� ������������������ Hive����������� ������������������ Job의����������� ������������������ 완벽한����������� ������������������ 로그����������� ������������������ 보기����������� ������������������
15
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ 워크플로우����������� ������������������ 모니터링����������� ������������������
root@n02:~/flamingo_data/tmp/2014/03/31/90/JOB_20140331_172000_90_157566920/26385942 $> ls -lsa
합계 40
4 drwxr-xr-x 2 root root 4096 2014-03-31 17:23 .
4 drwxr-xr-x 20 root root 4096 2014-03-31 17:23 ..
16 -rw-r--r-- 1 root root 12731 2014-03-31 17:23 action.log à 실행 로그
4 -rwxrwxrwx 1 root root 1259 2014-03-31 17:23 core-site.xml
0 -rw-r--r-- 1 root root 0 2014-03-31 17:23 hadoop.job_201403300831_0471 à MapReduce Job ID 4 -rwxrwxrwx 1 root root 852 2014-03-31 17:23 script.sh à 커맨드 라인
root@n02:~/flamingo_data/tmp/2014/03/31/90/JOB_20140331_172000_90_157566920/26385942 $>
워크플로우의 노드는 다수의 MAPREDUCE JOB으로 동작할 수 있으므로 추적
이 가능해야 함
사용자 관점의 MapReduce 실행 이력
16
대용량����������� ������������������ 데이터����������� ������������������ 처리시����������� ������������������ 사용하는����������� ������������������ 다양한����������� ������������������ 로그����������� ������������������ 파일을����������� ������������������ 관리하는����������� ������������������ 관리����������� ������������������ 화면으로����������� ������������������ 웹����������� ������������������ 브라우저에서����������� ������������������ 대용량����������� ������������������ 분산����������� ������������������ 파일����������� ������������������ 시스템을����������� ������������������ 관리할����������� ������������������ 수����������� ������������������ 있으며����������� ������������������ 디렉토리를����������� ������������������ 즉시����������� ������������������ DB로����������� ������������������ 전환하여����������� ������������������ 조회����������� ������������������ 및����������� ������������������ 통계를����������� ������������������ 산출할����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ File����������� ������������������ System����������� ������������������ Browser����������� ������������������
파일����������� ������������������ 시스템에서����������� ������������������ Hive����������� ������������������ DB,����������� ������������������ Table을����������� ������������������ 생성하고����������� ������������������ 바로����������� ������������������ 조회����������� ������������������ 및����������� ������������������ 통계����������� ������������������ 처리����������� ������������������ 가능����������� ������������������
17
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ File����������� ������������������ System����������� ������������������ Browser����������� ������������������
디렉토리를 Hive DB와 Table로 전환
브라우저에서는 Hive DB와 Table 경로를 다른 아이콘으로 표시하여 확인
FLAMINGO에서는 사용자가 주로 하는 행위에 최적화하여 기
능을 제공
18
HDFS에����������� ������������������ 저장되어����������� ������������������ 있는����������� ������������������ 각종����������� ������������������ 파일����������� ������������������ 및����������� ������������������ 디렉토리를����������� ������������������ 사용자가����������� ������������������ 처리하는����������� ������������������ 경우����������� ������������������ 관련한����������� ������������������ 모든����������� ������������������ 기록을����������� ������������������ 남기고����������� ������������������ 추적합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ File����������� ������������������ System����������� ������������������ Audit����������� ������������������ Log����������� ������������������
파일����������� ������������������ 시스템����������� ������������������ 브라우저의����������� ������������������ ����������� ������������������ 모든����������� ������������������ 활동을����������� ������������������ 모니터링����������� ������������������
19
워크플로우����������� ������������������ 구성시����������� ������������������ Expression����������� ������������������ Language를����������� ������������������ 활용하여����������� ������������������ 변수����������� ������������������ 및����������� ������������������ 날짜����������� ������������������ 등을����������� ������������������ 동적으로����������� ������������������ 처리����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Expression����������� ������������������ Language����������� ������������������ (EL)����������� ������������������
• ����������� ������������������ 동적인����������� ������������������ 값들을����������� ������������������ 얻고자할����������� ������������������ 때����������� ������������������ Workflow����������� ������������������ Designer에서����������� ������������������ 활용����������� ������������������ • 예)����������� ������������������ 오늘����������� ������������������ 날짜����������� ������������������ :����������� ������������������ dateFormat(‘yyyyMMdd’)����������� ������������������ dateFormat(‘yyyy-MM-dd’)����������� ������������������
• ����������� ������������������ 워크플로우가����������� ������������������ 실행할����������� ������������������ 때����������� ������������������ 특정한����������� ������������������ 값들은����������� ������������������ 해당����������� ������������������ 시간으로����������� ������������������ 대체되어야����������� ������������������ 하는����������� ������������������ 경우가����������� ������������������ 발생����������� ������������������ • 예)����������� ������������������ 오늘����������� ������������������ 실행하는����������� ������������������ 워크플로우는����������� ������������������ 어제����������� ������������������ 날짜의����������� ������������������ 디렉토리에����������� ������������������ 기록����������� ������������������ (일배치)����������� ������������������
• ����������� ������������������ 제공하는����������� ������������������ Expression����������� ������������������ Language����������� ������������������ • dateFormat(‘DATE����������� ������������������ FORMAT’)����������� ������������������ à����������� ������������������ dateFormat(‘yyyyMMddHHmmss’)����������� ������������������ • hostname,����������� ������������������ escapeString,����������� ������������������ • yesterday,����������� ������������������ tommorow����������� ������������������ • month,����������� ������������������ day,����������� ������������������ hour,����������� ������������������ minute,����������� ������������������ …⋯����������� ������������������ ����������� ������������������ à����������� ������������������ day(‘yyyyMMdd’,����������� ������������������ -1)����������� ������������������ ::����������� ������������������ 어제����������� ������������������ 날짜����������� ������������������ (20131111)����������� ������������������ • trim,����������� ������������������ concat����������� ������������������ • urlEncode����������� ������������������ • firstNotNull����������� ������������������ • 등등����������� ������������������
20
워크플로우����������� ������������������ 구성시����������� ������������������ Expression����������� ������������������ Language를����������� ������������������ 활용하여����������� ������������������ 변수����������� ������������������ 및����������� ������������������ 날짜����������� ������������������ 등을����������� ������������������ 동적으로����������� ������������������ 처리����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Expression����������� ������������������ Language����������� ������������������ (EL)����������� ������������������
입력 필드에 ${EL} 형식으로 입력하는 경우 동적으로 해석하여 값이 변경됨.
21
HDFS에����������� ������������������ 저장되어����������� ������������������ 있는����������� ������������������ 각종����������� ������������������ 파일����������� ������������������ 및����������� ������������������ 디렉토리를����������� ������������������ 사용자가����������� ������������������ 처리하는����������� ������������������ 경우����������� ������������������ 관련한����������� ������������������ 모든����������� ������������������ 기록을����������� ������������������ 남기고����������� ������������������ 추적합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hive����������� ������������������ Editor����������� ������������������ &����������� ������������������ Metastore����������� ������������������ Browser����������� ������������������
22
HDFS에����������� ������������������ 저장되어����������� ������������������ 있는����������� ������������������ 각종����������� ������������������ 파일����������� ������������������ 및����������� ������������������ 디렉토리를����������� ������������������ 사용자가����������� ������������������ 처리하는����������� ������������������ 경우����������� ������������������ 관련한����������� ������������������ 모든����������� ������������������ 기록을����������� ������������������ 남기고����������� ������������������ 추적합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hive����������� ������������������ Editor����������� ������������������ &����������� ������������������ Metastore����������� ������������������ Browser����������� ������������������ 적용사례����������� ������������������
시스템의����������� ������������������ 사용자����������� ������������������ 접근����������� ������������������ 이력����������� ������������������ 로그를����������� ������������������ Hive로����������� ������������������ 조회하는����������� ������������������ 사례����������� ������������������
– 대상����������� ������������������ 로그의����������� ������������������ 형식이����������� ������������������ 반정형이나����������� ������������������ 비정형인����������� ������������������ 경우����������� ������������������ 문제����������� ������������������ 발생����������� ������������������
– 칼럼����������� ������������������ 안에����������� ������������������ Array,����������� ������������������ Map����������� ������������������ 등의����������� ������������������ 이상한����������� ������������������ 구조를����������� ������������������ 가진����������� ������������������ 로그의����������� ������������������ 경우����������� ������������������ 문제����������� ������������������ 발생����������� ������������������
����������� ������������������
대상����������� ������������������ 로그는����������� ������������������ CSV����������� ������������������ 형식과����������� ������������������ 같은����������� ������������������ 잘����������� ������������������ 정리된����������� ������������������ 형식이����������� ������������������ 아닌����������� ������������������ 반정형����������� ������������������ 로그����������� ������������������ 형식����������� ������������������ ����������� ������������������
����������� ������������������
����������� ������������������
����������� ������������������
����������� ������������������
����������� ������������������
����������� ������������������
����������� ������������������
����������� ������������������
TYPE="IPINSIDE" TIME="2014-03-20 17:40:37" ID="guest0899349" MAC="AA-BB-01-18-68-68" NAT_IP="10.24.104.104" NAT_IP_NATION="USA" PROXY_USE="Y" VPN_USE="Y" REMOTE_USE="Y" PROXY_IP="192.24.104.104" PROXY_IP_NATION="USA" VPN_IP="192.24.104.104" VPN_IP_NATION="USA" SVC_CODE="SVC_CODE_0899349" HDD_DISK="HDD_DISK_0899349" CPU_INFO="CPU_INFO_0899349" USE_OS_NATION="USA" MESG="mesg..... time[1395284830] rnd[875899349] unq[5000000]"
TYPE="IPINSIDE" TIME="2014-03-20 17:40:37" ID="guest0899349" MAC="AA-BB-01-18-68-68" NAT_IP="10.24.104.104" NAT_IP_NATION="USA" PROXY_USE="Y" VPN_USE="Y" REMOTE_USE="Y" PROXY_IP="192.24.104.104" PROXY_IP_NATION="USA" VPN_IP="192.24.104.104" VPN_IP_NATION="USA" SVC_CODE="SVC_CODE_0899349" HDD_DISK="HDD_DISK_0899349" CPU_INFO="CPU_INFO_0899349" USE_OS_NATION="USA" MESG="mesg..... time[1395284830] rnd[875899349] unq[5000000]"
23
HDFS에����������� ������������������ 저장되어����������� ������������������ 있는����������� ������������������ 각종����������� ������������������ 파일����������� ������������������ 및����������� ������������������ 디렉토리를����������� ������������������ 사용자가����������� ������������������ 처리하는����������� ������������������ 경우����������� ������������������ 관련한����������� ������������������ 모든����������� ������������������ 기록을����������� ������������������ 남기고����������� ������������������ 추적합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hive����������� ������������������ Editor����������� ������������������ &����������� ������������������ Metastore����������� ������������������ Browser����������� ������������������ 적용사례����������� ������������������
TYPE="IPINSIDE"
TIME="2014-03-20 17:40:37"
ID="guest0899349"
MAC="AA-BB-01-18-68-68"
NAT_IP="10.24.104.104"
NAT_IP_NATION="USA"
PROXY_USE="Y"
VPN_USE="Y"
REMOTE_USE="Y"
PROXY_IP="192.24.104.104"
PROXY_IP_NATION="USA"
VPN_IP="192.24.104.104"
VPN_IP_NATION="USA"
SVC_CODE="SVC_CODE_0899349"
HDD_DISK="HDD_DISK_0899349"
CPU_INFO="CPU_INFO_0899349"
USE_OS_NATION="USA"
MESG="mesg..... time[1395284830] rnd[875899349] unq[5000000]”
24
HDFS에����������� ������������������ 저장되어����������� ������������������ 있는����������� ������������������ 각종����������� ������������������ 파일����������� ������������������ 및����������� ������������������ 디렉토리를����������� ������������������ 사용자가����������� ������������������ 처리하는����������� ������������������ 경우����������� ������������������ 관련한����������� ������������������ 모든����������� ������������������ 기록을����������� ������������������ 남기고����������� ������������������ 추적합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Hive����������� ������������������ Editor����������� ������������������ &����������� ������������������ Metastore����������� ������������������ Browser����������� ������������������ 적용사례����������� ������������������
25
Flamingo는����������� ������������������ ETL����������� ������������������ 처리를����������� ������������������ 하는데����������� ������������������ 많이����������� ������������������ 사용하는����������� ������������������ Apache����������� ������������������ Pig의����������� ������������������ Latin����������� ������������������ Script를����������� ������������������ 자유롭게����������� ������������������ 사용할����������� ������������������ 수����������� ������������������ 있도록����������� ������������������ Pig����������� ������������������ Editor를����������� ������������������ 제공합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Pig����������� ������������������ Editor����������� ������������������
Pig����������� ������������������ Latin����������� ������������������ Script����������� ������������������ 편집기����������� ������������������
Pig����������� ������������������ Script����������� ������������������ 실행����������� ������������������ 이력����������� ������������������ 및����������� ������������������ ����������� ������������������ 로그����������� ������������������ 보기����������� ������������������
26
배치����������� ������������������ 작업으로����������� ������������������ 워크플로우를����������� ������������������ 실행하기����������� ������������������ 위한����������� ������������������ Job����������� ������������������ Scheduler를����������� ������������������ 자체����������� ������������������ 내장하고����������� ������������������ 있어서����������� ������������������ 워크플로우����������� ������������������ 디자이너에서����������� ������������������ 설계한����������� ������������������ 워크플로우를����������� ������������������ 배치로����������� ������������������ 동작시킬����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Job����������� ������������������ Management����������� ������������������
Cron����������� ������������������ Expression을����������� ������������������ 100%����������� ������������������ 지원����������� ������������������
27
배치����������� ������������������ 작업으로����������� ������������������ 워크플로우를����������� ������������������ 실행하기����������� ������������������ 위한����������� ������������������ Job����������� ������������������ Scheduler를����������� ������������������ 자체����������� ������������������ 내장하고����������� ������������������ 있어서����������� ������������������ 워크플로우����������� ������������������ 디자이너에서����������� ������������������ 설계한����������� ������������������ 워크플로우를����������� ������������������ 배치로����������� ������������������ 동작시킬����������� ������������������ 수����������� ������������������ 있습니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ >����������� ������������������ Job����������� ������������������ Management����������� ������������������
등록되어����������� ������������������ 있는����������� ������������������ 배치����������� ������������������ 작업����������� ������������������ 현황����������� ������������������
작업����������� ������������������ 스케줄링����������� ������������������ 현황����������� ������������������
엔진의����������� ������������������ 메모리����������� ������������������ 상태����������� ������������������
28
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo의����������� ������������������ 기능����������� ������������������ 목록����������� ������������������
구분����������� ������������������ 기능����������� ������������������
모니터링����������� ������������������ • Namenode����������� ������������������ 모니터링����������� ������������������ (HDFS����������� ������������������ Usage,����������� ������������������ Datanode,����������� ������������������ Bad����������� ������������������ Block����������� ������������������ 등등)����������� ������������������ • Job����������� ������������������ Tracker����������� ������������������ 모니터링����������� ������������������ (MapReduce����������� ������������������ Task,����������� ������������������ JVM����������� ������������������ Heap,����������� ������������������ Task����������� ������������������ Tracker,����������� ������������������ Job)����������� ������������������ • Hadoop����������� ������������������ Job����������� ������������������ 모니터링����������� ������������������ (Job����������� ������������������ Info,����������� ������������������ MapReduce����������� ������������������ Progress,����������� ������������������ MapReduce����������� ������������������ Counter,����������� ������������������ MapReduce����������� ������������������ Configuration)����������� ������������������ • 워크플로우����������� ������������������ 모니터링����������� ������������������ (실행����������� ������������������ 이력����������� ������������������ 및����������� ������������������ 상세����������� ������������������ 정보)����������� ������������������ • 배치����������� ������������������ 작업����������� ������������������ 모니터링����������� ������������������ (작업����������� ������������������ 현황,����������� ������������������ 엔진의����������� ������������������ 메모리����������� ������������������ 상태)����������� ������������������
워크플로우����������� ������������������ 관리����������� ������������������ • 워크플로우����������� ������������������ 저장,����������� ������������������ 실행,����������� ������������������ 복사,����������� ������������������ 삭제����������� ������������������ • 드래그����������� ������������������ 앤����������� ������������������ 드롭����������� ������������������ • 워크플로우����������� ������������������ 변수����������� ������������������ • 데이터����������� ������������������ 처리����������� ������������������ 모듈����������� ������������������ 제공����������� ������������������ (MapReduce,����������� ������������������ Pig,����������� ������������������ Hive,����������� ������������������ Java,����������� ������������������ Bash,����������� ������������������ Python,����������� ������������������ Apache����������� ������������������ Log,����������� ������������������ Unstructure����������� ������������������ Analysis����������� ������������������ ::����������� ������������������ UIMA,����������� ������������������ Clustering,����������� ������������������ Classification,����������� ������������������ Normalization,����������� ������������������ Statistics,����������� ������������������ Similarity,����������� ������������������ Recommendation����������� ������������������ 등등)����������� ������������������
배치����������� ������������������ 작업����������� ������������������ 관리����������� ������������������ • 배치����������� ������������������ 작업����������� ������������������ 등록,����������� ������������������ 일시중지,����������� ������������������ 재시작,����������� ������������������ 종료����������� ������������������ • 등록한����������� ������������������ 배치����������� ������������������ 작업����������� ������������������ 목록����������� ������������������ 및����������� ������������������ 상태����������� ������������������ 현황����������� ������������������ 보기(다음����������� ������������������ 실행����������� ������������������ 시간,����������� ������������������ 등록한����������� ������������������ 사용자����������� ������������������ 포함)����������� ������������������
Pig����������� ������������������ 편집기����������� ������������������ • Pig����������� ������������������ Latin����������� ������������������ Script����������� ������������������ 편집����������� ������������������ 및����������� ������������������ 저장����������� ������������������ • Pig����������� ������������������ Latin����������� ������������������ Script����������� ������������������ 실행����������� ������������������ 이력����������� ������������������ 보기����������� ������������������ • Pig����������� ������������������ Latin����������� ������������������ Script����������� ������������������ 실행����������� ������������������ 및����������� ������������������ 로그����������� ������������������ 보기����������� ������������������
Hive����������� ������������������ 편집기����������� ������������������ • Hive����������� ������������������ 쿼리����������� ������������������ 편집����������� ������������������ 및����������� ������������������ 실행����������� ������������������ • Hive����������� ������������������ 쿼리����������� ������������������ 실행����������� ������������������ 이력����������� ������������������ • Hive����������� ������������������ 쿼리����������� ������������������ 실행����������� ������������������ 결과����������� ������������������ 브라우징(전/후)����������� ������������������ • Hive����������� ������������������ 쿼리����������� ������������������ 실행����������� ������������������ 결과����������� ������������������ 다운로드����������� ������������������
파일����������� ������������������ 시스템����������� ������������������ 관리����������� ������������������ • 디렉토리����������� ������������������ 관리����������� ������������������ • 파일����������� ������������������ 관리����������� ������������������ • 파일����������� ������������������ 업로드(멀티,����������� ������������������ 드래그����������� ������������������ 앤����������� ������������������ 드롭)����������� ������������������ 및����������� ������������������ 다운로드����������� ������������������ • 파일����������� ������������������ 및����������� ������������������ 디렉토리����������� ������������������ 정보����������� ������������������ 보기����������� ������������������ • Hive����������� ������������������ DB,����������� ������������������ Table����������� ������������������ 생성����������� ������������������ • 파일����������� ������������������ 처리����������� ������������������ 이력����������� ������������������ 감시����������� ������������������
기타����������� ������������������ • 웹����������� ������������������ 브라우저로����������� ������������������ 모든����������� ������������������ 동작����������� ������������������ 가능(Chrome,����������� ������������������ Safari,����������� ������������������ IE)����������� ������������������ • Multi����������� ������������������ Hadoop����������� ������������������ Cluster����������� ������������������ 지원����������� ������������������ • Amazon����������� ������������������ Elastic����������� ������������������ MapReduce����������� ������������������ 지원����������� ������������������
29
㈜클라우다인은����������� ������������������ Hadoop에����������� ������������������ 최적화된����������� ������������������ 고성능����������� ������������������ Hadoop����������� ������������������ Appliance를����������� ������������������ 제공합니다.����������� ������������������ 기존����������� ������������������ 벤더사����������� ������������������ 대비����������� ������������������ 60%����������� ������������������ 수준의����������� ������������������ 금액입니다.����������� ������������������ 또한����������� ������������������ Hadoop����������� ������������������ Appliance를����������� ������������������ 사용하는����������� ������������������ 고객에게는����������� ������������������ 시행착오를����������� ������������������ 최소화할����������� ������������������ 수����������� ������������������ 있도록����������� ������������������ 프로젝트����������� ������������������ 템플릿,����������� ������������������ 교육,����������� ������������������ 튜닝����������� ������������������ 서비스등����������� ������������������ 다양한����������� ������������������ 서비스를����������� ������������������ 함께����������� ������������������ 제공하여����������� ������������������ 고객의����������� ������������������ 비용����������� ������������������ 낭비를����������� ������������������ 최소화����������� ������������������ 시켜드립니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Hadoop����������� ������������������ Appliance����������� ������������������
- 구성����������� ������������������ • 네임노드����������� ������������������ 2대����������� ������������������ • 데이터����������� ������������������ 노드����������� ������������������ 10대����������� ������������������ • 프로비저닝����������� ������������������ 및����������� ������������������ 모니터링����������� ������������������ 서버����������� ������������������ 1대����������� ������������������ • 1G����������� ������������������ L2����������� ������������������ Switch����������� ������������������ 2대����������� ������������������ • 1년����������� ������������������ 워런티����������� ������������������
- 노드����������� ������������������ 스펙����������� ������������������ • 2����������� ������������������ CPU����������� ������������������ (6����������� ������������������ Core)����������� ������������������ (논리����������� ������������������ 24����������� ������������������ Core)����������� ������������������ • 48G����������� ������������������ Memory����������� ������������������ • 2TBytes����������� ������������������ *����������� ������������������ 6����������� ������������������ JBOD����������� ������������������ HDD����������� ������������������ (머신당����������� ������������������ 12T)����������� ������������������ • 총����������� ������������������ 40T����������� ������������������ HDFS����������� ������������������ 분산����������� ������������������ 파일����������� ������������������ 시스템����������� ������������������ 제공����������� ������������������ • 10G����������� ������������������ Network����������� ������������������ • 자동화����������� ������������������ 프로비저닝����������� ������������������ 및����������� ������������������ 모니터링����������� ������������������
- 개발����������� ������������������ 표준����������� ������������������ 가이드����������� ������������������ 제공����������� ������������������ - 프로젝트����������� ������������������ 템플릿����������� ������������������ 제공����������� ������������������ - 기����������� ������������������ 구현된����������� ������������������ MapReduce����������� ������������������ 튜닝����������� ������������������ 제공����������� ������������������ - 최적화된����������� ������������������ 파라미터����������� ������������������ 설정����������� ������������������ - 모니터링����������� ������������������ 시스템����������� ������������������ 제공����������� ������������������ - 자동����������� ������������������ 프로비저닝����������� ������������������ 제공����������� ������������������ - Hadoop����������� ������������������ 관련����������� ������������������ 3일����������� ������������������ 교육����������� ������������������ 제공����������� ������������������ - 조직의����������� ������������������ 기술����������� ������������������ 내재화를����������� ������������������ 위한����������� ������������������ 경험����������� ������������������ 전수����������� ������������������
87642
531
SID
2 3 41UID
PLAYER
HPProLiantDL580 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
87642
531
SID
2 3 41UID
PLAYER
HPProLiantDL580 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
L2 Switch
네임노드
데이터노드
프로비저닝 서버
FANSPROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 14 3 2 16 5
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
AMPSTATUS
FANS
DIMMS
HPProLiantDL380 G7
30
Hadoop을����������� ������������������ 포함하여����������� ������������������ 빅����������� ������������������ 데이터����������� ������������������ 환경����������� ������������������ 자체를����������� ������������������ Appliance����������� ������������������ 형태로����������� ������������������ 제공하기����������� ������������������ 위해서����������� ������������������ 반드시����������� ������������������ 필요한����������� ������������������ 프로비저닝을����������� ������������������ 제공합니다.����������� ������������������
빅����������� ������������������ 데이터����������� ������������������ 플랫폼����������� ������������������ >����������� ������������������ Flamingo����������� ������������������ Provisioning����������� ������������������ Manager����������� ������������������
L2 Switch L2 Switch
Hadoop관리 서버
Hadoop분산처리 서버
프로비저닝 서버프로비저닝����������� ������������������ 서버는����������� ������������������
빈����������� ������������������ 장비의����������� ������������������ OS,����������� ������������������ SW����������� ������������������ 패키지를����������� ������������������ ����������� ������������������ 자동으로����������� ������������������ 관리자의����������� ������������������ 도움����������� ������������������ 없이����������� ������������������ 설치합니다.����������� ������������������
31
개발����������� ������������������ 방법론����������� ������������������ –����������� ������������������ 소스코드����������� ������������������ 변경����������� ������������������ 이력����������� ������������������ 추적����������� ������������������
좋은����������� ������������������ 프로젝트의����������� ������������������ 기본����������� ������������������ 조건은����������� ������������������ 모두가����������� ������������������ 코드를����������� ������������������ 공동����������� ������������������ 소유하는����������� ������������������ 것입니다.����������� ������������������ (주)클라우다인은����������� ������������������ 오픈소스의����������� ������������������ 기본����������� ������������������ 철학에����������� ������������������ 따라서����������� ������������������ 모든����������� ������������������ 활동을����������� ������������������ 별도의����������� ������������������ 추적����������� ������������������ 시스템을����������� ������������������ 통해서����������� ������������������ 추적합니다.����������� ������������������ 그리고����������� ������������������ 그����������� ������������������ 과정을����������� ������������������ 누구나����������� ������������������ 볼����������� ������������������ 수����������� ������������������ 있도록����������� ������������������ 합니다.����������� ������������������
모든����������� ������������������ 소스코드의����������� ������������������ 변경����������� ������������������ 이력은����������� ������������������ ����������� ������������������ 소스코드����������� ������������������ 추적����������� ������������������ 시스템을����������� ������������������ 통해����������� ������������������ 공개됩니다.����������� ������������������
32
개발����������� ������������������ 방법론����������� ������������������ –����������� ������������������ Continuous����������� ������������������ Integration����������� ������������������ Server����������� ������������������
좋은����������� ������������������ 프로젝트의����������� ������������������ 기본����������� ������������������ 조건이����������� ������������������ 바로����������� ������������������ 통합����������� ������������������ 빌드입니다.����������� ������������������ (주)클라우다인은����������� ������������������ 기본적으로����������� ������������������ 모든����������� ������������������ 프로젝트에����������� ������������������ 매일����������� ������������������ 주기적으로����������� ������������������ 빌드하고,����������� ������������������ 수시로����������� ������������������ 빌드를����������� ������������������ 진행하여����������� ������������������ 코드����������� ������������������ 품질을����������� ������������������ 일정하게����������� ������������������ 유지하려는����������� ������������������ 노력을����������� ������������������ 합니다.����������� ������������������
33
개발����������� ������������������ 방법론����������� ������������������ –����������� ������������������ 이슈����������� ������������������ 관리����������� ������������������
좋은����������� ������������������ 프로젝트의����������� ������������������ 기본����������� ������������������ 조건이����������� ������������������ 바로����������� ������������������ 통합된����������� ������������������ 환경에서����������� ������������������ 이슈를����������� ������������������ 관리하고����������� ������������������ 그����������� ������������������ 이슈를����������� ������������������ 서로����������� ������������������ 공유하고����������� ������������������ 협업하여����������� ������������������ 해결하는����������� ������������������ 것입니다.����������� ������������������ (주)클라우다인은����������� ������������������ 기본적으로����������� ������������������ 모든����������� ������������������ 프로젝트에����������� ������������������ 이슈����������� ������������������ 관리����������� ������������������ 시스템을����������� ������������������ 적용하여����������� ������������������ 관리합니다.����������� ������������������ 그리고����������� ������������������ 모든����������� ������������������ 이슈는����������� ������������������ 변경����������� ������������������ 사항이����������� ������������������ 발생할����������� ������������������ 때����������� ������������������ 마다����������� ������������������ 고객과����������� ������������������ 개발자에게����������� ������������������ 통지됩니다.����������� ������������������
34
개발����������� ������������������ 방법론����������� ������������������ –����������� ������������������ 코드����������� ������������������ 품질����������� ������������������ 관리����������� ������������������
㈜클라우다인은����������� ������������������ MapReduce����������� ������������������ 개발의����������� ������������������ 전과정에����������� ������������������ 걸쳐서����������� ������������������ 중요한����������� ������������������ 코드는����������� ������������������ 단위����������� ������������������ 테스트를����������� ������������������ 데이터의����������� ������������������ 생명주기에����������� ������������������ 따라서����������� ������������������ 수행하며����������� ������������������ 코드����������� ������������������ 커버리지를����������� ������������������ 통해서����������� ������������������ 데이터의����������� ������������������ 변화에����������� ������������������ 따른����������� ������������������ 코드의����������� ������������������ 동작����������� ������������������ 특성을����������� ������������������ 사전에����������� ������������������ 파악하여����������� ������������������ 대용량����������� ������������������ 데이터����������� ������������������ 분석시����������� ������������������ 발생하는����������� ������������������ 데이터����������� ������������������ 품질����������� ������������������ 문제와����������� ������������������ 개발����������� ������������������ 생산성����������� ������������������ 문제를����������� ������������������ 해결합니다.����������� ������������������ ����������� ������������������
35
개발����������� ������������������ 방법론����������� ������������������ –����������� ������������������ 문서화����������� ������������������
㈜클라우다인은����������� ������������������ 각종����������� ������������������ 코드의����������� ������������������ 품질을����������� ������������������ 관리하면서����������� ������������������ 동시에����������� ������������������ 문서에����������� ������������������ 대한����������� ������������������ 확고한����������� ������������������ 관리����������� ������������������ 체계를����������� ������������������ 가지고����������� ������������������ 있습니다.����������� ������������������
36
개발����������� ������������������ 방법론����������� ������������������ –����������� ������������������ 문서화����������� ������������������