中井悦司Twitter @enakai00

オープンクラウド・キャンパス

EucalyptusでHadoopクラウドサービスを実現!

Open Cloud Campus2

EucalyptusでHadoopクラウドサービスを実現!

自己紹介

中井悦司 (Etsuji Nakai)– Twitter: @enakai00 （ぜろぜろ）

所属 IBM Linux/OSS & Cloud Support Center

日々の仕事

– Linux/OSS Evangelist– Linux/OSS の技術相談

– Linux/OSS 技術情報サイトの中の人

– IBM 社内のクラウド・インフラの構築

昔取った杵柄

– 素粒子論（ゲージ場とかストリング理論）

– 予備校講師（物理の先生）

– インフラ担当 SE

2011/05/20発売予定好評発売中

Open Cloud Campus3

EucalyptusでHadoopクラウドサービスを実現!

概要

– IaaS を構築するためのクラウドソフトウェア

– Amazon EC2/S3 をモデルとしており、API の互換性を目指している

名前の由来

– “Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems” の頭文字を取って付けられた。

– 日本語では、「あなたのプログラムと便利なシステムをリンクするための弾力性を持つユーティ

リティ・コンピューティングのアーキテクチャ」

開発元

– UCSB（カリフォルニア大学サンタバーバラ校）にて 2007 年秋から開発開始

– 2009 年 4 月に開発者達で Eucalyptus Systems, Inc. を設立し、ビジネス化。現在はEucalyptus Systems, Inc. で開発・サポートを継続

提供形態

– オープンソースで公開されている Community Edition と有償の Enterprise Editionが提供さ

れている

Eucalyptus とは？

Open Cloud Campus4

EucalyptusでHadoopクラウドサービスを実現!

Eucalyptus のアーキテクチャー

Community Edition では、ハイパーバイザはXen もしくは KVM が利用可能

Open Cloud Campus5

EucalyptusでHadoopクラウドサービスを実現!

典型的な構成例（シングルクラスタ）

Cloud ControllerCluster ControllerWarlus / Storage Controller

Node Controller Node Controller Node Controller

・・・

パブリック・ネットワーク

クライアント

プライベート・ネットワーク

NAT

管理ノード

コンピューティングノード

Open Cloud Campus6

EucalyptusでHadoopクラウドサービスを実現!

Hadoop管理ノード

計算ノード

・・・

JobTrackerデーモンNameNodeデーモン

SecondaryNameNodeデーモン

TaskTrackerデーモンDataNodeデーモン

計算ノード

TaskTrackerデーモンDataNodeデーモン

HDFS （分散ファイルシステム）

本日のネタは。。。

導入するソフトウェア・パッケージ、使用する構成ファイルは全て同じ

（ホスト名で役割を認識）

VM インスタンスで構成した Hadoop クラスタ

Eucalyptus で作ったプライベート・クラウド

Hadoop 用のマシンイメージ

から、好きな数だけインスタンスを起動して、Hadoop クラスタを

自動構成しちゃうよ！

Hadoop 用マシンイメージ

Open Cloud Campus7

EucalyptusでHadoopクラウドサービスを実現!

本日のデモ環境の作り方はこちらに掲載しています。

2010年8月発売 2011年2月発売

Eucalyptus 環境の構築方法を解説しています。

Eucalyptus のクラウド上にHadoop クラスタを構築！

Open Cloud Campus8

EucalyptusでHadoopクラウドサービスを実現!

デモ画面を YouTube で公開しています。

http://bit.ly/e33AC8

Open Cloud Campus9

EucalyptusでHadoopクラウドサービスを実現!

自動構成スクリプトの処理内容

Hadoop 管理ノードから Hadoop 計算ノードに対して以下の処理を実施

– ホスト名の設定と /etc/hosts の配布

– エフェメラル・ディスクのフォーマットとマウント（HDFS 領域として使用）

スワップ領域

ルートファイルシステム

VM インスタンスにアサインされる仮想ディスク

エフェメラル・ディスク（未使用領域）

※ Hypervisor に KVM を使用した場合の構成

Open Cloud Campus10

EucalyptusでHadoopクラウドサービスを実現!

デモンストレーション

OSC の会場に

見に来てね！

中井悦司Twitter @enakai00

オープンクラウド・キャンパス

みなさんもぜひ“Hadoop on Eucalyptus”で遊んでみてください！