Embed Size (px)
Citation preview
ChainerMNが即座に使える環境を提供するXTREME DNA HPC Cloudエクストリームデザイン株式会社取締役 CTO 奥野 慎吾
2017.10.24 Deep Learning Lab コミュニティイベント 第4回
9月1日、ChainerMN 正式版リリース！が、しかし…
ChainerMNを使えばChainerの使いやすさで分散学習できる！
が、しかし…
お金の問題
知識の問題
時間の問題 ShareStoreage
Head node
Compute node
Compute node
Compute node
Compute node
…
分散並列環境を構築する難しさ
Good News!
Microsoft Azureを使えば初期投資を抑えて気軽に始められます
弊社サービス XTREME DNAで分散環境の構築を自動化
ChainerMNテンプレートまもなくリリース！
誰でも気軽に「スーパーコンピューティング」を活用しデータ分析、研究開発の爆速化を実現する
プラットフォーマーを目指す
スパコンアーキテクトとクラウド使いが出会った…
クラウドを活用した仮想スパコン構築サービスXTREME DNAの誕生
スパコンアーキテクトの⼈⼿不⾜ Azureをはじめとしたクラウド技術の進歩
CEO 柴⽥スパコンアーキテクト
CTO 奥野クラウド使い
エクストリームデザイン株式会社 会社概要(XTREME Design Inc.)設立: 2015年2月 (3期目)所在地:東京都品川区 (天王洲アイル)主要メンバー:CEO, High Performance Cloud Architect : 柴田直樹Director, CTO: 奥野慎吾Technical Advisor: Dr. David Barkai (元米国HPDirector, HPC Lead)
資本金: 4億1千8百万円 (資本準備金含む)業務内容:自社サービス「XTREMEDNA」の開発と提供
先週、シリーズAの資金調達を完了しました!!
体制強化 海外展開
並列処理、マルチノードの必要性
2020-2022年に訪れる「ムーアの法則」の終焉GPUはまだ進化を続けるが…1台のマシンで処理することの限界が見えている
複数のマシン(マルチノード)で並列処理することでしか限界を突破できない
マルチノードでの並列処理の難しさ
深層学習をしたいという想いの前に立ちはだかる高い壁それぞれのレイヤーでの難しさ
プログラミング
クラスタ構築
ハードウェア
プログラミングはChainerMNで簡単に
既存のChainerのコードに少し変更を加えるだけで利用可能1ノード内の複数のGPUも、複数のノードも両方サポート
プログラミング
クラスタ構築
ハードウェア
Virtual Machine NCシリーズではTesla K80を搭載最上位のNC24rでは高スループット、低レイテンシを実現するインターコネクトであるInfinibandを搭載
AzureがChainerMNに最適なハードウェアを時間課金で提供
プログラミング
クラスタ構築
ハードウェア
クラスタ構築は XTREME DNA にお任せください
XTREME DNAなら10分程度でクラスタを構築！何度でも！皆さんには構築の苦労はせずに深層学習に専念して頂きたい（環境構築が好きな方は声をかけてください）
プログラミング
クラスタ構築
ハードウェア
並列処理こそがスパコンの得意分野
分散並列処理を支える様々な技術
RDMAover
Infiniband
MPI
DistributedFile system
Job Scheduler
WorkloadManager
CUDA NCCL
構築・運用の自動化を実現する「テンプレート」
私たちが持つノウハウを凝縮XTREME DNAのユーザーはテンプレートを選ぶだけでいつでも必要な時にすぐ使えるスパコンを入手可能深層学習以外のテンプレートもラインナップ
STRICTLY CONFIDENTIAL
テンプレート
ChainerMNテンプレート、まもなく提供開始！
テンプレート実装完了、現在社内で使いながら検証中NC24r(K80 x 4, Infiniband)を使ったベンチマーク構築およびスケールの速度チューニングJupyterなど便利に使うためのパッケージング今月末より既存ユーザーから順次提供予定
STRICTLY CONFIDENTIAL
XTREME DNAの特徴 - Nx-SaaSモデル -
SaaSを使う上での不満を解消ユーザーが利用中のIaaS環境に対して構築を行い外部から運用をサービス化
STRICTLY CONFIDENTIAL
STRICTLY CONFIDENTIAL
XTREME DNA 紹介ムービー
XTREME DNAの製品ラインアップ- XTREME DNA HPC Cloud を軸に3つの製品展開 -
パブリッククラウド上に約10分でセットアップできる仮想スパコンデプロイ。構築後は、管理者不要で簡単管理監視。仮想スパコンのon/off/deleteも自由自在
HPCクラウドとして人気の高いOpenStackに対応・官公庁案件、Fintechで人気の高いOpenStack・Microsoft Azureのバイブリッドにも対応予定
まとめ
ChainerMN × Azureで分散学習が身近なものに
並列分散環境の構築はXTREME DNAにお任せください
1台での深層学習に限界を感じたときに思い出してください
詳細は弊社Webサイトをご覧くださいhttps://xd-lab.net/
