30
マイクロソフトコーポレーション 田中 洋 HPC Tech リード [email protected] Azure Batch Renderingではじめる クラウドレンダリング

Azure Batch Renderingではじめるクラウドレンダリング

Embed Size (px)

Citation preview

マイクロソフトコーポレーション田中 洋HPC Tech リード[email protected]

Azure Batch Renderingではじめるクラウドレンダリング

Azure regions

HPC/GPU REGIONSUS EASTUS WESTUS SOUTH CENTRALUS NORTH CENTRALEUROPE WESTEUROPE NORTHUK SOUTHJAPAN EAST

Chicago

Dallas

Silicon Valley Washington DC

AmsterdamDublin*

London

ChennaiHong Kong

Mumbai*

Melbourne*

Osaka

Singapore

Sydney

Tokyo

New York

AtlantaUS DoD West

US DoD East Korea

South

Korea Central

Coming Soon

ハイパースケールクラウド

2

万マイルのダークファイバ―

データセンター

IX

大陸間ネットワーク

海底ケーブルネットワーク

インターネットエッジ

CDN拠点

ハイパースケールネットワーク

3

注目すべきセキュリティ標準Largest compliance portfolio in the industry

• CDSA CPS-certified and MPAA-audited• Federation Against Copyright Theft (FACT)• Microsoft Azure Cloud Platform Hardening Guide - http://aka.ms/azurehardeningguide

レンダリング

Azure Big Compute 主要4カテゴリHPC/CAE, 解析 可視化 ディープラーニング/AI

H

• Finite Element Analysis (FEA)

• Computational Fluid Dynamics (CFD)

• マルチボディ (MBD)• パラメータスタディー

• プロダクトデザインエンジニアリング

• 3Dモデル・コンセプト作成• ゲーム・メディア系レンダ

リングワークロード

• クラウドベースエンジニアリング(CAD VDI)

• クラウドベースのプリポスト処理

• トポロジー最適化

• 自動運転• 画像検知・不具合検知

5

テクノロジーの進化が第4次産業革命を実現しつつある

フィジカル製造設備

原材料、プロダクト予防保全

現代の製造業は顧客中心主義を採用し、迅速に革新し、より機敏になる

デジタルスマートプロダクトサービス・エコシステムコネクテッド・コンシューマ

デジタル・トランスフォーメーション

顧客

サプライチェーン

設計開発

製造

マーケティング 販売

サービス

製造業はデジタルイノベーションを迫られている製造業は以下のような要求をつきつけられている

プロダクトの使い方を最適化するためにデジタルツインでフィジカルなプロダクトを複製しシミュレーションしたい

現場でのIoT対応製品のフィードバックを反映して製品品質を向上させる

イノベーションを加速し、市場投入までのスピードを向上させるために、製品設計の迅速化を図る

80%

Fan

0.0

どこにいても工場やプロダクトのパフォーマンスをリアルタイムで視覚化できなければならない

トランスフォーメーションにより、今までとはケタ違いのコンピューティングパワーが必要になる

完全自動運転で100%無事故を実現しようとすると最低でも88億マイルをテストしなければならない。1

2020年、自動運転車は1日に約4,000ギガバイトのデータを生成し、消費する。2

1. Akio Toyoda, President & CEO, Toyota Motor Corporation, Keynote, Paris Auto Show 2016, 2. Brian Krzanich, CEO, Intel Corporation, Keynote, Automobility Los Angeles, 2016 3. Gartner 4. TechRadar 5. Earthdata6. Brian Krzanich, CEO, Intel Corporation, Keynote, Automobility Los Angeles, 2016

2020年、204億のモノがつながる。3

90分のアニメーション映像を製作するために、6,500万時間分の画像レンダリングが必要となる。4

2020年、飛行機から1日に40テラバイトのデータが生成される。6

NASAの地球観測システムおよび情報システム(EODSIS)は、1日に約28テラバイトのデータを配信している。5

エンジニアリングプロセスとAzure ソリューション

Engineer anywhere

TransformproductsVirtual

MachineLaptop Tablet Mobile Deep

LearningMixed Realityfor Digital Twin

Industrial IoT

AdditiveManufacturingBig Compute

HPC Simulation & AnalysisCloud RenderingCloud Workstation Deep Learning & AI Training

Render

RENDERING DESIGN

Rendering in ProgressTime remaining: 3:29 60%

Status

522.700487.853453.006418.160383.313348.467313.620228.773243.927209.080174.238139.387104.54069.69334.2470.000

Validate

RunningSimulation 520 of 1263

Train

Road Lanes

Building

Traffic Sign

Pedestrian

Bicycle

Other Vehicles

Design

https://www.microsoft.com/ja-jp/casestudies/n-oyanagi.aspx

シミュレーション仮想マシンテンプレート

• UberCloudコンテナはAzureマーケットプレイスからカタログとして選択するだけでソフトウェア環境を展開できます。(ライセンスは別途)

• ISV各社のリセラーでもあり、ISVソフトウェアのサポートも提供可能

• UberCloud社のサービスとして展開しておりLinuxシステム管理者のサポートも提供できます(英語)

クラウドワークステーション

リモートワークステーションオンプレミス

• 3D CAD による自動車・製造・建築などマルチサイト・マルチカンパニー協業

• データ移動による時間・費用損失の回避• 最新のGPUインスタンスの利用• マルチリージョン利用によるレイテンシ―

の確保• 一貫したセキュリティポリシーの適用 NV NV

NVNV NV

タブレット

シンクライアント

Azureの優位性東日本含めて世界中でオンデマンド利用可能。NVIDIA M60、次期P100含めた高性能なインスタンスの展開。利用デバイスロケーションも問わない

12

Azure Batch Rendering: ABRクラウドでのレンダリングオンプレミス

• レンダリングはデザインの領域で非常に高価な作業• 例えば、自動車の場合需要期には非常に利用されるが

それ以外の時期には利用されない• ゲームやエンターテインメントでも同様。• ただし、ピークに合わせた仕事しかできなくなるため、

遊休資産として廃棄などはできない• GPUなど高価なハードウェアが求められる

NV NVNV

NV NV

タブレット

ゼロクライント

Azureの優位性高機能ワークステーションとしてGPUインスタンスをオンデマンドに利用。必要な時間だけ利用して必要がなくなれば縮退・削除。様々なデバイスからアクセス

クライアント

Azureの優位性Azure Batchを利用すれば、仮想マシンを意識することなしに並列レンダリングワークロードを利用可能。 13

クリエイティブなデザインのためにクラウドのパワーを発揮する

コンセプト・プロダクトデザイン• 設計の可視化とシミュレーションには、大きなコン

ピューティングリソースが必要です

• GPUは、開始から品質管理および生産までのレンダリングプロセスを加速します

• 初期段階の設計統合により、より優れた設計が得られ、製造コストが削減されます

メディアエンターテイメント• アーティストは、最終フレームをシミュレートする視覚

的なフィードバックを直ちに必要とします。

• GPUレンダリングは、テクニカルディレクターやアーティストのシーン、キャラクター、ライティングのプロセスを加速します。

• 特に最終製品レベルのレンダリングで時間短縮が可能

• Azure Compute (仮想マシン/クラウドサービス)のジョブ実行を自動化するサービス

• Azure Compute の付加価値サービスの位置づけ (Azure Batch 自体は無償)• HPC など大規模並列処理(10,000 コア以上)に利用

• バッチアプリケーションに必要な制御を自動化• リソースのプロビジョニング• タスクスケジューリング• タスクリカバリー• 自動スケーリング

• Linux, Windows に対応• バッチ制御アプリケーションの開発用SDK を提供

• .NET, Python, Node.js, REST API

Azure Batch とは

16

Azure Batch の構成要素Batch アカウント

プール

仮想マシン#01

ジョブ

タスク #01

クライアント(ABR プラグイン)

タスク #02

仮想マシン#02

仮想マシン#03

仮想マシン#04

仮想マシン#05

仮想マシン#06

タスク #03

タスク #04

項目 説明

Batch クライアント Azure Batch を制御するアプリケーション. プール/ジョブ/タスクの定義と管理を行うABR環境では、azure-batch-mayaプラグインが担当する

Batch アカウント Batch サービス内で一意に識別されるアカウント。すべての処理は、Batch アカウントに関連付けられる。

コンピューティングノード アプリケーションのワークロードの処理に特化した Azure 仮想マシン(VM)各ノードは1つのプールに紐づけられ、プール内のノードVMは全て同じサイズになる。

プール アプリケーションが実行されるノードの集まり。プール単位に対してノードのプロビジョニングや自動スケーリングの管理を行う

ジョブ タスクの集まり。プール内のノードの処理を各タスクでどのように実行するか管理。タスク ジョブに関連付けられた計算の単位。タスクはノードで実行される(バッチ)プロセス 17

Autodesk Maya / 3ds Max

ジョブ投入

アップロード

結果ダウンロード仮想マシン

レンダラ

仮想マシン

レンダラ

仮想マシン

レンダラ

統合されたプラグイン

Azure Batch

• モニタリング• レポーティング• 課金管理

Azure Batch Rendering

Python SDK

18

Dv2

Dシリーズ2CPU進化

SSD搭載

D

Azure インスタンスラインナップ

19

G

大容量メモリ・SSD搭載

NCv2

NVIDIA GPUP100 計算用途、InfiniBand搭載

(NC24r)

F

高CPU・低メモリ計算用途

最速CPU、InfiniBandFDR搭載

H

最大6TB SSD搭載DB用途

L

A

A0-7:低価格・汎用A8-11: HPC向け

NVIDIA GPUM60搭載

可視化用途

NVNC

NVIDIA GPU K80計算用途、

InfiniBand搭載(NC24r)

Azure Batch RenderingMaya/Arnold, 3ds Max

従量課金ライセンス低優先度仮想マシンの利用 (60-80% Off)

10000コアの拡張性

20

VM コア 通常価格 低優先度価格

D1_v2 1 10.4円/時間 1.1円/時間

D2_v2 2 20.9円/時間 2.4円/時間

D3_v2 4 41.7円/時間 4.7円/時間

D4_v2 8 83.4円/時間 9.4円/時間

D5_v2 16 166.8円/時間 18.7円/時間

低優先度仮想マシン up to 80% Off最適化されたコンピューティング— D シリーズより 35% 高速な最新世代の CPUDv2 シリーズのインスタンスは、仮想マシンやクラウドサービスとして使用できる、D シリーズの次世代のインスタンスです。Dv2 シリーズのインスタンスは、D シリーズのインスタンスよりも平均で約 35% 高速の強力なCPU を搭載し、D シリーズと同じメモリ構成とディスク構成で稼働します。Dv2 シリーズのインスタンスは、最新世代の 2.4 GHz Intel Xeon® E5-2673 v3 (Haswell) プロセッサをベースとしており、Intel Turbo Boost Technology 2.0 の使用により 3.2 GHz まで高速化できます。Dv2 シリーズと D シリーズは、高速の CPU、高いローカルディスクパフォーマンス、あるいはより多くのメモリを必要とするアプリケーションに最適で、多くのエンタープライズレベルのアプリケーションにとって強力な組み合わせとなります。

低優先度仮想マシン up to 80% Off1. 最大80%オフ2. グローバルどのリージョンでも利用可能3. グローバルで単一価格(オークションではない)4. -> #2, #3合わせると例えば価格固定で予算管理し、例えば東日本でなんらか起動できない場合に米国西部を利用するなど予算に応じた利用が可能

ABRレンダリングによる時間送出

Azure Batch Rendering GAQueue

Upload assets

Submit job

Return outputs

Pay-per-minute licensing

Windows and Linux VMs

Autodesk Maya Plug-in

Batch Labs x-plat client

Azure CLI / PowerShell

APIs

Monitor job

リファレンス• Azure Batch Rendering クラウドレンダリング情報まとめ

• セミナー情報などアップデート用 https://goo.gl/aUy3RF• ABR Maya プラグイン https://github.com/Azure/azure-batch-maya• Batch Rendering サービスの概要

• https://docs.microsoft.com/ja-jp/azure/batch/batch-rendering-service• Azure Batch Lab(ディスパッチャー)

• https://github.com/Azure/BatchLabs

• CG制作の現場にクラウドレンダリングを。マイクロソフト「Azure Batch Rendering」が提示するCG・エンタメ業界の未来• https://cgworld.jp/interview/201712-msazure-2.html