Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMakerupdateShoko Utsunomiya
A W S r e : I n v e n t 2 0 1 9 r e : c a p | A I / M L
Machine Learning Solutions ArchitectAmazon Web Service Japan K.K.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker
AWS re:Inevent 2019 にてたくさんの SageMaker 関連のリリースがありました
これまでの Amazon SageMaker
これまでの開発・学習・デプロイの⽅式を⼤きく変えることなく、機械学習プロセス全体を効率化できる• 開発・学習・デプロイのインフラ管理は不要• 既存のコード・コンテナなどを持ち込んで学習・推論可能• ラベリング・モデル変換などもサポート
アノテーション 開発 学習 モデル変換 デプロイ マーケットプレイス
Amazon SageMaker: お客様から多かったご要望
共同開発環境を使いたい
• 前処理やアルゴリズム選択 ⼿軽に実⾏したい分析・可視化・管理を簡素に
デバッガー
モデルの監視⼈間の介⼊をプロセスとして取り込みたい
https://aws.amazon.com/sagemaker/
Amazon SageMaker
Amazon SageMaker の Update ⼀覧開発 学習 デプロイ
• AWS Single Sign-On (AWS SSO) , AWS IAM でアクセス可能
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-studio-the-first-fully-integrated-development-environment-for-machine-learning/
GAAmazon SageMaker Studio
Amazon SageMaker Studio
• AWS Single Sign-On (AWS SSO) , AWS IAM でアクセス可能
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-studio-the-first-fully-integrated-development-environment-for-machine-learning/
GA
NEW!
Amazon SageMaker Studio
Amazon SageMaker Notebooks Preview
• AWS SSO でのアクセス
• 待ち時間なくワンクリックで
• リソースの拡⼤・縮⼩はバックエンドで⾃動的に
ユーザーを登録し共同作業
https://aws.amazon.com/about-aws/whats-new/2019/12/introducing-the-new-amazon-sagemaker-notebook-experience-now-in-preview/
AWS Single Sign-On (SSO)
AWS Single Sign-On (SSO)
SSO アプリケーション⼀覧
SSO グループ
SageMaker グループに ユーザーを追加
Amazon SageMaker Autopilot GA
https://aws.amazon.com/blogs/aws/amazon-sagemaker-autopilot-fully-managed-automatic-machine-learning/
Amazon SageMaker Autopilot Candidate Definition Notebook
Amazon SageMaker Autopilot Candidate Definition Notebook
SageMaker Model Monitor - visualizing monitoring results
Amazon SageMaker Processing• SageMaker Processing SDK
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-processin-fully-managed-data-processing-and-model-evaluation/
GA
Processing.py
Amazon SageMaker Debugger
• Amazon SageMaker Debugger SDK
Keras, Apache MXNet, PyTorch, XGBoost に対応
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-debugger-debug-your-machine-learning-models/
GA
S3 Bucket
Amazon SageMaker Experiments • SageMaker Experiments SDK
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-experiments-organize-track-and-compare-your-machine-learning-trainings/
GA
⼊⼒アルゴリズムパラメーターデータセットなど
出⼒モデル、チェックポイント、メトリック
Amazon SageMaker Model Monitor
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-model-monitor-fully-managed-automatic-monitoring-for-your-machine-learning-models/
GA
Amazon SageMaker Model Monitor
https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.htmlhttps://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/
Deequon Spark
(Built-in orCustom container)
Amazon Augmented AI
⼊⼒データ 推論モデルAugmented
AI
確信度が⾼い結果は修正なし
確信度が低い結果は⼈間による修正を⾏う
アプリケーション
https://aws.amazon.com/about-aws/whats-new/2019/12/announcing-amazon-augmented-ai/
Preview
Amazon SageMaker の Update ⼀覧開発 学習 デプロイ
Amazon SageMaker Operators for Kubernetes
• Kubernetes を利⽤している開発者が、 Amazon SageMaker を利⽤して機械学習モデルの学習・デプロイするための機能
• Kubernetes API や kubectl などのツールを利⽤してSageMaker を呼び出し、SageMakerでジョブの作成・操作が可能
• ⽶国東部(オハイオ)、⽶国東部(バージニア北部)、⽶国⻄部(オレゴン)、およびEU(アイルランド)AWSリージョンで⼀般的に利⽤可能
Amazon SageMaker
https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-operators-for-kubernetes
GA
Amazon Elastic Kubernetes Service
Deep Graph Library (DGL) が SageMaker で利⽤可能
• DGL: GNNのすばやい開発・学習・評価を補助してくれる Python のオープンソースライブラリ
• PyTorch や Apache MXNetとの連携が可能• 下記のユースケースの予測モデル⽣成が可能
• ソーシャルネットワーク: ⼈同⼠の関係性を⽰すグラフ• 推薦システム: カスタマーと商品の関係性を⽰すグラフ• 化学構造解析: 化合物が原⼦やそれらの結合としてモデル
化されているグラフ• サイバーセキュリティ: ソースとデスティネーション IP
アドレスの関係性を⽰すグラフ
GA
https://aws.amazon.com/jp/blogs/news/now-available-on-amazon-sagemaker-the-deep-graph-library/
AWS Step Functions Data Science SDK
• AWS Lambda, Glue などにも対応したサーバーレスオーケストレーション• AWS Step Functions Data Science SDK が登場、Pythonで前処理〜学習〜
デプロイ〜のデータサイエンスワークフローを作成し、視覚化できます
Start EndTrain DeployFetch dataPre-process
AWS Lambda, AWS Glue Amazon SageMaker AWS Lambda (Amazon SageMaker)Amazon CloudWatch Events
(Schedule / event trigger) https://aws.amazon.com/jp/about-aws/whats-
new/2019/11/introducing-aws-step-functions-data-science-sdk-amazon-sagemaker/
NEW!
• Athena を使って SQL クエリから直接推論を呼び出し可能に• 機械学習モデルをコンソール、API、JDBCドライバからに呼
び出し可能• SageMaker で学習したモデルや Marketplace で購⼊したモ
デルを SageMaker hosting service としてデプロイ、AthenaからSQLで呼び出しが可能
• Amazon Athena の ML 機能は、バージニア北部リージョンで現在 preview
https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-athena-adds-support-for-invoking-machine-learning-models-in-sql-queries/
https://docs.aws.amazon.com/athena/latest/ug/querying-mlmodel.html
Amazon Athena で SQL クエリから ML 実⾏ NEW!
Amazon Aurora Machine Learning• SQL⾔語を使⽤して、データベースに機械学習の予測機能を追加• Auroraデータベースから、Amazon SageMaker および Amazon
Comprehend へ統合• Amazon SageMaker モデルトレーニングのために、Amazon Aurora から
データを S3 にエクスポート
https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/aurora-ml.html
例)SQLでSageMakerエンドポイントにアクセスして、顧客離反予測
NEW!
SQL
マルチモデルエンドポイント(MME)が利⽤可能に
https://aws.amazon.com/blogs/machine-learning/save-on-inference-costs-by-using-amazon-sagemaker-multi-model-endpoints/
• ⼀つのエンドポイントの裏で複数のモデルを切り替えて推論コストを削減
• 学習済みモデルは S3にストアしてエンドポイントを動的に切り替え可能に
NEW!
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ML フレームワークとインフラストラクチャアップデート
Inf1 インスタンス• 機械学習の推論を低レイテンシかつ安価に実現する推論⽤チップ AWS
Inferentia を搭載した Inf1 インスタンスを発表• G4インスタンスと⽐較して推論処理で最⼤3倍のスループット、最⼤
40%のコスト削減効果を期待できる• 4つのインスタンスサイズから選択でき、CPUはIntel Xeon(Cascade
Lake)を搭載。バージニアとオレゴンのリージョンで利⽤可能• 以下にも対応予定• Amazon SageMaker• Amazon ECS• Amazon EKS
Inf1ファミリ Inferentiaチップ数
vCPU メモリ(GiB)
EBS帯域(Gbps)
NW帯域(Gbps)
inf1.xlarge 1 4 8 Max 3.5 Max 25
inf1.2xlarge 1 8 16 Max 3.5 Max 25
inf1.6xlarge 4 24 48 3.5 25
inf1.24xlarge 16 96 192 14 100
GA
https://aws.amazon.com/blogs/aws/amazon-ec2-update-inf1-instances-with-aws-inferentia-chips-for-high-performance-cost-effective-inferencing/
AWS Inferentia• AWSによる独⾃設計推論プロセッサ• 4 Neuronコア / チップ• チップ当たり最⼤128 TOPS (2,000 TOPS @24xlarge)• 2ステージ メモリハイアラーキー• - ⼤容量オンチップ キャッシュとDRAMメモリ• FP16, BF16, INT8 データタイプをサポート
• FP32で構築された学習モデルをBF16で実⾏可能
• ⾼速チップ間通信をサポート• Neuronコア間、プロセッサ間をパイプラインモードで接続することにより、⼤規
模モデルを各オンチップキャッシュメモリ上に展開し、⾼スループット、低レイテンシを実現
TPB 5
TPB 6
TPB 8
TPB 7
Memory Memory
Memory Memory
NeuronEngine
NeuronEngine
NeuronEngine
Inferentia
Neuron Core
cache
Memory
Neuron Core
cache
Memory
Neuron Core
cache
Memory
Neuron Core
cache
Memory
AWS Neuron SDK
https://aws.amazon.com/machine-learning/neuron/
• Amazon EC2 Inf1 インスタンス向けのコンパイラ• TensorFlow, MXNet, PyTorch に統合• コンパイラ、ランタイム、プロファイリング、デバックツールから構成• モデルをNeuronで実⾏可能なファイル形式(NEFFファイル)に最適化
されたバイナリ形式にコンパイルする• DLAMI versions 26.0 以降で利⽤可能• DL container にも対応予定
GA
Amazon SageMaker update まとめ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Braket / Amazon Quantum Solutions LabShoko Utsunomiya
A W S r e : I n v e n t 2 0 1 9 r e : c a p | A I / M L
Machine Learning Solutions ArchitectAmazon Web Service Japan K.K.
Amazon Braket ~�量⼦コンピュータのマネージドサービス~• 独⾃の量⼦アルゴリズムをゼロから設計、または事前に構築された⼀連のアルゴリズムから選択• フルマネージドなシミュレーションサービスで、実装のトラブルシューティングと検証を⽀援
https://aws.amazon.com/jp/braket/https://aws.amazon.com/jp/blogs/news/amazon-braket-get-started-with-quantum-computing/
Amazon�Braket (preview) ~�量⼦コンピュータのマネージドサービス~
AWSから量⼦コンピュータ実機へのアクセスが可能に• ゲートベース量⼦コンピュータ
• Rigetti :�超伝導量⼦ビット (The Rigetti 16Q Aspen-4)
• IonQ :�イオントラップ量⼦ビット (IonQ linear�trap)
• 量⼦アニーリング• D-Wave�:�超伝導量⼦ビット(D-Wave�2000Q)
• 量⼦ビットと量⼦回路を体験するAmazon�Braket SDK�を提供• Notebook�インターフェースで、簡単にBraket にアクセス• 量⼦回路のシミュレーション環境下で回路設計を⾏い、実際の量⼦デバイスの上で別途量⼦計算を実⾏する
Amazon�Braket SDK
デバイスの開発・構築実⾏は⾮常に⾼度な技術を必要とする上、運⽤も⾼コスト。クラウドベースのオンデマンドに適している。
https://aws.amazon.com/braket/hardware-providers/
https://aws.amazon.com/braket/hardware-providers/
Rigetti Computing�:汎⽤ゲート型超伝導量⼦ビット
• 超伝導量⼦ビットに基づく汎⽤ゲートモデルの量⼦マシン• Aspenシリーズチップ:�• 固定量⼦周波数と可変超伝導量⼦ビットによる構成による精度、スケール、速度の強⼒な組み合わせ
• 8⾓形グラフ接続で量⼦ビット接続性は3倍• Aspen-7の平均ゲートフィデリティは97.2%• 2量⼦ビットエンタングルゲート:��CZゲート
Rigetti 32Q Aspen-7Avg. Time Duration
(μs)T1 Lifetime 41T2 Lifetime 35Single qubit gate operation 0.080
Two qubit gate operation 0.34
Readout operation 1.3Register reset operation 10
Rigetti 32Q Aspen-7 Avg. Fidelity (per op.)
Single-qubit gates 98.7 %Two-qubit gates 95.2 %SPAM 96.4 %Geometric mean op. 97.2 %
The Rigetti 16Q Aspen-4 https://aws.amazon.com/braket/hardware-providers/#Rigetti
Rigetti Aspen�シリーズチップ:�スケーラブルな回路トポロジ。base-8でラベル付けされたグラフ構造の量⼦ビット間接続
AWS�量⼦コンピューティングセンターを設⽴
Amazon�Quantum�Solutions�Lab
• カリフォルニア⼯科⼤学(Caltech)に隣接する量⼦研究センター• 世界をリードする量⼦コンピューティングの研究者とエンジニアを集めて、量⼦コンピューティングハードウェアとソフトウェアの開発を加速します
• AWSの顧客をAmazonの量⼦コンピューティングエキスパートと⾮常に厳選されたコンサルティングパートナーと結びつける新しいプログラム
• 計算化学、機械学習、最適化など、さまざまな専⾨分野を持つ企業と提携• 量⼦コンピューティングの専⾨家が、顧客のビジネスにとって最も有望な近い将来の量⼦コンピューティングソリューションを調査し、発⾒します
パートナー例)1Qbit:�カナダのスタートアップ。量⼦コンピューティングハードウェア⽤の汎⽤アルゴリズムを開発。計算ファイナンス、量⼦化学、材料科学、⽣命科学に焦点をあて、ユニバーサル量⼦計算、⾼度AI、量⼦アニーリングのソリューションを構築
https://aws.amazon.com/quantum-solutions-lab/