AWS re:Invent 2017 Technology re:CAP for FUKUOKA ......2018/01/16 · AWS Deep Learning AMI (Amazon Linux / Ubuntu / Windows) AWS が提供するML サービススタック Amazon

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

アマゾンウェブサービスジャパン株式会社

パートナーソリューションアーキテクト

山口弘樹 / Hiroki Yamaguchi

2018年01月16日

AWS re:Invent 2017 Technology re:CAP for FUKUOKA

Machine Learning最新アップデート


New Services Announced at re:Invent


Services Amazon Rekognition

Amazon Polly

Amazon Lex

PlatformAmazon MachineLearning

EnginesTensorFlow Caffe Torch Theano CNTK Keras

CPU IoT MobileInfrastructure GPU

Apache Spark&

Amazon EMR

AmazonKinesis

AWSBatch

AmazonECS

MXNet

AWS Deep Learning AMI

AWS が提供する ML サービススタック


ServicesAmazon

RekognitionImage

Platform



MXNet

AWS Deep Learning AMI (Amazon Linux / Ubuntu / Windows)


Amazon Polly

Amazon Lex

Amazon Comprehend

Amazon Translate

Amazon Transcribe

Amazon Rekognition

Video

Amazon MachineLearning

Apache SparkAmazon EMR

AmazonKinesis

AWS Batch Amazon ECSAmazon

SageMaker


ML Services


ServicesAmazon

RekognitionImage

Platform



MXNet



Amazon Polly

Amazon Lex

Amazon Comprehend

Amazon Translate

Amazon Transcribe

Amazon Rekognition

Video



AmazonKinesis


SageMaker


Amazon Comprehend

NEW!


自然言語理解サービス Amazon Comprehend の提供開始

• 入力されたテキストに対して、様々な分析を実施

• 英語とスペイン語に対応


入力した文章を分析


分析結果

エンティティの抽出キーフレーズの抽出


分析結果

言語の認識センチメント分析


バッチデータに対するトピックモデリング


ユースケース: カスタマーの声を分析

• Twitter 等のデータを読み込んで Comprehend でタグ付けや分類を行い、Redshift で分析


ユースケース: ナレッジマネジメント

• 既存のドキュメント群に対してトピック分類を行い、その結果を付与した形で、ウェブコンテンツをパーソナライズ


Amazon Translate

NEW!


多言語間翻訳サービス Amazon Translate プレビュー開始

• 深層学習に基づいた、高品質な多言語間翻訳サービスAmazon Translateのプレビューを開始

– Encoder-decoder + attention model

• Polly や Lex との連携による多言語対応サービスの構築が可能に

• バージニア北部, オハイオ, オレゴンでプレビューを提供

アラビア語中国簡体字フランス語ドイツ語

ポルトガル語スペイン語

英語英語


Amazon Translate による翻訳


Amazon Transcribe

NEW!


Speech-to-Text サービス Amazon Transcribe プレビュー開始

• 音声を文章に変換するマネージドサービス

• リアルタイム処理のみならず、S3 に格納された音声データの処理もサポート

• プレビューでの対応言語は英語とスペイン語


Amazon Transcribe の特徴

通常音声と電話音声の両方をサポート

カスタム語彙を登録することが可能

発話されたタイムスタンプと書き起こしの信頼度を出力

複数話者の認識や句読点の自動補完

英語とスペイン語に対応し、今後も拡充予定Hello/Hola


タイムスタンプと信頼度

1.0 2.0 3.0 4.0 5.0 6.0 7.0 8.0 9.0 10.0 11.0 12.0 13.0 14.0 15.0 16.0 17.0

“Hi, I would like to reschedule my flight to Seattle to later tonight”

3.480 secConfidence : 1

6.402 secConfidence : 0.95

10.541 secConfidence : 1


句読点の補完

please extrapolate the projections based on market growth and segment share can you email it to me once you are done

Please extrapolate the projections based on market growth and segment share. Can you email it to me once you’re done?


ユースケース: コールセンターの音声データの可視化

AWS Lambda

Amazon S3

Amazon Athena

Audio Input

Amazon QuickSight

Amazon Comprehend

Amazon Transcribe


Amazon Rekognition Video

NEW!


動画解析サービス Amazon Rekognition Video の提供開始

• S3 に蓄積された動画や、ライブストリーミング動画に対して様々な分析機能を提供する

• ビデオのサイズは最大 8GB までをサポート

• H264 コーデックで、拡張子が .mp4 / .mov の必要あり

• バージニア北部, オレゴン, アイルランドで提供

• 動画 1 分につき $0.10〜、ストリーム 1 分につき $0.12〜、また顔のメタデータ 1000 個につき $0.01/month


分析の結果得られるレスポンス

• 結果は JSON で返される

• “Timestamp” がついており、どの時点でその認識処理が行われたかを記録

• 様々な分析結果が JSON 内に合わせて格納されている

• ライブストリーミングの場合は、1 フレーム 1 レコードでKinesis Data Streams にデータを送る


ユースケース: 監視カメラで問題行動に反応

• Kinesis Video Streams から読み込んだ監視カメラのストリームを、リアルタイムで分析して素早いアクション


ユースケース: 動画データを検索しやすく

• ユーザーがアップロードした動画に対して定期的にタグ付けを行い、後から簡単に検索できるようにする


AWS の ML Services Portfolio

大カテゴリ小カテゴリサービス名

映像画像認識 Amazon Rekognition

動画認識 Amazon Rekognition Video

音声Speech-to-Text Amazon Transcribe

Text-to-Speech Amazon Polly

自然言語

自然言語理解 Amazon Comprehend

テキスト翻訳 Amazon Translate

チャットボット Amazon Lex

New !

New !

New !

New !


ML Platform


ServicesAmazon

RekognitionImage

Platform



MXNet


Amazon Polly

Amazon Lex

Amazon Comprehend

Amazon Translate

Amazon Transcribe

Amazon Rekognition

Video



AmazonKinesis


SageMaker



Amazon Kinesis Video Streams

NEW!


数多くの動画ストリームのインジェストを実現するAmazon Kinesis Video Streams の提供開始

• 大量のカメラ（的な）デバイスからアップロードされる、動画ストリームや時系列データを容易に取り扱うことができるマネージドサービス

• デバイス側は Producer SDK を利用して、Kinesis Video Streamsにデータを送信し、Consumer で取得して処理する

• バージニア北部, オレゴン, アイルランド, フランクフルト, 東京リージョンで利用可能


Kinesis Video Streams の流れ

• ストリームとして動画を取得し、S3 に保存。ダッシュボードで確認したり、コンシューマで処理を行うことが可能


ユースケース: スマートホーム

• ベビーモニタ、ウェブカメラ、防犯システムといったカメラを装備した家庭用機器からの動画と音声をストリーミング


ユースケース: スマートシティ

• 街中の監視カメラを取得し、Rekognition と連携することで、車のナンバープレートをインデックスとして集約


ユースケース: 工場の自動化

• 工場に設置した赤外線カメラや深度センサーなどのストリームを取得し、機械学習モデルを適用して、調整を自動化


Amazon SageMaker

NEW!


end-to-end のフルマネージド機械学習サービスAmazon SageMaker の提供開始

• データサイエンティストや開発者が、容易に機械学習モデルを構築・学習・活用するためのマネージドサービス

• バージニア北部, オハイオ, オレゴン, アイルランドで提供


Amazon SageMaker の構成要素

ノートブック

• コンソール上から簡単に必要なライブラリを含んだインスタンスを起動可能

• アルゴリズム開発を高速に実施可能

• 足りないライブラリは後から追加可能

学習

• 指定したインスタンスタイプで Docker イメージを起動して学習を実行

• 複数インスタンスで分散学習を容易に実行

• ビルトインアルゴリズムやサンプル実装も豊富に用意

推論

• モデルをデプロイして、エンドポイントから推論が可能

• モデルを動作させるDocker イメージとインスタンスタイプを指定可能

• エンドポイントはオートスケーリング、A/Bテスト機能を持つ


Amazon SageMaker の構成要素

ノートブック

• コンソール上から簡単に必要なライブラリを含んだインスタンスを起動可能

• アルゴリズム開発を高速に実施可能

• 足りないライブラリは後から追加可能

学習

• 指定したインスタンスタイプで Docker イメージを起動して学習を実行

• 複数インスタンスで分散学習を容易に実行

• ビルトインアルゴリズムやサンプル実装も豊富に用意

推論

• モデルをデプロイして、エンドポイントから推論が可能

• モデルを動作させるDocker イメージとインスタンスタイプを指定可能

• エンドポイントはオートスケーリング、A/Bテスト機能を持つ

各要素をそれぞれ個別に利用することも可能また、全て使って一気通貫で機械学習システムを

構築することも可能


ノートブックインスタンスへの素早いアクセス

• マネジメントコンソールからインスタンスを立ち上げて、インスタンス上の Jupyter Notebook にアクセス

(1)

(2)


ノートブック学習推論

の流れ


ノートブック

1. ノートブック上で開発を行う2. 作成した学習用のコードを Docker イメージにパッケージする3. 作成したイメージを ECR にパブリッシュする


学習

1. ノートブックインスタンスからトレーニングジョブを実行2. SageMaker が ECR からイメージを pull して、

S3 上のデータを使って学習を実施（GPU インスタンスを使うことも、複数インスタンスで分散学習させることも可能）

3. 学習が終了したら、S3 にモデルを出力して終了


推論

1. 推論用の Docker イメージを作成して、ECR にパブリッシュ2. ノートブックインスタンスから作成済みデプロイのデプロイを実施3. SageMaker が ECR からイメージを pull して、

指定したインスタンス数だけ立ち上げ、エンドポイントを設定4. エンドポイントに対して推論のリクエストを投げることが可能


ML Engine


ServicesAmazon

RekognitionImage

Platform



MXNet


Amazon Polly

Amazon Lex

Amazon Comprehend

Amazon Translate

Amazon Transcribe

Amazon Rekognition

Video



AmazonKinesis


SageMaker



Deep Learning AMI for Windows


Deep Learning AMI for Windows の提供開始

• これまで Amazon Linux / Ubuntu のみの提供だった Deep Learning AMI が Windows でも提供されるように

• サポート対象 OS は Microsoft Windows Server 2012 R2 and 2016

• 主要なディープラーニングフレームワークをサポート


ML Infrastructure


ServicesAmazon

RekognitionImage

Platform



MXNet


Amazon Polly

Amazon Lex

Amazon Comprehend

Amazon Translate

Amazon Transcribe

Amazon Rekognition

Video



AmazonKinesis


SageMaker



AWS DeepLens

NEW!


ディープラーニングモデルで推論可能なビデオカメラデバイスAWS DeepLens の提供開始

• カメラデバイスに内蔵されたコンピューティングリソースで深層学習モデルによる推論を実現

• 1080Pの映像に対応し、マイクアレイを内蔵。8GB のメモリとIntel ATOM IoT プロセッサによる処理を実行する

• Greengrass Core が内蔵されておりMXNet / TensorFlow / Caffe2をサポート


Amazon で予約受付中


AWS DeepLens によるエッジでの顔検出

例えば、顔が検出されたときのみRekognition Video に動画を送ることが可能となる


AWS Greengrass ML Inference


エッジデバイスで機械学習モデルの活用を容易にするAWS Greengrass ML Inference のプレビュー開始

• AWS Greengrass が稼働するエッジデバイスで、MXNet による深層学習モデルなどの、学習済み機械学習モデルをデプロイ・利用可能に

• AWS上で実施した学習処理の結果をもとに、エッジ側で低レイテンシな処理を実現する

• デバイスが持つ GPU / FPGA などのデバイスに、Lambda 経由でアクセスすることが可能

• SageMaker で学習して、Amazon S3 に配置した学習モデルを、デバイス側でダウンロードして利用する


Greengrass ML Inference の開発サイクル


Other


AWS Machine Learning コンピテンシーパートナー

• データサービス，プラットフォームソリューション，SaaS / API ソリューションなどを含む様々なユースケースに対し、実績ある技術や導入機能の提供を実現し、業界をリードする AWS パートナー

• 以下の 3 カテゴリから構成

• データサービス

• プラットフォームソリューション

• SaaS / API ソリューション


Annotation, Wrangling,Procurement

Media NLP Optimization Other SaaS/API

Data

アノテーション生成データラングリング

データマネジメント予測モデルの学習

モデル評価モデルのデプロイ

モデル管理オフラインとオンラインの予測

コンピュータビジョン自然言語処理

レコメンドエンジン会話インターフェース

イベント予測異常検知

ML コンピテンシーパートナー

Data Science & Machine Learning

Platforms


AWS マーケットプレイスの新たなソリューション

D a t aS o l u t i o n s

M L & D a t a S c i e n c e

I n t e l l i g e n t S o l u t i o n s


Summary


まとめ

• AWS では 4 レイヤーからなる、様々な機械学習サービスを提供

• re:Invent で新たに 9 個の新サービスを提供開始

• これらを活用することで、AWS 上で機械学習システムを構築するのがますます容易に

Services

Platform

Engines

Infrastructure

Documents

AWS re:Invent 2017 Technology re:CAP for FUKUOKA ......2018/01/16 · AWS Deep Learning AMI (Amazon Linux / Ubuntu / Windows) AWS が提供するML サービススタック Amazon