Genius Halloween Festival 2016

CLR/H in Tokyo

Halloween Festival 2016

Developer Room #4

Genius Halloween World

3

お願い

• このセッションはデモが多く、また、会場のレイアウトの関係で後方座席はかなり見づらいです。出来るだけ前方の席にお座り頂きますようご協力お願いします

• 赤いラインより下が確認できれば OK

• 状況に応じてデフラグします

• セッション中に PC をご使用される方は、キーボードの打音など他のお客様のご迷惑にならないようご配慮願います

• 写真および動画撮影は OK ですが、SNS への投稿は写真のみでお願いします。

• 他の受講者の方が映り込んだ写真にはご留意下さい

Menu

Introduce MTC

Conversation as a Platform

Cortana / Rinna

Bot Framework

Machine Learning

Cognitive Service

Microsoft Technology Center

Tokyo

Microsoft

Technology

CentersExperience the

Microsoft Cloud

What’s MTC？（Microsoft Technology Center）

マイクロソフトの戦略および製品・テクノロジーについて啓蒙・訴求する部署で各国に 41 拠点に展開され、業種、セグメントに関係なく活動しています

7

MTC メニュー8

Strategy

Briefing

CxO, エグゼクティブ向けの MS 戦略説明

Architecture

Design Session

カスタムブリーフィングや実機使用によるセッション

Proof

of

Concept

PoC やプロトタイプ開発

Microsoft

Solution

Experience

製品・テクノロジーの紹介

Microsoft Technology Center 提供コース9

Office

365

System

Center

Data

Insight

Dynamics

CRMHyper-V

Application

Innovation

Windows

Server

Surface

HUB

IoT

Enterprise

Mobility

Management

Windows

10Robotics

Cyber

Security

Strategy

Briefing

Data

Center

Tour

VoiceAzureFlexible

Work Style

Office Tour

20

Yuichi Kuramoto

Genius HiraiShinobu Furuma

Madoka Sawa

Atsushi Oyaizu

Kanji Kato Atsushi Suzuki

21

ハイレベル高濃度加齢臭集団キャラが濃いので取り扱い注意

Conversations

as a Platform

Conversations as a Platform23

対人間

Cortana vs. Rinna24

EmotionalProductivity

明日の天気は晴れです。

どこか出かける予定でもあるの？

明日晴れるかなぁ？

女子高生人工知能「りんな」（LINE アプリ）

• Bing 検索エンジンで培ったディープラーニング技術＋機械学習のクラウドサービス「Azure Machine Learning」を組み合わせた人工知能• Bingチームによる開発（技術開発には Microsoft Research も参画）

• 発表以前のテストリリース後、口コミだけで１週間で 35万ユーザーを獲得

26

LINE ID：@ms_rinna

りんなとの会話例27

SHARP×りんな in Twitter 28

シャープさん5年のツイートをわずか7時間で！

29

Cortana

• Personal Digital Assistant ：人工 AI 秘書

• Cortana for Android, Cortana for iPad もリリース

• Cortana に対応したアプリ開発も可能

30

Cortana 語録

•おみくじ

•じゃんけん

•冗談言って!

•おはよう

•おやすみ

•何か歌って！

•ジョークを教えて

•長い話をして

• Siri を知っていますか?

•最新の地震情報

•マイクロソフトの株価は？

•次の予定は何

•あなたは誰？

31

Cortana + Power BI

• Power BI とのインテグレーション• Cortana ペインに Power BI をタイルが表示可能に

32

Microsoft Bot Framework34

Bot コネクター35

Skype へ登録36

Azure Machine Learning：概要

•クラウドで機械学習を提供するサービス• 最新の高品質な機械学習アルゴリズムが非常に安価な時間課金で提供• データの抽出からクリーニング、前処理、トレーニングなどすべてブラウザから操作

•予測を行うためのWeb API の作成と配置• トレーニングされたモデルをModule 化し、これを利用して入力値から予測結果を返すWeb Service API を作成

• 作成した API はアプリから利用

• OSS（R 言語や Python）も活用可能• R 言語や Python を実行するためのModule (R は 350 以上) が提供• 既存の R や Python のパッケージをインポートすることも可能

•費用は従量課金• ハードウェアやライセンスを購入不要• 固定費を削除して必要な時に必要なだけ利用

38

Azure Machine Learning：適用領域39

レコメンデーション

広告効果分析

ビジネスへの気象情報活用

SNS分析

Webアクセス

ログ解析法的ドキュメントの検証

価格最適化不正検知

顧客解約分析

機器予防保全

ロジスティクス最適化

カスタマイズ保険

Machine Learning：ML Studio40

キャンパスにフロー部品を配置して接続

部品ごとの設定はプロパティペインで

フロー部品

実行ボタン（課金対象）

モデルをWeb サービスへ配置

Machine Learning：モデリングモジュール

•クラス分類（クラス確率推定）• 母集団に属する要素が、ある基準で分けたどの集合に分類されるかを予測する

• どの設備が故障するか？

• 故障予兆が「ある」「ない」に分類

• 既存顧客の中でキャンペーンのオファーに反応するのは誰か？

• 「反応する」「反応しない」に分類

•回帰• 個々のデータに対して、未知の変数（属性）の数値を予測あるいは推定する

• オファーに反応する顧客 A はいくら購入してくれるか？

• クラスタリング• 特定の分類基準を与えず、データを基に類似性を見つけて母集団をグルーピング

• どのターゲット顧客グループにどのような製品を開発・提供するべきか？

• 販売チームをどのように組織するべきか？

• 異常値検出• 定常状態とは異なる状態を発見する

• ネットワーク攻撃を受けているのかどうか

• 詐欺による取引かどうか

41

基本的な予測モデルの作成例42

トレーニングデータの読込み

データクレンジング・メタデータ設定

読み込んだデータを「トレーニングデータ」と「評価用

データ」に分割

予測モデルの作成に使用するアルゴリズム

予測モデルの作成（トレーニング）

左インプット：利用するアルゴリズム右インプット：トレーニングデータ

作成した予測モデルを評価する為に、評価用データで予測を実行

予測結果の評価と可視化

予測モデルの評価指標43

ML Studio : Experiments > Evaluate Model > Evaluation Result

• True Positive

• False Positive

• True Negative

• False Negative

• Accuracy

• Precision

• Recall

• F1 Score

• Threshold

• AUC

AUC 0.9 - 1.0 High accuracy AUC 0.9 - 0.7 Moderate accuracy AUC 0.5 - 0.7 Low accuracy

Deep Learning

Deep Learning（深層学習）

•定義• 多層（3層以上）の構造を持つニューラルネットワーク

• ニューラルネットワーク（Neural Network, NN）• 脳機能に見られるいくつかの特性をシミュレーションによって表現した数学モデル

•種類• 畳み込みニューラルネットワーク（Convolutional Neural Networks：CNN）

• 再帰型ニューラルネットワーク（Recurrent Neural Network：RNN）

•活用領域• 画像認識や音声認識が主流

• データ構造がある程度経験的に知られている画像や音声に対しては効果的であるものの、自然言語処理などデータ構造があまり判明していないデータに対して課題が残る

•課題• ディープラーニングはアルゴリズムよりもデータの質と量が重要なので、膨大なデータを有しており、かつ、それを高速に処理する CPU/GPU リソースが必要

45

Deep Learning in Azure Machine Learning

• Azure Machine Learning で深層学習• https://azure.microsoft.com/en-us/documentation/articles/machine-learning-azure-ml-netsharp-reference-guide/

• ニューラルネットワークアルゴリズム• Multiclass Neural Network

• Two-Class Neural Network

• Neural Network Regression

• Net#• ニューラルネットワークを定義する言語

46

https://azure.microsoft.com/en-us/documentation/articles/machine-learning-azure-ml-netsharp-reference-guide/

CNTK：Microsoft Computational Network Toolkit

• Microsoft Research が公開している深層学習（ディープラーニング）用のツールキット

• https://cntk.ai/

• オープンソース（MITライセンス）

• Githubで公開• https://github.com/Microsoft/CNTK

• Windows と Linux

• 64 bit 環境のみ

• 画像認識ベンチマーク ImageNet

で記録更新！• 1000カテゴリの画像について 96％以上の確率で正しく分類

• 従来の5倍近くも深い152レイヤのニューラル・ネットワーク• CNTK + Azure GPU Lab

• https://blogs.nvidia.co.jp/2015/12/10/microsoft-gpus-image-recognition/

47

https://cntk.ai/

https://github.com/Microsoft/CNTK

https://blogs.nvidia.co.jp/2015/12/10/microsoft-gpus-image-recognition/

Cognitive Services を利用した話題のサイト

• How-Old.net • What-Dog.net • CaptionBot

49

http://how-old.net/# https://www.what-dog.net/# https://www.captionbot.ai/

http://how-old.net/

https://www.what-dog.net/

https://www.captionbot.ai/

Cognitive Services API 一覧50

VISION

Language

Knowledge

Search

Speech

Computer

Vision Face Emotion Video

Bing

Speech

Custom

Recognition

Intelligent Service

Speaker

Recognition

Bing

Spell Check

Language

Understanding

Intelligent Service

Linguistic

Analysis

Text

Analytics

Web

Language

Model

Academic

Knowledge

Entity

Linking

Intelligence Service

Knowledge

Exploration

Service Recommendations

Bing

Autosuggest

Bing

Image

Search

Bing

News

Search

Bing

Video

Search

Bing

Web

Search

IBM Watson との比較51

Cognitive Services

画像認識・ビデオ処理顔認識・感情認識テキスト解析自然言語処理

音声認識・音声合成翻訳・検索

Azure IaaS

仮想マシン・ネットワーク・ストレージ

Azure PaaS

Web サイト・Web API

データベース・モバイルサービス

Watson

SoftLayer

Bluemix

IBMMicrosoft

AP

IIa

aS

PaaS

• Natural Language

Classifier

• Retrieve and Rank

• Dialog

• Document

Conversion

• Speech to Text

• Text to Speech

Bot Framework

チャットボットダイアログコネクタ

Machine Learning

クラス分類リコメンデーションクラスタリング

回帰

Computer Vision APIs - Analyze an image

• 86 Category • people_crowd

• animal_dog

• food_bread

52


• Dominant color • Foreground, Background, Colors

• 12 color names

• Accent color

• Black & White• true / false

• Image Type• 0 Non-clipart

• 1 ambiguous

• 2 normal-clipart

• 3 good-clipart

• Line drawing type• true / false

53

Foreground Background Colors Accent

Black Black White #BC6F0F

Black White

White,

Black,

Green

#CAA501

Black & White

True False

Image Type

good-clipart Non-clipart

Line drawing type

True False


• faces • faceRectangle：座標（矩形）

• gender：性別

• age：年齢

• adult• isAdultContent

• isRacyContent

54

"adult": {

"isAdultContent": true,"isRacyContent": tue,"adultScore": 0.8524786829948425,"racyScore": 0.9641820192337036

}

[{"age":29, "gender":"Female", "faceRectangle": {"left":447,"top":195,"width":162,"height":162}

},{"age":11, "gender":“Female", "faceRectangle":{"left":355,"top":87,"width":143,"height":143}

}]

Computer Vision APIs - OCR

• OCR 分析結果• textAngle

• orientation

• language

• regions

• lines

• words

• boundingBox

• text

•入力イメージ• フォーマット：JPEG, PNG, GIF, BMP

• サイズ：4MB 以下• 40 x 40 ～ 3200 x 3200 pixels

• 100 M pixels 以下

•対応言語

• Chinese Simplified, Chinese Traditional,

Czech, Danish, Dutch, English, Finnish,

French, German, Greek, Hungarian,

Italian, Japanese, Korean, Norwegian,

Polish, Portuguese, Russian, Spanish,

Swedish, Turkish

55

Video API

• Face Detection and Tracking• 顔認識（同時 64人）

• 24x24～2048x2048 ピクセル

• MP4, MOV, WMV 形式• 100MB 以下

• Motion Detection• 動体検知

• Stabilization• 手ぶれ補正

• Azure Media Service のMedia Analytics 機能でも使用されている

56

Cognitive Services API の利用方法

• REST API でのアクセス• データは JSON 形式で通信は HTTP(S) : GET/POST

• プラットフォームや開発言語を問わない

57

API の利用方法 STEP1（Free）

• Microsoft アカウントで Sign-in して API キーを入手（各サービスごと）

58


•対象のサービスの API Reference を参照

•各言語でのコード記述例があるのでそれを利用

59


•イメージの渡し方は２つ1. サービスからアクセス可能な場所に画像を配置してその画像の URL 文字列を渡す

2. ContentTypeを application/octet-stream か multipart/form-data にしてバイナリで渡す

• 戻り値の処理• 解析されたデータは JSON 形式（文字列）で戻る

• データのスキーマは各サービスの API Reference で確認しておく

• エラー処理• POST 後の HTTP ステータスコードで確認

• Response 400：InvalidImageUrl, InvalidImageFormat, InvalidImageSize,

NotSupportedVisualFeature, NotSupportedImage• Response 415：InvalidMediaType

• Response 500：FailedToProcess, Timeout, InternalServerError

60

We are looking forward to your attend !

November 1-2

Thanks for Attending !CLR/H in Tokyo