Upload
takeshi-hasegawa
View
4.085
Download
0
Embed Size (px)
Citation preview
本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。
2004|
2011
2011|
2014
2014|
SEサービス プリセールス @So+wareResearchAssociates,Inc.システム構築、客先のシステム運用、提案でキャリアをスタート→プリセールス〜PMを担当するインフラエンジニア
システムアーキテクト@TrigenceSemiconductor,Inc.エンベデッド開発支援からITシステム管理まで多岐に対応
セールスエンジニア@Fusion-io,Inc.高速半導体ストレージ ioDrive/ioMemoryシリーズのSEとして活動
–
–
–
–
–
–
–
–
–
様々なステージとルール
• 16のステージ、4つのルール• 勝利に向けチームで立ち向かう
多様な楽しみ方
• 90以上のブキから好きなものを選んでプレイ
•
•
•
NintendoWiiU& スプラトゥーン
{“kills”:5,“deaths”:1}
IkaLog
映像 解析結果
ログファイル出力
外部ツール連携
外部Webサイト連携
蓄積/出力先
HDMIキャプチャデバイス
IkaLog実行用PC
引用元 hRp://piroz.hatenablog.com/entry/2016/03/03/215511
hRps://www.youtube.com/watch?v=iVMmSDWHmEo
各シーンへのリンク
味方・敵の構成、成績等
録画ソフト 自動制御
AmaRecTV
カラーLED連動
Fluentd転送
スプラトゥーン戦績記録SNS
CSV/JSONファイル保存 スクリーンショット保存
SNS投稿
IkaLog
•
•
20
自分が倒されて行動不能だった時間
イカ(味方/敵 計8匹)の生死状況
チームのスペシャル発動、キル/デス
自分の塗り面積
目標物の確保状況
敵チームのポイント
自チームのポイント
逆転の瞬間
データソースhRps://stat.ink/en_re/user
【ピーク】24時間あたり370ユーザ、約15,000ゲームを分析
毎日 約200ユーザが利用24時間あたり平均4500ゲームを処理
ユーザー
開発者
hasegaw/ikaLog
stat.ink
ダウンロード
記録送信
hasegaw
一部データ(QA用)
開発、 stat.inkデータに よる機械学習
Windows版実行ファイル生成
(本スライド中の画像の一部はイメージであり実際のものとは異なります。)
PR
モツ鍋
ソース映像 マスク画像 加算画像
+==
正しいマスクを加算すると画像が真っ白になる
違うマスクを加算すると画像が真っ白にならない
31
32
34
•
–
–
•
–
• •
•
• •
•
• •
•
文字として認識されないことも
●●●
●
■■
■■
?▲
▲
▲
▲?
?
?
?
とてもシンプルな機械学習標本 の傍にあるサンプルがどれかで分類する。K=1の場合は最寄りのサンプルがあるクラスに分類される。K=3の場合は近くに3つのサンプルがあるクラスに分類される。
• –
•
•
–
–
問題図形をランダムに生成
K近傍法を用いて、学習済みの図形から、もっとも近い図形を調べる
仕分ける○ △ □
○学習済み図形
○ △ □
• –
–
• –
–
•
–
–
•
–
–
votes={'supershot':6, 'carbon_deco':1, 'bucketslosher':1, 'octoshooter_replica':1,'splashshield':1, 'sshooter_collabo':5, 'hotblaster':2, 'pablo':1, 'nzap89':6,'sharp_neo':3, 'hotblaster_custom':2, '96gal_deco':18, '52gal':1, 'hokusai':1}
WiiUの画面を取り込む
クラス分類したい部分の画像を抜き出す
特徴画像に変換(ラプラシアンフィルタ&画像縮小)
sschooter_collabo(スプラシューターコラボ)
K近傍法でクラス分類
–
–
–
–
スクリーンでは視認しにくいが、ユーザーが様々な解像度の画像を送ってくる「現実」
Thanks@itoooon
–
–
–
–
57
• ❌⭕
– •
•
– •
•
(本スライド中の画像の一部はイメージであり実際のものとは異なります。)
オブジェクトストレージ
作業用インスタンス
onIaaS
1年以上のデータを蓄積総データ量 4TB以上
IkaLogユーザ stat.ink
hasegaw
•
アスペクト比が壊れている
なぜか画像がズレているリファレンス画像(入力してほしい画像)
0
1
2
3
..
..
n
0
1
2
3
…
89
90
InputLayer OutputLayerHiddenLayer
52gal
52gal_deco
96gal
96gal_deco
…
Sschooter_wasabi
wakaba
• –
–
•
–
–
K近傍法 既存ImageNet 新ニューラルネット
認識効率 一部ユーザでは低い
99.9+%
99.9+%
モデルサイズ 20MB(現時点) 400MB(AlexNet)100MB(GoogleNet)
50MB(Float32)25MB(Float16)
分類にかかる時間 とても高速 ~300ms ~100ms
•
•
64
HDMIキャプチャデバイス
IkaLog実行用PC
FPGAボード
Processor:Dual-CoreARMCortex-A9FPGA:1.3MreconfigurablegatesMemory:512MBDDR3/FLASHStorage:MicroSDcardslotVideo:HDMIInandHDMIOutAudio:Micin,LineOutNetwork:10/100/1000EthernetExpansion:USBHostconnectedto
ARMPSInterfaces:1xArduinoHeader,2xPmod(49GPIO)GPIO:16GPIO(65intotalwithArduinoandPmods)OtherI/O:6xUserLEDs,4xPushbuRons,2xSwitchesDimensions:3.44”x4.81”
(87mmx122mm)
• –
–
• –
–
71
HDMI信号
つらい。
MacBook(イカ動画出力)
PYNQ(ARM搭載FPGAボード)
IntelComputeS_ck(音声合成,Terminal)
ゲーム映像出力モニタ