IkaLog Presentation for BMD users

本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。

2004  |  

2011

2011  |  

2014

2014  |  

SEサービス プリセールス  @  So+ware  Research  Associates,  Inc.  システム構築、客先のシステム運用、提案でキャリアをスタート →  プリセールス〜PMを担当するインフラエンジニア

システムアーキテクト  @  Trigence  Semiconductor,  Inc.  エンベデッド開発支援からITシステム管理まで多岐に対応  

セールスエンジニア  @  Fusion-­‐io,  Inc.  高速半導体ストレージ ioDrive  /  ioMemory  シリーズの  SE  として活動

様々なステージ  

•  ステージごとに幾つもの戦略が知られている  

•  敵がどう攻めてくるか知り、  予測する必要がある

ブキ編成  

•  各ステージやルールに対して、幾つかのブキが「有利」で  あることが知られている  

HDMI  キャプチャデバイス

IkaLog  実行用PC

• 

• 

• 

Nintendo  WiiU  ＆ スプラトゥーン

{  “kills”:  5,  “deaths”:  1  }  

IkaLog

映像 解析結果

ログファイル出力

外部ツール連携

外部Webサイト連携

蓄積／出力先

録画ソフト 自動制御

AmaRecTV

カラーLED連動

Fluentd  転送

スプラトゥーン戦績記録SNS

CSV/JSONファイル保存 スクリーンショット保存

SNS投稿

IkaLog

• 

• 

13

自分が倒されて  行動不能だった時間  

イカ（味方／敵　計８匹）の生死状況

チームのスペシャル発動、キル／デス  

自分の塗り面積  

データソース  hUps://stat.ink/enXre/user

【ピーク】  24時間あたり  370ユーザ、約15,000ゲームを分析  

毎日 約200ユーザが利用  24時間あたり平均4500ゲームを処理

hUps://www.youtube.com/watch?v=iVMmSDWHmEo

各シーンへのリンク

味方・敵の構成、成績等

大型スクリーンにWii  U出力  4台分を投影    UltraStudio  Mini  Recorderで  キャプチャした画像を用いて  関連機材を自動制御  

引用元　hUp://piroz.hatenablog.com/entry/2016/03/03/215511

DirectShow  (Windows)

AVFoundaXon  キャプチャライブラリ  

videoInput  ライブラリ

AVFoundaXon  (MacOS  X)

キャプチャ用  開発ライブラリ  

キャプチャ  フレームワーク  

HDMI映像取り込みのための  キャプチャデバイス  ソース映像に忠実な製品を  開発のリファレンスデバイスとして選定  

「スプラトゥーン」に特化した画像解析処理  ・Wii  Uからの720p  HDMI入力映像を解析  ・画像認識、機械学習の応用により  　ゲーム状況をデータ化    Powered  by  

• • 

• 

• • 

• 

キャプチャ環境  開発環境

録画データをコピー

開発結果をコピー

【Windows環境】  ・映像キャプチャ用製品が多い  ・キャプチャ時にOSクラッシュも度々・・・  ・ここ10年Windowsを使っておらず、  　慣れていなかった

【Mac環境】  ・映像キャプチャ用製品が少ない、  　もしくはサポートが限定的なもの多い  ・Python開発に使いやすいUNIX  OS  ・私がキャプチャデバイスを持っておらず  　データコピーが苦痛だった

Blackmagic  Design  UltraStudio  Mini  Recorder  導入によるメリット  ・テスト目的のキャプチャやデータ収集を開発機から直接行えるようになった  ・開発中のコードをすぐにテストできるようになった  ・画質にクセがなく、成果物が多くの環境でもほぼ動作する  

データ収集、開発、テスト

• 

– 

– 

• 

– 

– 

• 

• 

– 

• 

ソース映像 マスク画像 加算画像

+ = =

正しいマスクを加算すると画像が真っ白になる

違うマスクを加算すると画像が真っ白にならない

38

• 

– 

– 

• 

– 

事前に学習してある文字データ  （正解がわかっている）

各画像に対して、どの文字が最も  近い（似ている）かを判定した結果

43

• 

• 

• 

• 

他の装備品が被っている 保護色（１） 保護色（２）

入力画像 ラプラシアンフィルタ適用

グレー  スケール

特徴量画像  （合計64ドット)  

Thanks  @itoooon

輪郭情報

• 

• 

– 

• 

•