IkaLog osc2016tf

本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。

2004|

2011

2011|

2014

2014|

SEサービス プリセールス @So+wareResearchAssociates,Inc.システム構築、客先のシステム運用、提案でキャリアをスタート→プリセールス〜PMを担当するインフラエンジニア

システムアーキテクト@TrigenceSemiconductor,Inc.エンベデッド開発支援からITシステム管理まで多岐に対応

セールスエンジニア@Fusion-io,Inc.高速半導体ストレージ ioDrive/ioMemoryシリーズのSEとして活動

– 

– 

– 

– 

– 

– 

– 

– 

– 

様々なステージとルール

•  １６のステージ、４つのルール•  勝利に向けチームで立ち向かう

多様な楽しみ方

•  90以上のブキから好きなものを選んでプレイ

• 

• 

• 

NintendoWiiU＆ スプラトゥーン

{“kills”:5,“deaths”:1}

IkaLog

映像 解析結果

ログファイル出力

外部ツール連携

外部Webサイト連携

蓄積／出力先

HDMIキャプチャデバイス

IkaLog実行用PC

引用元　hRp://piroz.hatenablog.com/entry/2016/03/03/215511

hRps://www.youtube.com/watch?v=iVMmSDWHmEo

各シーンへのリンク

味方・敵の構成、成績等

録画ソフト 自動制御

AmaRecTV

カラーLED連動

Fluentd転送

スプラトゥーン戦績記録SNS

CSV/JSONファイル保存 スクリーンショット保存

SNS投稿

IkaLog

• 

• 

20

自分が倒されて行動不能だった時間

イカ（味方／敵　計８匹）の生死状況

チームのスペシャル発動、キル／デス

自分の塗り面積

目標物の確保状況

敵チームのポイント

自チームのポイント

逆転の瞬間

データソースhRps://stat.ink/en_re/user

【ピーク】24時間あたり370ユーザ、約15,000ゲームを分析

毎日 約200ユーザが利用24時間あたり平均4500ゲームを処理

ユーザー

開発者

hasegaw/ikaLog

stat.ink

ダウンロード

記録送信

hasegaw

一部データ(QA用)

　開発、　stat.inkデータに　　よる機械学習

Windows版実行ファイル生成

（本スライド中の画像の一部はイメージであり実際のものとは異なります。）

PR

モツ鍋

ソース映像 マスク画像 加算画像

+==

正しいマスクを加算すると画像が真っ白になる

違うマスクを加算すると画像が真っ白にならない

31

32

34

• 

– 

– 

• 

– 

• • 

• 

• • 

• 

• • 

• 

文字として認識されないことも

●●●

●

■■

■■

?▲

▲

▲

▲?

?

?

?

とてもシンプルな機械学習標本　　　　の傍にあるサンプルがどれかで分類する。K=1の場合は最寄りのサンプルがあるクラスに分類される。K=3の場合は近くに3つのサンプルがあるクラスに分類される。

• – 

• 

• 

– 

– 

問題図形をランダムに生成

K近傍法を用いて、学習済みの図形から、もっとも近い図形を調べる

仕分ける○ △ □

○学習済み図形

○ △ □

• – 

– 

• – 

– 

• 

– 

– 

• 

– 

– 

votes={'supershot':6, 'carbon_deco':1, 'bucketslosher':1, 'octoshooter_replica':1,'splashshield':1, 'sshooter_collabo':5, 'hotblaster':2, 'pablo':1, 'nzap89':6,'sharp_neo':3, 'hotblaster_custom':2, '96gal_deco':18, '52gal':1, 'hokusai':1}

WiiUの画面を取り込む

クラス分類したい部分の画像を抜き出す

特徴画像に変換（ラプラシアンフィルタ＆画像縮小）

sschooter_collabo（スプラシューターコラボ）

K近傍法でクラス分類

– 

– 

– 

– 

スクリーンでは視認しにくいが、ユーザーが様々な解像度の画像を送ってくる「現実」

Thanks@itoooon

– 

– 

– 

– 

57

•  ❌⭕

– • 

• 

– • 

• 

（本スライド中の画像の一部はイメージであり実際のものとは異なります。）

オブジェクトストレージ

作業用インスタンス

onIaaS

１年以上のデータを蓄積総データ量 4TB以上

IkaLogユーザ stat.ink

hasegaw

• 

アスペクト比が壊れている

なぜか画像がズレているリファレンス画像（入力してほしい画像）

0

1

2

3

..

..

n

0

1

2

3

…

89

90

InputLayer OutputLayerHiddenLayer

52gal

52gal_deco

96gal

96gal_deco

…

Sschooter_wasabi

wakaba

• – 

– 

• 

– 

– 

K近傍法 既存ImageNet 新ニューラルネット

認識効率 一部ユーザでは低い

99.9+%

99.9+%

モデルサイズ 20MB（現時点） 400MB(AlexNet)100MB(GoogleNet)

50MB(Float32)25MB(Float16)

分類にかかる時間 とても高速 ~300ms ~100ms

• 

• 

64

HDMIキャプチャデバイス

IkaLog実行用PC

FPGAボード

Processor:Dual-CoreARMCortex-A9FPGA:1.3MreconfigurablegatesMemory:512MBDDR3/FLASHStorage:MicroSDcardslotVideo:HDMIInandHDMIOutAudio:Micin,LineOutNetwork:10/100/1000EthernetExpansion:USBHostconnectedto

ARMPSInterfaces:1xArduinoHeader,2xPmod(49GPIO)GPIO:16GPIO(65intotalwithArduinoandPmods)OtherI/O:6xUserLEDs,4xPushbuRons,2xSwitchesDimensions:3.44”x4.81”

(87mmx122mm)

• – 

– 

• – 

– 

71

HDMI信号

つらい。

MacBook（イカ動画出力）

PYNQ（ARM搭載FPGAボード）

IntelComputeS_ck(音声合成,Terminal）

ゲーム映像出力モニタ