Jubatus と OpenCVで一般物体認識エンジンを

作ろう2013/06/02Usagee Inc.

五木田 和也 ( @kazoo04 )

はじめに

一般物体認識とは？

制約のない実世界シーンの画像に対して、

計算機がその中に含まれる物体を

一般的な名称で認識することを

一般物体認識 (Generic Object Recognition)

と呼び、画像認識の研究において

最も困難な課題の一つである。

柳井啓司　“一般物体認識の現状と今後”

画像に何が写ってるか判別

うさぎ！

入力（画像） 出力（テキスト）

TechCrunchより

http://jp.techcrunch.com/2013/05/24/20130523

Jubatusでやってみよう

うさぎ！

どうやればいいんだろう

• Jubatusに画像を入力するにはどうすればいい？

•画像をなんとかして実数ベクトルで表現したい

•拡大／縮小

•遮蔽

• (３次元の）回転

•移動

•照明変動

•クラス内変動

• etc

考慮すること

＿人人 人人＿ ＞ しんどい ＜ ‾Y^Y^Y^Y‾

Bag of Features(Bag of Visual Words)

http://cogrob.ensta-paristech.fr/indoornavigation.html

処理の流れ

•特徴抽出(OpenCV)

•教師なし学習(OpenCV)

•特徴変換

•教師あり学習(Jubatus)

処理の流れ

画像から特徴抽出

•回転や照明変動に対してロバストなものを選ぶ

• SIFT, SURF, ORB, FREAK, ...

• 1つの特徴点につき数十〜数百次元

• 1つの画像からいっぱい（数千くらい）とってくる

処理の流れ

Bag of Features(Bag of Visual Words)

http://cogrob.ensta-paristech.fr/indoornavigation.html

特徴量の変換 (1)　BoVW

•無数の高次元実数ベクトルをそのままはちょっと…

• Bag of Visual Words (BoVW) アプローチ

•ベクトルを教師なしクラスタリングして代表点をとる

• k-means を使いましょう(Jubatusにも実装予定！)

• 1日くらい、場合によっては数日かかるのを覚悟

特徴量の変換 (1)　BoVW

http://aidiary.hatenablog.com/entry/20120813/1344853878

特徴量の変換 (2)

• BoVWだけだと精度がよろしくない

•画像の特徴をよりよく表現する

•特徴ベクトルの分布とかみていろいろやる

•線形分類できるように設計されたのを使う

•例) Fisher Vector, VLAD

処理の流れ

教師あり学習

•得られた特徴ベクトルから学習する

• Jubatus (jubaclassifier) に丸投げする

•アルゴリズムはAROWかNHERDがおすすめ

• SCW使いてぇ

おわり あとTips

•特徴抽出のときは Dense Sampling する

•クラスタリングの精度はどうでもいい

• BoVW の数はメモリと時間が許す限り増やす

•線形分類用に設計された特徴量を選ぶ

•ディスク/メモリ容量・処理時間の問題