16/07/20

観光用リアルタイム画像認識システムの構築

5 年情報工学科 兒玉拓巳

本研究の取り組み

花だ !

1 観光用リアルタイム画像認識システムの構築

黄色だ !

でも品種は何？

花の品種を調べる手段は手探り ( 図鑑等 )

・道端や旅先で花を見つけたとき…

画像認識技術を使って簡単に品種特定

品種特定までの流れ

・作業は大きく分けて以下の 2 フェーズ

1. 入力映像から　花の色・形状の特徴抽出

2. 特徴量データを基に機械学習を用いた識別

3 観光用リアルタイム画像認識システムの構築

? ?

≡ !

品種を特定し識別結果を表示

第 1 フェーズ (1)… 映像の入力・処理

4 観光用リアルタイム画像認識システムの構築

・識別対象の花をシステムへと入力

　

入力媒体の種類には幅広く対応

webcam各入力媒体

識別対象の花

撮影 提示

第 1 フェーズ (2)… 映像の入力・処理

5 観光用リアルタイム画像認識システムの構築

・入力パターンの花弁の色はシステム内でまずユーザに指定してもらう

　

指定された色をターゲット色として処理を開始する

Red

Blue

Yellow

Cyan

Magenta

White入力パターン

第 1 フェーズ (3)… 映像の入力・処理

6 観光用リアルタイム画像認識システムの構築

・入力映像を H,S,V に分割し、閾値処理を施す

　

閾値操作によりターゲット色のみを抽出

入力パターン

Yellow を指定

閾値処理後の画像

H:15 ～ 40S:76 ～ 255V:127 ～ 25

第 1 フェーズ (4)… 映像の入力・処理

7 観光用リアルタイム画像認識システムの構築

・マスク画像の作成 ( 確認 )

　

綺麗に黄色の花弁領域を抽出できている

Yellow の抽出画像

第 1 フェーズ (5)… 映像の入力・処理

8 観光用リアルタイム画像認識システムの構築

・膨張 / 圧縮によるノイズの除去＆ラベリング処理

　

最大面積の花弁を抽出し識別対象とする

Yellow の抽出画像Yellow の抽出画像

第 1 フェーズ (6)… 各特徴の抽出

9 観光用リアルタイム画像認識システムの構築

・実際の花弁の色を調べる

　

Ha, Sa, Vaを色特徴として抽出

　花弁領域内の全ピクセルを走査し…

H,S,V 各値の平均値Ha, Sa, Vaをとる

Ha: 46(/180) Sa: 97(/100) Va:79(/100)

第 1 フェーズ (7)… 各特徴の抽出

10 観光用リアルタイム画像認識システムの構築

・凸包内の花弁面積の割合 Csを計算

　

Csを形状特徴として抽出

花弁領域画像

Cs = 0.982699

第 1 フェーズ (8)… 各特徴の抽出

11 観光用リアルタイム画像認識システムの構築

・花弁の重心Gから各極大・極小点までのユークリッド距離Diを計測

　

花弁領域画像

第 1 フェーズ (8)… 各特徴の抽出

12 観光用リアルタイム画像認識システムの構築

・花弁の重心Gから各極大・極小点までのユークリッド距離Diを計測

　

D = 1.111

Diの平均距離値Dを距離特徴として抽出

花弁領域画像

第 1 フェーズ (9)… 各特徴の抽出

13 観光用リアルタイム画像認識システムの構築

以上、カメラ映像から抽出できた特徴は…

　

各特徴値をもとに第 2 フェーズの識別へ

・花弁の色相 (H) の全平均値Ha・花弁の彩度 (S) の全平均値 Sa・花弁の明度 (V) の全平均値Va

・ Convex Hull 内の面積値の割合 Cs・重心から頂点までの平均距離値D

(46, 97, 79)

0.983

1.111

第 2 フェーズ (1)… 特徴を用いた識別

14 観光用リアルタイム画像認識システムの構築

・第 1 フェーズで抽出した特徴量を基に 機械学習を用いてクラス分類　

入力パターン

識別アルゴリズムは k最近傍決定則を使用

Ha : 46Sa : 97Va : 79Cs : 0.983D : 1.111

特徴空間

第 2 フェーズ (2)… 特徴を用いた識別

15 観光用リアルタイム画像認識システムの構築

・各学習パターンには教師ラベルを付与　

各クラス 10パターン以上を学習させる

クラスω1 クラスω2 クラスω3 クラスω4

クラスω6クラスω5 クラスω7 クラスω8...

リアルタイム動作

17 観光用リアルタイム画像認識システムの構築

ループを繰り返すことで秒単位のリアルタイム動作を可能に

第 1 フェーズ … 入力映像から花の特徴抽出第 2 フェーズ … 特徴量データを基に識別

　　

第 2 フェーズ識別

・両フェーズの作業をOpenCV ライブラリで行う　

第 1 フェーズ　特徴抽出

リアルタイム動作の様子

18 観光用リアルタイム画像認識システムの構築

1 認識 /0.7s程度のスピードに設定

評価実験 :概要

19 観光用リアルタイム画像認識システムの構築

・代表的な 3 クラスを対象に評価実験

　

クラスω1 クラスω2 クラスω3

花弁の色 白色 黄色 白色

花弁の形状 丸い 丸い 尖っている

実際の識別精度を求める

評価実験 : 結果

20 観光用リアルタイム画像認識システムの構築

・ 3 クラスでの識別結果

　

IN＼OUT クラスω1 クラスω2 クラスω3 Error(%)

ω1 15 0 6 6/21 = 29%

ω2 0 33 0 0/33 = 0%

ω3 2 0 12 2/14 = 14%

評価実験 :考察 (1)

23 観光用リアルタイム画像認識システムの構築

　

IN＼OUT クラスω1 クラスω2 クラスω3 Error(%)

ω1 15 0 6 6/21 = 29%

ω2 0 33 0 0/33 = 0%

ω3 2 0 12 2/14 = 14%

・クラス ω1 とクラス ω3

花弁色が類似して、形状は異なる

識別精度は完璧ではなかった

評価実験 :考察 (2)

24 観光用リアルタイム画像認識システムの構築

　

・形状に関わらず、花弁色が異なる花

識別精度は非常に高い (100%)

・形状が異なり、花弁色が類似する花

識別精度は完璧ではない (7~80%)形状に関する特徴が不十分である

社会貢献

25 観光用リアルタイム画像認識システムの構築

・「観光用」なので一般公開を目指す

　 識別対象を宗谷地方礼文島の花とした　　

現地で一般観光客の利用を目指している

　　礼文島に研究の許可は直接交渉済　

図 :礼文島の位置小さな島だが 300種もの花が咲く

当システムの改善点

26 観光用リアルタイム画像認識システムの構築

一般公開を想定して…

・大規模クラス識別への対応

・類似色クラス間での識別率の向上

識別可能な花の品種の増加

形状に関する特徴抽出量を増加

・追加学習の導入の検討

一度識別した未知パターンの特徴量を、学習パターンへと応用できるようにする

おわりに

27 観光用リアルタイム画像認識システムの構築

・最終目標は、識別精度を完璧にし

・もし実用化した場合、地域社会にどれだけ貢献できるか

地域活性化について情報科学からのアプローチ

進学先でも研究を続け、是非実現させたい

システムを実用化して世に送り出す　こと

16/07/20

終わり

凸包 : Convex Hull とは

ex.1 観光用リアルタイム画像認識システムの構築

・花弁の頂点を輪ゴムをかけるように線で囲む

凸包領域内の花弁面積の割合を求める

Cs = 0.665528

k 最近傍決定則とは

ex.2 観光用リアルタイム画像認識システムの構築

・最近傍決定則の多数決版

　未知パターン

学習パターン 1

学習パターン 2

k番目までに近い学習パターンにより識別

k=3

k=5

k=3 の場合…　　 k=5 の場合…

第 2 フェーズ…特徴を用いた識別 (ex.)

ex.4 観光用リアルタイム画像認識システムの構築

・クラスの内訳　

......さまざまな角度や光加減の画像を用意

ex.5 観光用リアルタイム画像認識システムの構築

全 8 クラス実験結果 ( パターン数 161)

IN/OUT ω1 ω2 ω3 ω4 ω5 ω6 ω7 ω8 e(%)

ω1 15 0 6 0 0 0 0 0 29%

ω2 0 24 0 0 9 0 0 0 27%

ω3 0 0 6 8 0 0 0 0 57%

ω4 2 0 4 22 0 0 0 0 21%

ω5 0 6 0 0 17 0 0 0 26%

ω6 0 0 0 0 1 12 0 0 8%

ω7 0 0 0 0 0 0 13 2 13%

ω8 0 0 0 0 0 0 0 10 0%

当システムの改善点 (2)

ex.6 観光用リアルタイム画像認識システムの構築

・花弁色選択のバリエーションを増加

・映像入力に高画質カメラの導入

システムの識別率の向上のために…

・各学習パターンのサンプル数を更に増加

・学習や識別にNN法ではなくより近代的な SVM等を適用

・クラス分類を大分類→詳細分類→…と階層的に行う

機械学習

ex.7 観光用リアルタイム画像認識システムの構築

　　データの集まりから機械に学習をさせ、質問に答えられるようにする

・ K-最近傍ユークリッド距離で近傍なK点の多数決で決定

・決定木if-then方式で tree を組み立て、候補を絞る

・ SVM 　　 線形関数の候補内から最適な関数を選ぶ

評価実験 :考察 (3)

21 観光用リアルタイム画像認識システムの構築

　

・クラス ω1 とクラス ω2

花弁色が異なり、形状は類似する

識別精度は非常に高かった (100%)

IN＼OUT クラスω1 クラスω2 クラスω3 Error(%)

ω1 15 0 6 6/21 = 29%

ω2 0 33 0 0/33 = 0%

ω3 2 0 12 2/14 = 14%

評価実験 :考察 (4)

22 観光用リアルタイム画像認識システムの構築

　

・クラス ω2 とクラス ω3

花弁色が異なり、形状も異なる

識別精度は非常に高かった (100%)

IN＼OUT クラスω1 クラスω2 クラスω3 Error(%)

ω1 15 0 6 6/21 = 29%

ω2 0 33 0 0/33 = 0%

ω3 2 0 12 2/14 = 14%