第1 0 回　 パターン認識

1

第 10 回　

パターン認識

2

　画像認識の概念 物体認識 (object recognition): 画像中に映っている認識対象の種別、位

置、姿勢を同定すること 分類 (classification): パターン認識 予め与えられたカテゴリーのどれに該当

するかを同定すること　　　～　文字認識、音声認識

パターン認識 v.s. ３Ｄ物体認識

パターン認識・記号（文字，音声，

・）が対象・個人性が変形要因

・検出と認識は独立化可能

３Ｄ物体認識 ・人工物，自然物が

対象 ・視点変化による形

状変化が変形要因・検出と認識は不可

分

4

パターン認識における特徴抽出

← 幾何学的← 統計的

5

パターンのベクトル表現

f1 f2

fR

=

f1

f2

・

・

・

fR

= 　　 f

=

6

メジャー：距離か、角度か？ 距離で測ると濃度の違いは大きい 角度で測ると濃度の違いは小さい 角度で測る（ Ss = cos2θ ：単純類似度）

d

θ

7

同じパターンとは？ 濃度が違うパターンは違うと見るのか？

濃度が違っても同じと見たい（濃度＝ノルム）

8

白黒の反転は同じか？ 濃度の変化を無視するなら、

白黒の反転も同じとみるべき

9

パターンの分布 超楕円錐形

反対側もある（白黒反転）

10

同じパターンとは？ 背景が違うパターンは違うと見るのか？

背景が違っても同じと見たい（背景＝ＤＣ成分）

11

正準化とその意義 オール灰色パターンの直交補空間に射影

オール灰色は意味がない＝０であって欲しいオール灰色

ボケボケ

正準化正準化

ボケボケ

０に近づく

不変

12

部分空間法 分布を部分空間で近似

部分空間の中を同じと見なす

13

部分空間法 .vs. 単純類似度 分布を部分空間で近似

ｖｓ　代表元（単純類似度） cos2θ 　 = { ( f, φ1 )2+( f, φ2 )2 } / || f ||2

φ1

φ2

θ

fφ1 φ2 ：正規直交基底ベクトル　← 　各クラスに属するパターンの自己相関行列Ｒの固有ベクトル

CLAFIC 法（渡辺慧，１９６９）：ＫＬ展開により部分空間を作成

14

部分空間法未知入力パターン・ベクトルｐと辞書パターン・部分空間 Qの成す角度 θ1 を類似度として識別を行う

2

2 12

( , )cos

|| ||ip q

p

N

iSi

N 　 ：　 N 次元の辞書部分空間 Q を 張る基底ベクトルの数

(p,qi) : 入力ベクトル p と辞書部分空間 Q の第 i 基底ベクトル qi との内績

15

Karhunen-Loeve の展開（ＫＬ）法：

共分散行列を対角化する行列で変換することにより無相関化 Principal Component Analysis

（主成分分析）と同値• K. Karhunen （ 1946 ）• M. Loeve （ 1948 ）• H. Hotelling （ 1933 ）

パターン認識での再発見• 飯島 泰蔵 （ 1963 ）　　「視覚パターンの基礎方

程式」• 渡辺 慧 （ 1965 ）　「醜いアヒルの子の定理」• Ｅ． Oja(1983) Subspace Method( 部分空間法 )

16

複合類似度法 複合類似度法の導出：

部分空間法の変形　～類似度計算過程において，　　固有値による重み付加　 { ( f, φ1 )2+λ2/λ1( f, φ2 )2 } / || f ||2

カテゴリ l に属するパターン集合を {fα} とする パターン f のカテゴリ l に対する平均類似度

• Sm(l) [f] =Σαwα

(l) (f, fα)2 / {|| f ||2 ||fα||2} =Σm=1

M λm(l) (f, φm

(l))2 / {λ1(l)|| f ||2}

λm(l) 、 φm

(l) は行列 K(l) の固有値と固有ベクトル K(l) = Σαwα

(l) <fα, fα> / ||fα||2

= Σm=1M λm

(l) < φm(l), φm

(l) > 上記 Sm

(l) [f] の変分を 0 とする極値として求まる

fα

17

醜いアヒルの子の定理（渡辺慧， 1969 ）

「醜いアヒルの子と普通のアヒルの子とは、似通った２羽のアヒルの子が似ているのと同じ程度に似ている」

　～　２つのものの類似性をある基準（例えば、共に真である記述の個数）で測ると、どの２つの類似性も等しい

　～　特徴選択を行っただけでは、　対象を複数のクラスに分類することはできない．

　　特徴に重要性（重み）を付加することが、パターン認識における特徴選択の本質

18

部分空間法のバリエーション 複合類似度法

Sm(l)[f] =Σm=1

M am(l)( f, φm

(l) )2 / || f ||2

混合類似度法（大、犬、太を区別したい） Sc

(l)[f] =Σm=1M am

(l)( f, φm (l)

)2 / || f ||2

- Σn=1N bm

(l)( f, ψn (l)

)2 / || f ||2

大 犬 太

19

部分空間法のバリエーション：軌跡 単純類似度、複合類似度、混合類似度

( f, φ1 )2 、 ( f, φ1 )2 + ( f, φ2 )2 、 ( f, φ1 )2 - ( f, φ2 )2

　が　一定の軌跡　と　ノルム || f ||φ2

φ1

f

φ1

φ2

f

φ1

φ2 f

20

部分空間法の拡張 相互部分空間法

日立の特許• 辞書を部分空間にしないで入力を部分空間

辞書・入力　両方とも部分空間• 相互部分空間法

文字認識手法として提案，顔認識手法として普及

21

相互部分空間法Ss

(l)[f] = λmax

λmax は行列 X の最大固有値X = (xij), xij = Σm=1

M ( ψi ,φm(l)) ( φm

(l) ,ψj

)φm

(l) は辞書の部分空間の基底、

ψi 　は f から作られる部分空間の基底λmax = 1λnext = cos2θ

θ

22

相互部分空間法未知入力パターン・部分空間 Pと辞書パターン・部分空間 Qの成す最小角度 θ1 に基づいて識別を行う

22

2 2,|| || 0,|| || 0

| ( , ) |cos max

|| || || ||Miu P v Qu v

u v

u v

入力側がベクトルである部分空間法と比べ、　　　　　パターン変動に対する吸収能力を更に高めた手法

θ1 　：　第１正準角 ( 最小正準角）

2 つの部分空間の成す角度は統計学に　　　おいて正準角と呼ばれ、 M 次元部分空間 P と N 次元部分空間 Q （ M≧N ）の間には N 個の　正準角が定義できる

23

制約相互部分空間法

相互部分空間法では識別に貢献しない成分（照明等による影響）まで含めて識別を行う

識別に有効な成分から構成される制約部分空間への射影を相互部分空間法に付加した方法

福井和広 ,山口修“一般化差分部分空間に基づく制約相互部分空間法” ,信学論 D‐ ,Vol.87-D-2,No.8,pp1622-1631(2004-8)Ⅱ

24

本当に部分空間法で良いのか？

バナナ分布入江文平氏が発見

25

ノーフリーランチ定理 「あらゆる問題で性能の良い汎用最適化戦略は理論上不可能であり，ある戦略が他の戦略より性能がよいのは、現に解こうとしている特定の問題に対して特殊化（専門化）されている場合のみである． 」

　～　問題領域の知識を可能な限り使用して　　最適化すべき．

顔画像処理による対話型コミュニケーションの研究

知能情報工学講座西　奈津子

27

目的障害者・高齢者 (寝たきり・聾唖者）の

社会参加の機会が増大

日常会話が困難な障害者・高齢者とのコミュニケーションシステムの開発

顔画像処理 (口部パターン認識 ) による対話型コミュニケーションシステムの

プロトタイプ開発基盤研究 (C)(2)「分散視覚エージェントの統合に基づく

親和的情報空間の展開」の一環として実施

28

従来のアプローチ筋萎縮性側索硬化症（ ALS) を対象

（１） 身体装着センサ方式によるメニュー選択伝の心 (日立ケーイーシステムズ社）・はなしっ子

（センサ社）（２） 脳血液量変化検出方式 による選択

重度 ALS患者用 Yes/No 検出装置（日立製作所 )

（３） 表情の変化を使用したスイッチ代行方式伝の心 (日立ケーイーシステムズ社）視線を用いた文字入力装置国立身体障害者リハビリテーションセンター研究所･

福祉機器開発部

29

口部パターン認識の提案手法

相互部分空間法を用いた口部パターンの認識

4種類の口部パターンの各々の辞書パターンと　　未知入力パターンを部分空間で表現し、 2つの　　　部分空間のなす最小角度を尺度として識別を行う

30

日常会話の階層化

あいさつ

飲食関係

訴え 他の要望外へ

行きたいテレビが

見たい

音楽が聴きたい

眠りたい

おはよう こんにちは

こんばんは

ありがとう

飲み物が欲しい

お腹が空いた

お菓子が欲しい

何も食べたく

　ない

トイレに行きたい

あつい

さむい いたい

各階層を４つのグループに分割

31

あいさつ 飲食関係

訴え 他の要望“口をつぼめる”

口部形状パターンの割り当てと

明度ヒストグラムの対応“口を開ける” “歯を見せる”

“舌を出す”

32

2 つの領域の面積のみを使用

0 ～ 255 間の全ての明度値を使用し

て部分空間を作成

明度分布の特徴部分を用いた口部パターン認識（ B4 ・M1 ）

相互部分空間法を用いた口部パターン認識（ M2 ）

画像明度分布全体を使用して部分空間を作成することにより、個人差による画像明度分布の違いに対するロバスト性が期待できる

33

ｔ ｔ

ｔ＋１ ｔ＋１

ヒストグラム変化量 （ H ｔ） ＜ TH1

255 　　　明

度ヒストグラム変化量（ H ｔ） ＞＝ TH1

結果確認のための口部処理１．口部分の形状を維持 ２．口部分の形状を変化

選択結果は正しい 選択結果が間違っている

一定時間継続

255

10

( ) ( ) |t t ti

H h i h i

|＝

34

実験結果

35

認識結果の比較

　 口を　　　開ける

歯を　　　見せる

口を　　　つぼめ

る舌を　　

　出す 平均

相互部分　　空間法 78.0% 74.5% 82.0% 73.7%

部分空間法 63.2%　

53.3%　

52.6%　 49.2%

54.6%　

特徴部分のみを用いた手法 57.2% 65.1% 63.1% 66.4%

口部　　　　　パ

ターン手法

80.2%

77.1%

共通の辞書部分空間を作成した場合の認識率

36

　 口を　開ける

歯を　見せる

口をつぼめる

舌を　出す 平均

相互部分空間法 100% 90% 100% 100%

被験者 A

被験者 B

　 口を　開ける

歯を　見せる

口をつぼめる

舌を　出す 平均

相互部分空間法 89.7% 86.2% 93.5% 97.7%

個別の辞書部分空間を作成した場合の認識率

91.8%

97.5%

37

被験者 A 被験者 B

個別の辞書部分空間を作成した場合の認識率

　口を　　　開

ける

歯を　　　見せる

口を　　　つぼめる

舌を　　　出

す平均

共通辞書 78.0%

74.5%

82.0%

73.7%

77.1%

個別辞書(被験者 A)

89.7% 　

86.2% 　

93.5% 　

97.7%

個別辞書(被験者 B)

100%

90.0%

100%

100%

97.5%

91.8%

口部　　　　　パタ

ーン辞書　　　部分空間

個別辞書作成時間　：　 1 つの口部形状につき，約1sec

38

障害者による認識実験

被験者　 7名（男性 4名，女性 3名　年齢 38歳～ 64歳）

・鹿児島市　身体障害者施設・誠光園　入居者

・障害等級　 1級～ 2級・障害名　　脳卒中による身体の部分的な機能全廃・機能障害　　脳性小児麻痺　　頚椎先天奇形による機能障害

39

障害者による実験結果

40

障害を持つ被験者に対し個別の辞書部分空間を作成した場合の認識

率

　 口を　開ける

歯を　見せる

口をつぼめ

る舌を　

出す 平均

相互部分空間法

81.0%

86.3%

79.1%

78.8%

81.3%