画像特徴（点、直線、領域）の検出と識別 -3

画像特徴（点、直線、領域）の検出と識別 -3

Hough変換投票と多数決原理に基づく幾何学的対象の検出と識別

参考書： 松山隆司、久野義徳、井宮　淳、参考書： 松山隆司、久野義徳、井宮　淳、　　　　　　　　　　　　コンピュータビジョン　ー技術評論とコンピュータビジョン　ー技術評論と将来展望ー将来展望ー　　　　　　新技術コミュニケーションズ　　　　　　新技術コミュニケーションズ

　投票と多数決原理に基づく図形の検出・識別法

Hough 変換（ P.V.C.Hough 、 1962)2 値画像から、直線の検出

Hough 変換（ R.O.Duda and P.E.Hart 、 1972)2 値画像から、円、楕円の検出

一般化 Hough 変換（ D.H.Ballard 、 1981)2 値画像から、平行移動、回転、拡大などの変換を受けた任意形状の図形の検出

Geometric Hashing （ Y.Lamdan et al. 、 1988) 2 値画像から、予め与えた複数の図形集合の検出・識別

ポーズが固定ポーズが固定

形状に投票形状に投票 //多数決多数決

Geometric Hashing

Compute invariants不変特徴を計算

Hash-table

List of objects

Verify

Hash Table中の対応要素に“モデル、記述に用いた基底”の組を登録

Basis Geometric Hashing

Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997

拡大縮小 回転

平行移動

点 4 と点 1 から生成された基底に基づいて、Hash Table にモデルを登録するイメージ

う性質を持っている変化しないといの座標変換を受けても

大などが平行移動や回転、拡集合

はもとの点が得られる。この

不変特徴の集合ことにより、図に示す座標値を求めるで表された各特徴点のする。この基底となる直交基底を生成

点から、する。これらの

を選択点から、れたモデルＮ個の点によって表さ

}{

)},{(

)}(),({()},{(

),(),,(

2

2),,{

2

21

i

ikijikij

ij

ij

ijij

jiN

P

PPYPPX

YPP

PPX

P,PPPP

ff

ff

ijijijij

yx

yx

xyyx

M

モデルの登録

点 i,j を基底とする場合

点 j,k を基底とする場合

Basis Geometric Hashing

Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997

全ての２点の組合せから生成される基底に対してそれぞれ不変特徴を求め、それらを全て Hash Tableに登録しておく

Basis Geometric Hashing

Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997

モデルの多重記述により、モデルと相似な図形が与えられたとき、この図形に含まれる任意の 2点から求められる不変特徴と Hash Table上に記録された（モデル、基底）の組のどれかが一致することが保証

4 1

5 2

3

Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997

Geometric Hashing

対象とするモデルの全てに関して同様に記述を行っておくことにより、複数のモデルを同時に扱うことが可能となる

Geometric Hashing の投票と識別１

1.Hash Table の各要素に対する投票数を０にする

2.画像からまだ選択されていない任意の 2 点を選択し、基底を求める

3.この基底に対して画像上の全ての点の不変特徴を計算し、対応する Hash Table 中の要素の投票度数を各々１増加させる

4.投票終了後、（モデル、基底）の組ごとに投票度数を集計し、予め与えた閾値を越えるものがあるかどうかを調べる。閾値を越えた投票が得られたものがなければ、 1 ．の処理に戻る

Geometric Hashing の投票と識別２

5 ．高い投票が得られた（モデル、基底）組の基底と、画像から求められた基底を対応付ける座標変換を求める

6 ．求められた変換を用いてモデルを画像上に写像し、モデルにマッチする特徴点が十分存在することを確認する。特徴点が十分存在すれば終了し、そうでなければ 1 ．の処理に戻る

　画像中に存在する複数の対象を識別、検出する場合には、モデルにマッチする特徴点集合を取り除きながら、上記の手続きを繰り返し行う

Geometric Hashing の意味

1. Hash Table に登録された形状モデルは、不変特徴によって記述された形状の「テンプレート」と見なすことができる

2. Geometric Hashing において、“ポーズを固定する”ということは、画像から不変特徴を求める際に１つの基底を用いることを意味

Geometric Hashing の性質

　「基底によって画像を不変特徴に変換し、 Hash Table 上で複数のテンプレートとのマッチングを行う」という処理を様々な基底について繰り返す

投票と多数決に基づくアルゴリズムの特長（安定性）

• より多くの証拠情報によって支持される仮説を求めるという多数決原理に基づく手法であり、雑音などによって生じる偽の特徴点が含まれる場合でも安定に動作する

• 局所的な特徴のみを用い、特徴点間の連結性を用いないため、遮蔽などによって特徴点が欠落した場合でも対象の検出・認識が可能である

• 任意形状の検出・認識に適用できる。特にGeometric Hashingでは、画像から 3次元物体の識別を行ったり、アフイン変換に対する不変特徴を用いるなどの拡張も比較的容易に実現できる

• 投票計算が各特徴点ごとに独立に行われるため、計算の並列化が容易である

投票と多数決に基づくアルゴリズムの特長（拡張性）

• 画像中に複数の図形が含まれる場合、異なる図形からの投票が投票空間上で重畳する

• 特徴点の誤差（位置の変動）により、投票空間中での投票位置がずれてしまう

• 投票空間の標本化が不適切な場合、 Aliasingが生じ、投票数に偏りが生じる

　　　　　　　　　　　　　　　　　エイリアシング（ Aliasing）：ぎざぎざ

投票と多数決に基づくアルゴリズムの問題点（精度）

• Hough変換において、パラメータ空間中のセルを表現するために用いられるメモリは、空間の次元数に対して指数関数的に増加する

• 投票に要する計算は、投票軌跡の次元数に対して指数関数的に増加する

• Geometric Hashingでは、同一の図形に含まれる複数の点から基底を選択する必要があるため、基底の選択を何回も繰り返さなければならない

• 投票数の集計を（モデル、基底）の組毎に行わなければならない

投票と多数決に基づくアルゴリズムの問題点（計算コスト）

現状のアルゴリズムの限界

Snakes 収束の例

弾性輪郭モデル（ Snakes ）動的輪郭モデル

• 具体的な表現が与えられていない対象に関しても適用可能な「投票と多数決に基づく対象の検出・認識アルゴリズム」の開発

解決の方針としては、• 特徴点の座標値のような定量的特徴ではなく、定性的特徴を用いる

• 統計的パターン認識手法を併用するなどが考えられる

今後の展望

　投票と多数決原理に基づく図形の検出・識別法は何種類がある？それぞれの名前と機能を記入してください。

　学籍番号と名前を記入してください。

出席チェック

カラー情報の表現と解析

参考書：● 南　敏、中村　納　画像工学 ( 増補 )― 画像のエレクトロニクス―　コロナ社

● 松山隆司、久野義徳、井宮淳：　コンピュータビジョン -- 技術評論と将来展望 --

　新技術コミュニケーションズ、 1998

Physics-Based Vision● 知覚とは別に，視覚系への色刺激となる光の物理現象を調べて，これを利用する視覚研究● 物体表面での光の反射の仕方（物体表面を構成する材質によって異なる）が画像生成を決定づける

)(Object of eReflectanc

)(

Light

E

)()()(

Light Reflected

EL

Observer (Camera)光源 カメラ

物体

光の反射の仕方物体表面の材質による

Color Image Formation

OutputCamera RGB

●画像内の物体の色は照明光源、物体、カメラ３者　の幾何関係と物体表面の材質に応じて変化する

)(Object of eReflectanc

)(

Light

E

)()()(

Light Reflected

EL

Observer (Camera)照明光源 カメラ

物体

光の反射の仕方物体表面の材質による

Color Image Formation （光源）

)(Object of eReflectanc

)(

Light

E

)()()(

Light Reflected

EL

OutputCamera RGB

Observer (Camera)光源 カメラ

光の反射の仕方物体表面の材質による

物体

光源のスペクトルBlackbody Radiator 黒体の放

射

光源のスペクトルは関係した色温 (Correlated Color Temperature; CCT) より構成される

評価の基本単位：ケルビン (Kelvin; K).

Fluorescent light 蛍光灯

光源のスペクトルCCT = 6200KCCT = 2600KBlackbody Radiator

Fluorescent light

・光源の色温度が異なると、同じ物体でも撮られた画像の色が異なる・Ｋ：絶対温度（＝摂氏温度＋ 273）

Color Image Formation （物体）

)(Object of eReflectanc

)(

Light

E

)()()(

Light Reflected

EL

OutputCamera RGB

Observer (Camera)

対象物からの放射エネルギーの分布対象物からの放射エネルギーの分布

光源 カメラ

光の反射の仕方物体表面の材質による

物体

Reflectance of Gray

グレーの対象物からの放射エネルギーのグレーの対象物からの放射エネルギーの分布は一定分布は一定

Reflectance of Human Skin

白人

黒人

東洋人

黒人

白人

紅斑のある白人

Reflectance of Vegetation & Soil

草木土

異なる対象物からの放射エネルギーの分布は異なる異なる対象物からの放射エネルギーの分布は異なる

Color Image Formation （カメラ）

)(Object of eReflectanc

)(

Light

E

)()()(

Light Reflected

EL

OutputCamera RGB

Observer (Camera)光源 カメラ

光の反射の仕方物体表面の材質による

物体

Observer/SensorEye Response Camera Response

Reflected light spectrum is represented by a 3 element vector

・人間の目とセンサーの色知覚が異なる・反射光のスペクトルがRGB3次元のベクトルより表現

表色系 (Color System)

表色系は特定の記号を用いて、色の表示を明確に行うための一連の規定および定義からなる体系である

CIE standardized (Commission Internationale de L’Eclairage) 　 →　国際照明委員会

CIE 色空間 CIEは“ imaginary”光を三つ（ X, Y, Z）定義

Note that:X ~ RY ~ GZ ~ B

Measured vs. CIE色空間

measured basis• 単色光• 物理的観測• 負の部分を含む

CIE transformed basis• イメージ光源“ imaginary” lights

• 全部正、単位面積• Ｙは明るさ

RGBと CIE色空間

CIE 色空間RGB 色空間（立方体）

RGB 色空間 in CIE 色空間

HSV 色空間

ValueSaturation

Hue

Color SpacesModels Applications

Colorimetirc XYZ Colorimetric calculations

Device-oriented

Non-uniform spacesRGB, YIQ, YCC

Storage, processing, analysis, coding, color TV

Uniform spacesL* a* b*, L* u* v*

Color difference evaluation, analysis, color management systems

User-oriented

HSI, HSV, HSL, I1I2I3

Human color perception, computer graphics

Munsell Human visual system

CIE 色度図

３次元の CIE 色空間内の色を２次元に変換し、表現：　

X’ = X / (X+Y+Z)Y’ = Y / (X+Y+Z)X’+Y’+Z’=1

カラーデバイスと CIE 色度図の比較

色弁別 (Color Discrimination)色弁別：色の違いを見つけること；等色実験より測定●観測者は刺激光 CTを参考光 CRに何回も繰り返し等色する

CR

CT

●RGBの量を適当に調整し、　　 I， IIの色がまったく一致した時等色された●明るさも一致していなければならない

図の中の図の中の I, III, II はは白色拡散反射面であり、白色拡散反射面であり、II にはには 33原色光を濃度原色光を濃度フィルタを通して照射し、フィルタを通して照射し、IIII には試料光を照射するには試料光を照射する

等色実験

色弁別 (Color Discrimination)●刺激光 CTは参考光 CRの周りにばらつく●そのばらつきの標準偏差を求め 10倍して表示●CIE色度図の上方の緑色の部分の楕円は極めて大きく、左下の青紫の部分の楕円は極めて小さい

●人間の色に対する弁別能力が、色度図上の位置によって大きく異なる

均等色度図● 色度図の座標変換を行って、色度図上のどの部分においても、標準偏差の楕円は大きさが等しい円として示されるようになれば、色度の視覚差がどこでも均質なものとなる

● このようにして得られる色度図が均等色度図 (Uniform Chromaticity Scale Diagram, UCS Diagram) である

CIE1960UCS 色度図 ●CIE1960UCS 色度図（ xy 色度図）への座標変換は次式より行われている　 u = 4x / (-2x+12y+3); v = 6y / (-2x+12y+3)●3 刺激値 X, Y, Z を用いれば　 u = 4X / (X+15Y+3Z); v = 6Y / (X+15Y+3Z) となる

● 利点：式で簡単に計算できる　 欠点：完全に均一になっていない　　　→楕円は円に近いが、円になっていない

均等色空間（ D.Farnsworth 1957 ）

心理実験より

混色 ●混色 (Color Mixing あるいは Color Mixture)

　　二つの色を混合して別の色を生ずること● 加法混色：　　二つの色光を同一スクリーン上に重ねて投影したときに別の色が生ずるような混色●減法混色：　　光源とスクリーンの間に色フィルタ・他の吸収媒質を置き、その重ね合わせによって別の色を生じさせるような混色

カラーテレビジョン

カラー画像表示は、加法混色の原理に基づく加法混色の 3 原色：赤（ R ）、緑（ G ） ,青（ B ）が用いられる

減法混色・補色減法混色では、 RGB の補色(Complementary Color）、シアン（ C ）、マゼンタ（ M ）、黄（ Y ）を 3 原色として用いる

補色 : 二つの色光を加えて白色になる場合、それら二つの色光は互いに補色の関係がある

カラープリントの場合は、減法混色の原理に基づいて色を再現している

●カラープリントは、シアン（ C）、マゼンタ（M）、黄（ Y）　３層の色からカラー画像を構成●カラープリントに入射した光は、　 C層で Rを、M層で Gを、 Y層で Bを吸収する●反射光として我々の目に入り、カラー画像として知覚される

Color Image Formation （物体）

)(Object of eReflectanc

)(

Light

E

)()()(

Light Reflected

EL

OutputCamera RGB

Observer (Camera)

光の反射の仕方は物体表面を形成する材質に依存する

照明光源

物体

カメラ

Dichromatic Reflection Model （ 2 色性反射モデル）ー絶縁体材料

Surface Reflected Light(light source color)

)(surfL

)(bodyLBody Reflected Light(object color)

)()()( bodysurf LLL

Incident Light )(E

Material surface

Absorption （吸収） Scattering （散布） Colorant （着色剤）

)()()()( EEL

物体からの反射光が２つの反射成分の組合わせで記述できることを仮定している

Example Reflectance of Skin

From [Anderson and Parrish]

同じ素材の RGB は同じ平面に存在

RGBbody

R

G

B

RGBsurface

RGBbody+ RGBsurface

●For small the camera RGB will be in the ‘body’ direction

●As 　 becomes large so the RGB moves towards the ‘surfface’ direction

2 色平面（ Dichromatic Plane ）

反射された RGB はRGBbody+a RGBsurface 必ず“ body”RGB と“ surface”RGB の間にある

RGBs outside this plausible(striped) region can only occurif we have negative body orsurface contributions. We cannotsince light is a positive quantity

R

G

B

RGBsurface

RGBbody

2 色平面

Measurement in RGB Space

材質の推定に関する研究が可能

Fixed viewingangle

Fixed lightinggeometry

Fixed color of light

Seeing Color Image●画像内の物体の色は照明光源、物体、カメラ３者の幾何関係と物体表面の材質に応じて変化

光源の幾何関係 (shading) 光源の色

光源の幾何関係 1: 光源の位置

n

e2

n

e1

光源は物体表面の法線方向に近いほど、画像の色が明るくなる

暗い 明るい

光源の幾何関係 2: マルチ光源

e1

n

e2

ne1+ e2

マルチ光源は一つの有効光源に等価することも可能光源が多いほど、画像の色が明るくなる

有効光源マルチ光源

Shape From Shading

yxI ,

s vni

: source brightness

: surface albedo (reflectance)

: constant (optical system)

k

c

明るさと独立した色度平面内のRGB

BGR

Bb

BGR

Gg

BGR

Rr

1 bgr

Same Color, different brightnesses

Colour CubeChromaticity Plane　　　色度平面

画像の色が光源色に依存

Macbethcolor checker

Daylight Tungsten

Redder

タングステン電球白色蛍光灯

光源色の補正

Illuminant ColorTungsten

ColorCorrection

元の照明光源の色が分かれば、照明による画像の色変化が校正・除外できる

照明が何に？Macbeth color

checker と一致

光源色の推定

?

ColorCorrection

IlluminantEstimation

Macbeth color checker と比較

光源色の推定||

色恒常性の計算

Estimating the Illuminant Color||

Computational Color Constancy

Estimation error 1.6°

Example of ApplicationColor Correction

Canonical image at CCT = 3200K

Re-rendered imageto canonical cond.標準条件の画像

Image taken underCCT = 4700K

00

00

00

B

G

R

B

G

R

c

c

c

von KreisTransformation

Color Image Segmentation Pixel-based techniques （画素） Region-based techniques （領域） Edge-based techniques （エッジ） Stochastical Model-based techniques （確率的）

Physics-based techniques （物理） Hybrid techniques （混成）

Example modelling skin and segmenting

Color Clustering by K-means AlgorithmForm K-means clusters from a set of n-dimensional vectors

1. Set i (iteration count) to 12. Choose randomly a set of K means m1(1), …, mK(1).3. For each vector xi, compute D(xi,mk(ic)), k=1,…K and assign xi to the cluster Cj with nearest mean.4. Increment i by 1, update the means to get m1(i),…,mK(i).5. Repeat steps 3 and 4 until Ck(i) = Ck(i+1) for all k.

Original　RGB　Image Color　Clusters　by　K-Means

代表する色恒常性のアルゴリズム

Grey-world color constancy [e.g. Hunt] Linear model algorithms [Maloney-Wandell] Neural Net approach [Funt-Cardei] Gamut Mapping Color Constancy [Forsyth

1991]

研究例 : 肌色からの光源推定

鼻のハイライトから光源の推定

Dichromatic Reflection Model （ 2 色性反射モデル）ー絶縁体材料

Surface Reflected Light(light source color)

)(surfL

)(bodyLBody Reflected Light(object color)

)()()( bodysurf LLL

Incident Light )(E

Material surface

Absorption （吸収） Scattering （散布） Colorant （着色剤）

)()()()( EEL

物体からの反射光が２つの反射成分の組合わせで記述できることを仮定している

Stepwise Principal Component Analysis in

Ascending Intensity

Body Vector Estimation

2-Test

Surface Vector Estimation

• Search:Descending Intensity

• Stop Criteria:Twice standard deviation to body vector (second eigenvalue of body vector)

• Direction of Csurf is the Illuminant Chromaticity

Spectral Integration

dfEG GSkin )()()(

dfER RSkin )()()(

)(RGBfSpectral Sensitivity of Camera

(Tristimulus)ReflectanceLight Source Spectrum )()(E

BGR

Bb

BGR

Gg

BGR

Rr

dfEB BSkin )()()(

Skin Color in the Chromaticity Plane

The camera is white balanced at CCT = 3200K

Modelled and Measured Skin Color in the Chromaticity Plane

Test ImagesC

CT

= 2

760K

CC

T =

519

0K

CC

T =

690

0KC

CT

= 3

870K

Segment ResultC

CT

= 2

760K

CC

T =

519

0K

CC

T =

690

0KC

CT

= 3

870K

識別（ Recognition ） Color distribution as a cue for object recognition Histogram [Swain & Ballard. U of Rochester]

A general vision problem: ‘Find and identify all the objects in the image’

- something we find easy to do

- Too difficult for an automated vision system to do!

What vs WhereTo make computation tractable, Swain identified two subproblems:

Identify what single objectis in the image

Find where an object is located in the image

(e.g. where is the tortoise)

識別問題 探索問題

What colors are in an image?

The rabbit is mostly grey, but has pink ears,blue eyes and red nose

Qualitative:

Quantitative:

The histogram of colors in an imagedefines the image color distribution #

of p

ixel

s

The color histogram is a vector of numbers!#

of p

ixel

s

# of pixels

10000100103000

Color Distribution

= (10,0,0,0,100,10,30,0,0)

Images are similar if their histograms are similar!

Color Distribution = (10,0,0,0,100,10,30,0,0)

Color Distribution = (10,0,0,0,90,10,40,0,0)

Color Distribution = (0,40,0,0,0,0,0,0,110,0)

Dissimilar

Similar!

Formalizing similarity

Color Distribution = (10,0,0,0,100,10,30,0,0)

Color Distribution = (0,40,0,0,0,0,0,110,0)

1H

2H

9

1

21 ),min(i

ii HHHISTOGRAM INTERSECTION = 　　 = SIMILARITY

Color Distribution = (10,0,0,0,100,10,30,0,0)

Color Distribution

= (10,0,0,0,90,10,40,0,0)

Color Distribution = (0,40,0,0,0,0,0,0,110,0)

Histogram intersection= 0 ?

Histogram intersection= 140 ?

Big intersections correlate with large similarity

Is histogram intersection a good measure?

… there are many ways to see if two vectors of numbers are the same!

Abstractly, Histogram Intersection is a measure (actually an inverse measure) of distance:

Large intersection = small distance

Small intersection = large distance

Distance is an intuitive concept which we understand

So, we can judge the suitability of histogram intersectionby looking at it from a distance measure point of view.