10. 影像表示與描述 - ip.csie.ncu.edu.twip.csie.ncu.edu.tw/course/IP/IP1510cp.pdf · 影像處理 10. 影像表示與描述 D.-C. Tseng of IPVR Lab. in NCU 3 “表示” 是用簡單的圖形來代替複雜的圖形，

1影像處理 10. 影像表示與描述 D.-C. Tseng of IPVR Lab. in NCU

10. 影像表示與描述

10.1 外形

10.2 骨架表示

10.3 其他表示

10.4 外形描述

10.5 區域描述

10.6 形態學運算


做機器視覺自動化的圖形識別或電腦視覺之應用，我們通常都會先用影像處理的技術從影像中擷取出有用的物件或特徵。

若直接用物件的區塊內容做後續的辨識或分析，則難度會很高且沒有效率。因此我們都會先用一些簡單的表示式來表示擷取的物件，以簡化工作量、提高工作效能。接著再以數值來描述物件，最後才以圖形識別或電腦視覺模組做分析；而這些有效率的物件或特徵的表達方式就是影像的表示 (representation) 與描述(description)。


“表示” 是用簡單的圖形來代替複雜的圖形，而 “描述” 是將簡單的圖形用數值描述出來，做為分析、辨識的依據。所以物件的表示與描述是圖形識別的必要前置處理。

一般用於表示物件的特徵不外乎：i. 外部特徵 (external characteristic)；例如，外形 (shape)、結構關係 (structure relation)、 .. 等。

ii.內部特徵 (internal characteristic)；例如，區塊灰階或色彩值的平均值、變異數、紋理 (texture)、.. 等。


物件表示式主要有四類：i. 外形表示 (boundary representation)、ii. 骨架表示 (skeleton representation)、iii. 影像列表示 (row representation)、及iv. 區塊表示 (block representation)。其中外形表示最重要；在物件確認及辨識上常用到。其次是骨架表示；文字、指紋辨識一定會用到。

物件的描述 (description) 主要有二類：i. 外形表示 (boundary description)、ii. 區域描述 (region description)。


相機拍攝物件，物件與相機之間的關係可能有不同的距離及方向；做圖形識別時，不能同一種物件因為擺置的遠近及方向的不同就認為是不同的物件；所以物件的表示與描述最好與物件的大小、位置、及方向無關；特別是做三維物件辨識與分析時。具有與描述物件的大小、方向無關的描述特徵稱為不變性特徵 (invariant feature)。


10.1 外形表示

外形表示式 (boundary representation) 在物件比對、確認、及辨識上常被使用；因此已被發展出來的外形表示式也最多。

本節所介紹的外形表示式有：鏈碼表示式、多邊形表示式、一維函數表示式、及邊界段落表示式等。


10.1.1 鏈碼表示式

鏈碼 (chain code) 表示式是要先定義幾個特定方向且固定長度的小直線段，然後再以這些小直線段串連起來代替物體的輪廓 (contour)。

有兩種不同的鏈碼表示式：

四方向鏈碼八方向鏈碼(four-direction chain code) (eight-direction chain code)或裂碼 (crack code) 或直接稱為鍊碼 (chain code)

0

1

2

3

0

123

4

5 6 7


鏈碼表示式的演算法 (步驟)：S1.根據鏈碼的長度，在物件輪廓的平面上劃分方形

規則網格 (regular grid)。S2.物件輪廓會跨越一些網格線段；在該線段上選取

離輪廓較近的端點。S3.選擇某一個端點當起始點 (start point)，順時鐘

方向將相鄰的端點連結、編碼成一個個方向碼。

劃分網格。紀錄端點。四方向鏈碼。八方向鏈碼。


有了鏈碼表示式後，我們可以記錄起始點座標值及一連串的方向碼當做鏈碼的描述式。例如上例，四方向鏈碼描述式為：

(x1, y1) 1010003033333323221211101212八方向鏈碼描述式為：

(x2, y2) 110776666553321234 上述鏈碼表示與物件的大小、方向、及選擇起始點

有關。如何讓鏈碼表示式與這些因素無關：i. 網格大小是隨著物件的大小而改變的。ii. 將鏈碼字串視為一個整數，以最小整數來決定選

擇起始點。iii.要讓鏈碼表示式與物件方向無關，可以將絕對方

向碼改成為相對方向碼；也就是以目前的方向碼減前一個方向碼。


相對方向碼稱為差分碼 (difference code)；第一差分碼 (the first difference code) 定義為 “後一碼減前一碼除以 4 或 8 取餘數” (使用四方向碼除 4，使用八四方向碼除 8)。

四方向鏈碼為 c1c2 .. cn，每一ci 都改成ci - ci -1 = di (mod 4)；原八方向鏈碼為 c1c2 .. cn，每一ci 都改成 ci - ci -1 = di (mod 8)。但是用後一碼減前一碼，碼數少一；而且鏈碼本來就是循環成一個封閉輪廓，原來的最後一碼可視為第一碼的前一碼；所以我們將以原來第一碼減最後一碼，放在差分碼的最前面，這個碼稱為循環第一差分碼 (the circular first difference code)。


四方向鏈碼八方向鏈碼

原始鏈碼 1000303323221211 107066453413第一差分碼 300313031303130 77160616152循環第一差分碼 0300313031303130 677160616152


其實使用差分碼並不能完全解決旋轉的問題。左右兩圖旋轉了將近 45o；其方向碼及循環第一差分碼各別為

四方向鏈碼八方向鏈碼

左原始鏈碼 1000303323221211 107066453413循環第一差分碼 0300313031303130 677160616152

右原始鏈碼 1101000333232212 21107655325循環第一差分碼 3031300300313031 57077770673


要真正解決旋轉的問題是網格要跟著圖一起旋轉

長軸

短軸


不變鏈碼演算法 (invariant chain code algorithm)S1.用主成份分析法找出圖形的主軸 (長短軸)。找主

軸的資料可以是圖形內部 (silhouette) 的所有像素或圖形輪廓 (contour) 上的像素。

S2. 計算長軸的長度，以該長度乘以一個分數 (e.g., 1/10, 1/12, or 1/16 等) 當做網格的大小。

S3. 以主軸的方向及網格大小在圖形上畫分網格，並選取網格線段的端點。

S4. 根據最小整數準則 (the minimum-integer criterion)，定義長軸上一個端點當做起始點。

S5. 順時鐘方向，從起始點開始順序編碼編成四方向碼或八方向碼，再表示成循環第一差分碼。


10.1.2 多邊形表示式

多邊形表示式 (polygonal representation) 則是以任意方向、任意長度的小直線段串連起來表式物體的輪廓。所以多邊形表示式比較有彈性，但效率會差一點。

本節將介紹的多邊形表示式有：i.最小邊長法、ii.最小平方誤差逼近法、iii.漸近分割法

10.1.2.1 最小邊長法

最小邊長法 (minimum-perimeter polygon) 就是要找一個與原始輪廓相似且長度最小的多邊形表示式。


步驟S1.在圖形上劃分正方形網格。S2.將輪廓沒有經過的方格去掉，只保留輪廓有

經過的格子。S3.把保留下來且串連的方格想像成一條溝渠；

原來輪廓像是被限制在溝渠中的一條有彈性的橡膠繩。最後縮收橡膠繩而成最小邊長的多邊形表示式。


最小長度的多邊形輪廓只要記錄所有多邊形的頂點座標即可。

最小邊長之多邊形輪廓的精確度受到正方形網格的方格大小影響；網格方格愈小，多邊形愈精細，但需要記錄的資料量也愈多。

因此要做成與大小無關的表示式，就要根據物體大小使用特定大小的網格 (與 chain code 一樣)。


10.1.2.2 最小平方誤差逼近法

最小平方誤差逼近法 (least-fitting or merging technique) 是以直線段逐步逼近輪廓或曲線的一小段落，若直線逼近的誤差過大；則該段落的逼近即停止，接著重新另一段落的逐步逼近。

(xn+m, yn+m)(x1, y1)

y

x


步驟S1.沿著曲線選擇連續n個點，若不足n 點，就

以選擇的點數為準，並紀錄已無新點。S2.用直線模式 y = a x + b 匹配最小平方誤差

直線。S3.若平方誤差小於門檻值 T 時，則改用n+1個

點回到 “S2” 重新匹配最小平方誤差直線。若已無新點，則輸出方程式，停止。

S4.平方誤差大於門檻值T (例如用了n+m 個點)，則就前述的 n+m-1個點匹配最小平方誤差直線輸出。若已無新點，則停止；否則令第n+m-1點為重新匹配直線的第一點，回到“S1”。


最小平方誤差逼近法的優點是準確度高；缺點是費時且不一定符合真實輪廓的位置。一個近乎多邊形的輪廓，在轉角處要多看了幾個點才有較大的誤差；因此匹配出來的直線與原直線有較大的誤差。

黃實線是原始多邊形，紅虛線是最小平方誤差逼近法逼近的輪廓。


x

y

(xi, yi)

直線方程式(1st-order equation)

y = a x + b


x

y

(xi, yi)

二次曲線方程式(2nd-order equation)

y = a x2 + b x + c


10.1.2.3 漸近分割法

漸近分割法 (splitting technique) 是重複著以二分法將輪廓或曲線分成兩段落；每一段落的頭尾銜接成一直線，計算該段落上每一點到該直線的垂直距離；找段落上的最長距離點；若該距離大於事前門檻值T，則以該最長距離點當分割點，將該段落分割成兩段落。重複上述動作，直到所有小段落都可以用一小直線段逼近為止。


步驟S1. 若為封閉輪廓，則找一直線跨過該輪廓。直線將

該輪廓分割成兩段，紀錄直線與輪廓交點。若為曲線，則將曲線頭尾點連一直線。該直線可能將曲線分割成多段落，紀錄直線與曲線的所有交點。

S2. 每一曲線段落個別處理，在各曲線段上找到該範圍內之直線的最遠點。

S3. 若某段落的最遠距離大於門檻值T；例如該直線段長度的1/10，則以曲線段上的最遠距離點當分割點，將該曲線割成多段，並將新得到的每一小段落之頭尾點連成一直線。回到 “S2”。若某段落的最遠距離小於等於T，則以該直線代替曲線輸出。若每一曲線段都已找到替代直線，則停止。


(a) (b)

(c) (d)


10.1.3 一維函數表示式

將二維輪廓表示成一維函數就稱為一維函數表示式 (signature)。

本節將介紹的一維函數表示式有：i.灰階分佈圖、ii.半徑分佈圖、iii.切線方向分佈圖、iv.角度半徑關係圖、v.角度與弧長關係圖

A.灰階分佈圖 (gray-level histogram) 就是一種最常見的一維函數表示式。只是個去的用法幾乎都是做為整體門檻值 (global thresholding) 的參考，而不是做為表示式。


B.其他特徵分佈圖；例如，中心點到邊界點距離的分佈圖。用物體邊界上的點求出物體的中心點，再算中心點到每一邊界點的距離。最後做成水平軸表示距離，垂直軸表示特定距離點數的分佈圖。對於輪廓而言，這個分佈圖的變化率不太大，用來做為比對特徵的效果可能不是很好。另外，還要預先知道物體的大小，定義分佈圖的水平軸範圍。

r

0 1 ........ 359 o

p1

r


邊界點的切線斜率或角度分佈圖。分佈圖的水平軸表示斜率或角度，垂直軸表示特定斜率或角度的點數。對於輪廓而言，這個分佈圖的變化率也不太大，用來做為比對特徵的效果可能也不是很好。

0 1 ........ 359

s

水平線


r

n

r0 1 ........ R

C. 以物體中心點或質量中心 (centroid) 到各邊界點的距離做成角度的函數。以物體中心點位置向右畫一水平線碰到輪廓點p1，從該點開始延著物體輪廓逆時鐘方向追蹤。計算每一邊界點到中心點或質量中心點的距離。最後做成關係圖，水平軸表示角度，垂直軸表示各邊界點到中心點或質量中心點的距離。


D. 追蹤 (traversing) 物體邊界點；將各邊界點的切線斜率 (slope) 或角度表示成邊界追蹤距離的函數。首先以物體中心點位置向右畫一水平線碰到輪廓點p1，從該點開始延著物體輪廓逆時鐘方向追蹤，也就是距離s是從起始點 p1 算起。計算每一邊界點的切線斜率或角度。最後做成分佈圖，水平軸表示追蹤距離s，垂直軸表示各邊界點的切線斜率或角度。

s

s0 1 ........ n

p1


10.1.4 邊界分段式

邊界分段式 (boundary segments) 是將物體輪廓分割成段落 (segment) 後，每一段落用一曲線表示；例如二次曲線或三次曲線。所以邊界分段式可以採用多邊形表示式的技術將輪廓分段後，再各段落個別用一曲線表示。

Cd S

Ch


步驟

S1. 找出包含物體的最小凸多邊形 (convex hull) 。

S2. 用最小凸多邊形 Ch 減去物體本身S(silhouette) 定義為凸差集 (convex deficiency) Cd = Ch - S。

S3. 任意選擇一個物體邊界點當做起始點，逆時鐘方向追蹤物體輪廓。每次進入或離開一個凸差集，就記錄那個邊界點，直到輪廓繞完一圈為止。再以所有記錄點，將輪廓分割成多段落。

S4. 每一段落以一個二次或三次曲線方程式表示


如果物體輪廓非常凌亂，則上述方法可能會製造許多不必要的小凸差集；因此我們可以用一些技巧先平滑化輪廓，再做上述演算。輪廓平滑化的方法有：

方法 1. 將一個輪廓點座標加上左右邊各m 個輪廓點座標，平均座標取代原座標；意義上相當於一維的平均平滑化；只是以前做灰階平均，這裡是做座標值平均。

方法 2. 先做多邊形表示式，再以多邊形做上述演算

不過如果物體邊界有較多的鈍峰 (unsharp peak)，這個方法還是會產生較多的短線段，多出一些不必要的曲線參數。


10.2 骨架表示

細線化 (thinning) 或骨架化 (skeletonizing) 就是要將物件表示成只有一個像素寬度的線條表示式。

在做文字識別時，不論是印刷體字還是手寫體字，我們在乎的是筆劃的長短與筆劃之間的關係，不是筆劃的粗細；筆劃粗細的不同所而造成我們辨識的困擾。所以在做文字識別或指紋辨識前，我們都要將筆劃、紋路變成只有一個像素寬度的線條。該線條就稱為該物件或圖形的骨架(skeleton)。


通常細線化都是在二值化影像上的。一般常用的細線化方法有：i. 重複剝皮法 (iterative removal of boundary

pixels)，ii. 中軸法或最大球法 (medial axis transform or

symmetric axis transform or maximal ball)，iii. 結構分析法 (analytic method)。


不管任何方法，骨架化或細線化的過程中，最好要遵守下列三個原則：i. 不要把端點去掉 (do not remove end points)。

端點去掉，筆劃就變短了；ii. 本來是一筆劃或一條粗線，不要因為細線化或

骨架化而斷成兩個或兩個以上的筆劃或線段。iii.不要因為一筆劃或一粗線的邊界上有一點破洞，

就將這個破洞擴大了更嚴重。

i. ii. iii.


10.2.1 重複剝皮法

重複剝皮法是最常被使用的方法。最具代表性的剝皮法是 1984 年的 Zhang-Suen 法及1989 年的Guo-Hall 細線化法。

10.2.1.1 Zhang-Suen 細線化法

Zhang-Suen 細線化法就是完全建立在上述三原則的方法。Zhang-Suen 細線化法簡單、快速，因此常被拿出來做比較；不過效果不是很好。


Zhang-Suen 細線化法是一層一層剝去物件最外層的像素，每一層皮 (最外一圈的像素) 分右邊界、下邊界、及左上角點一起剝除；左邊界、上邊界、及右下角點一起剝除。

在介紹這個方法前，我們先為前景點 p 定義五個關係函數：

i. NF 4 (p): 點 p 的四鄰點中為前景點的個數。

p1 p2 p3

p8 p p4

p7 p6 p5


ii. NF 8 (p): 點 p 的八鄰點中為前景點的個數。

iii. C4 (p): 點p 的八鄰點中，四相連區塊 (4-connected component) 的個數。

iv. C8 (p): 點p 的八鄰點中，八相連區塊 (8-connected component) 的個數。

v. X (p): 沿著點 p 的八鄰點順或逆時鐘方向走(traverse) 一圈回到出發點，計算 “0 1” 變化的次數。這個數稱為交錯數 (crossing number)。

1 1 1 0 0 0 1 1 0 0 1 0 1 1 01 p 1 0 p 0 1 p 0 0 p 1 0 p 01 1 1 0 0 0 1 1 1 1 0 0 1 0 1


Zhang-Suen 細線化法的演算法如下：S1.將滿足以下條件的 (邊界點) p 標示為 “可去除”：

i. 2 NF 8 (p) 6,ii. C4 (p) = 1.iii. p2 p4 p6 = 0,iv. p4 p6 p8 = 0.所有像素都測試過後，將標示為 “可去除” 的像素一起去除。

S2.將滿足以下條件的 (邊界點) p 標示為 “可去除”：i. 2 NF 8 (p) 6,ii. C4 (p) = 1.iii. p2 p4 p8 = 0,iv. p2 p6 p8 = 0.所有像素都測試過後，將標示為 “可去除” 的像素一起去除。

S3.若已經沒有像素可被去除，則停止；否則回到 “S1”。


上述的 “邊界點” 條件可不要，該條件已包含在條件i 中了。上述各種條件的意義為

(i) 2 NF 8 (p) 6 是為了避免短線及侵蝕太嚴重。NF 8 (p) = 1 表示 p 是一條只有一個像素寬度線的端點，所以不去除；NF 8 (p) = 7表示 p 是凹洞點，所以也不去除。

(ii) C4 (p) = 1 是為了避免斷線。C4 (p) 1表示 p 是週邊多個連結區塊的連接點，也就是這些區塊因為 p 點而連接在一起；如果 p 點去掉了，則這些週邊區塊將因而斷開成多個區塊；所以 C4 (p) 1的 p 不能去除。


S1 的 (iii) p2 p4 p6 = 0 和 (iv) p4 p6 p8 = 0 要一起看；共提供了三個意義；也就是要滿足這兩個條件的情形只有三種：(a) p4 = 0 表示p是右邊界點，(b) p6 = 0 表示p是下邊界點，(c) p2 = p8 = 0 表示p是左上角點。所以 “S1” 的意義就是剝除物件的右邊界點、下邊界點、及左上角點。

S2 的 (iii) p2 p4 p8 = 0 和 (iv) p2 p6 p8 = 0 和上述一樣；滿足這兩個條件的情形只有三種：(a) p2 = 0 表示p是上邊界點，(b) p8 = 0 表示p是左邊界點，(c) p4 = p6 = 0 表示p是右下角點。所以 “S2” 的意義就是剝除物件的上邊界點、左邊界點、及右下角點。


Zhang-Suen 細線化的範例

原始符號。 Step 1 結果。 Step 2 結果。


10.2.1.2 Guo-Hall 細線化法

首先將整張影像的像素交錯著標示1 及 2。1, 2的標示只是表達交錯處理次序的像素群而已，不影響前景點、背景點的關係。Guo-Hall 細線化法則會用到前述所定義的 N (p) 及 C8 (p) 函數。

1 2 1 2 1 .. ..2 1 2 1 2 .. ..1 2 1 2 1 .. ..2 1 2 1 2 .. ..: : : : :: : : : :


Guo-Hall 細線化法演算法S1.將滿足以下條件的前景點 p 標示為 “可去除”：

i. 標示為 1,ii. NF 8 (p) > 1,iii. C8 (p) = 1,iv. 1 NF 4 (p) 3.所有像素都測試過後，再將標示為 “可去除” 的像素一起改成背景點。

S2.將滿足以下條件的前景點 p 標示為 “可去除”：i. 標示為 2,ii. NF 8 (p) > 1,iii. C8 (p) = 1,iv. 1 NF 4 (p) 3.所有像素都測試過後，再將標示為 “可去除” 的像素一起改成背景點。

S3.若已經沒有像素可被去除，則停止；否則回到 “S1”。


上述各種條件的意義為

ii. NF 8 (p) > 1是為了避免短線。NF 8 (p) = 1 表示 p 是一條只有一個像素寬度線的端點，所以不去除。

iii. C8 (p) = 1 是為了避免斷線。C8 (p) 1表示 p是週邊多個連結區塊的連接點，也就是這些區塊因為 p 點而連接在一起；如果 p 點去掉了，則這些週邊區塊將因而斷開成多個區塊；所以 C8 (p) 1 的 p 不能去除。

iv. 1 NF 4 (p) 3 表示只有四邊界點才能被去掉，否則會產生破洞。


Guo-Hall 細線化的範例

原始符號。 Step 1 結果。Step 2 結果。Step 1 結果。

1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 12 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 21 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 1


10.2.2 中軸法或最大球法

中軸法就是將物體中心軸 (medial axis) 找出來的方法。就物體內部點而言，從任何方向延伸到邊界算距離，若存在兩個或兩個以上的最短距離，則該點就是中心軸上的點。所有物體內部點都測試過後，留下來的點自然構成該物體的中心軸。

中軸法又稱為最大球法 (maximal ball)；做在影像上就直接稱為最大圓法。也就是物體內部的一個圓 (二維的球)，沒有其他圓可以完全包含這個圓，則這個圓就稱為最大圓。所有最大圓的圓心所成的集合就是物體中心軸。


算圓的半徑很準確，但很耗時；所以有人將計算半徑的方向侷限在少數幾個方向。有十字形、米字形、六角形等方向。十字形當然最簡單，但精確度較差；其次是米字形。

圓。十字形。米字形。六角形。


中軸法對於離散的影像並不好用。以十字形找中心軸為例，寬度為偶數個像素的粗線就找不到中心軸了。當然這是完全以定義來找中心軸的結果；如果配合一些搜尋次序，還是可能找到完整的中心軸。中軸法也會在粗線條端點產生分岔的細線，且易受邊界雜訊的干擾而形成毛邊。

使用十字形。使用米字形。偶數個像素的線寬。


10.3 其他表示本節將介紹串長碼表示式及樹狀表示式。

10.3.1 串長碼表示式

將影像像素一列一列的從左向右掃描；一串相同灰階的像素稱為一個串 (run)，這一串列的長度就稱為串長 (run length)。串長碼表示式為

“g, l1, l2, l3, ...” 或 “... ; gi, li; ...”，其中 g 是灰階、l 是相同灰階字串的長度；例如，一影像列1 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1 1 1 1 1 0 1 1 0可表示成下列兩種串列 (string)(1) 1,1; 0,2; 1,1; 0,1; 1,2; 0,1; 1,8; 0,1; ...(2) 1:1, 2, 1, 1, 2, 1, 8, 1, 1, 2, 1, 1, 6, 1, 2, 1


10.3.2 二分樹表示式

一個一維字串或數字可以表示成二分樹表示式(binary tree representation)。一維字串先等分成兩子字串，若一子字串內的元素都相同，則以該元素符號表示該子字串；若一子字串內的符號不完全相同，則該子字串將再繼續等分割成兩更小子字串；如此持續到沒有分割為止。


範例1 1 0 1 0 1 0 0 1 1 1 1 0 0 1 0 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1元素不完全相同，則分割成左右兩子字串1 1 0 1 0 1 0 0 1 1 1 1 0 0 1 01 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1 各子字串內的元素還是不完全相同，則各再分割成更小子字串1 1 0 1 0 1 0 0 1 1 1 1 0 0 1 0 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1


10.3.3 四分樹表示式

一個二維圖形或影像就可以等分割成四個小區域，而表示成四分樹表示式 (quadtreerepresentation)。

四分樹是一個階層式的資料結構，從上而下，上一層區塊面積是下一層區塊面積的四倍。如果整張影像或分割後的某一區塊之像素灰階不完全相同，則以四等分分割；若某一等分區塊的像素灰階都一樣，則該區塊就不必再分割了。相同灰階之區塊在四分樹中就以該灰階表示該區塊。


四分樹的次序影像範例

四分樹

1 2

3 4


10.3.4 八分樹表示式

相同的觀念，一個三維模形或物體可以等分割成八個小區塊，而表示成八分樹表示式 (octreerepresentation)。包含物體的方塊以a, b, and c 三個平面等分割成八個小方塊，再表示成八分樹表示式。

ca

b


10.4 外形描述

外形描述或邊界描述 (boundary descriptors) 的意義是將外形表示或其他可以直接描述的外形用數值描述出來，以利後續的比對或辨識應用。

10.4.1 簡單外形描述

最簡單的外形描述有：

A. 輪廓長度 (length of contour)輪廓長度可以用(a) 輪廓上的像素個數計算，或(b) 鏈碼表示式的歐基理德距離表示。


B. 輪廓的直徑 (Diameter of a boundary)一個輪廓 C 的直徑可以描述成

其中 D 是輪廓上的像素 pi 與 pj 的距離。這個距離也構成物體區塊的最長主軸 (major axis of silhouette)。

C. 輪廓的曲率 (curvature)一條曲線在某一個位置的曲率定義為斜率(slope) 的變化率；例如，相鄰兩個邊界點的斜率相減。曲率也相當於曲線上某點的二次微分。


10.4.2 外形數值

外形數值 (shape number) 是一個物體外形的描述式；這個描述式與之前所講的鏈碼 (crack code or chain code) 描述式非常類似，只是外形數值的描述比較有彈性。

外形數值與鏈碼的最大不同處有二。i. 外形數值可以先決定物體輪廓的碼長 (code

length)；也就是用幾個線段串聯出物體的輪廓。

ii. 編碼時所劃分的格子大小是依據物體外形的長寬比所定義出來的，所以格子不一定是正方形，且更可能是矩形。


外形數值的演算法如下所示。S1. 使用主成分分析法找出物體的主軸與短軸 (the

major axis and minor axis of the silhouette)。S2. 根據長短軸方向找包含物體的最小矩形，稱為

基本矩形 (the basic rectangle)，並將長短軸長度的比值定義為物體的離心率 (the eccentricity)。

S3. 決定物體輪廓的碼長，假設碼長為 n，n 一定是偶數。

S4. 找一個矩形的邊是 n；例如，矩形的長寬各別為l, w，則 n = 2 (l + w)；且該矩形的長寬比 (l / w) 與基本矩形的離心率最相似。

S5. 根據上一步驟所找出來的矩形，編碼成四方向，且用第一差分碼 (first difference code) 來描述物體外形，就是外形數值。


範例物體的離心率為2.3。若現在要將物體的外形分割成26個段落；則包含物體的矩形長寬比有 1:12, 2:11, 3:10, 4:9, 5:8, 6:7 六種；其中 4:9 的比例為 2.25，最接近 2.3；如此切出來的小方格會最方正。所以就選擇 4:9 的矩形區塊來編碼。以長軸的左邊點為起始點 (starting point) 編成四方向碼。四方向碼： 10100030300003322222212221差分碼： 3130031310003030000031003循環差分碼： 03130031310003030000031003


10.4.3 傅立葉描述子

傅立葉描述子 (Fourier descriptor, FD) 是先將物體外形表示成一個傅立葉級數，再以級數的各項係數做成一個特徵向量，以表示該物體的外形。

將影像視為一個複數平面，物體輪廓上的每個點座標 (x, y) 表示成一個複數 (complex number) x+i y。將這些複數當做一個函數的離散樣本點；因此可以將這些點做一維離散傅立葉轉換。假設有 N 個樣本點 (x0, y0), (x1, y1), .., (xN-1, yN-1)，則一維離散傅立葉轉換為


x 實數軸

y虛數軸

(x,y) = x + iy

將 N 個複數係數做成一個複數向量 [a0 a1 .. aN-1] T

即為該物體的傅立葉描述子 (FD)。


要將傅立葉描述子做成與位置、大小、方向、及起始點無關。S1.計算所有輪廓像素的平均座標

S2.以主成分分析法計算所有輪廓像素的共變異數矩陣，算共變異數矩陣的固有值 1 & 2, 1 2，及固有向量 e1 & e2。以固有向量做成轉換矩陣 A = [e1 e2]。將每一個原始向量 xj 做轉換

S3.以主軸長度正規化輪廓大小

S4.各別以主軸的一端點當起始點，轉換出傅立葉描述子。因此會用兩個傅立葉描述子描述一個物體輪廓。

上述的 S1 & 2 是做位置及方向的正規化，S3 是做大小的正規化，S4 是做起始點的正規化。


傅立葉描述子的另一個應用是簡化物體外形。傅立葉描述子可以用傅立葉反轉換重建回原來的輪廓，

若我們僅用 n 個低頻係數，n < N，重建回原始輪廓，則該重建輪廓將只是原始輪廓的粗略版本。

若僅用 a0 係數重建輪廓，則該輪廓只是描述物體大致外形的橢圓；

係數用得愈多，則重建的輪廓就愈近似原始輪廓。


範例

n = 1 n = 4

n = 8 n = 12


10.5 區域描述

區域描述 (region description) 主要是表現出區塊內部的特性，本節除了介紹一些簡單的描述式外，最主要是將介紹力距 (moment) 描述子(descriptor) 及紋理 (texture) 描述式。

10.5.1 簡單的區域描述式

簡單的區域描述式有：

i. 面積 (area)：封閉輪廓內的像素個數。

ii. 周長 (perimeter)：封閉輪廓上的像素個數。


iii. 緊湊性 (compactness)：緊湊性定義為(perimeter) 2 /area. 緊湊性與所描述的物體面積大小無關，只與外形形狀相關。

iv. 主軸向量 (principal axes)：物體分佈最廣的方向，可用主成份分析法求得。

v. 共變異數矩陣的最大及最小固有值(eigenvalue and eigenvector)：物體分佈最廣的方向及分佈廣度。

vi. 區域內灰階平均值 (mean)、中間值(median)、最大值 (maximum)、或最小值(minimum)。

vii. 區域內大於與小於平均值的像素比例。


10.5.2 力距描述式

力距描述式 (Moments of silhouette) 是用於描述物體 (區塊) 內部的特徵。先解釋 “silhouette” -剪影；一個物體外形的封閉曲線稱為輪廓(closed contour)，輪廓內部區域就稱為該物體的剪影。

Contourx

y

Silhouettex

y


“力距” – moment 有不同的次方 (order) 定義。假設一個二維函數 f (x, y) 代表一個物體在 (x, y) 座標的質量 (mass)，則該物體的第 (p+q) 次方的力距定義為

上述的力距定義與位置相關，因此可以將定義改成為 (p+q) 次方的中央力距 (central moment of order (p+q))

其中 ,


影像要採用離散的定義，離散力距定義為

離散中央力距定義為


某些特殊力距具有特別的物理意義

m00 = 00 = f (x, y) 表示一個區塊的質量(mass)

m10/m00 , m01/m00 表示 x 方向或 y 方向的質量中心 (centroid)；例如，一塊板子的密度或厚度不是均勻分佈，則質量中心就會偏向密度高或厚度大的哪一邊。

10 = 01 = 0. 11/00 表示 x, y 兩個隨機變數的共變異數

(covariance)； 20/00, 02/00 表示 x 或 y 隨機變數的變異數

(variance)。


為了將力距表示式做成與區塊的大小、旋轉方向、或其他因素無關，有人再將中央力距轉換成正規化中央力距 (normalized central moment)，(p+q) 次方的正規化中央力距 (normalized central moment of order (p+q)) 定義為

其中 , for p + q = 2, 3, ..


1962年 Hu 再將多個 2, 3 次方的正規化中央力距做成多個不變力距 (invariant moment)，


不變力距表示式與區塊的位移、大小、旋轉、鏡射 (mirror) 變化都無關。

範例經過邊長縮小1/2 (相當面積縮小1/4)、鏡射、及順時鐘旋轉 45 度後，各別計算其 7 個不變力距做成各別的 7 維特徵向量。


Half size. Mirrored. Rotated 2o. Rotated 45o.


10.5.3 紋理描述

紋理 (texture) 是用來描述或度量區塊內部特徵的一種描述式。紋理特徵為細緻度(smoothness)、粗糙度 (coarseness)、規律性(regularity)、或凌亂度 (randomness) 等。

細緻沙灘有規律的藤編圖案雜亂彩色軟糖


使用區塊內的像素灰階變異數 (gray-level variance) 能不能描述紋理 ?

這兩張影像的灰階分佈圖 (histogram) 完全一樣。因此這兩張影像的灰階平均值與變異數完全一樣；也就是像素灰階變異數不能分辨紋理。上述兩張影像的最大差別在於不同灰階像素的位置不同；因此要能區別上述兩種不同的紋理，一樣要同時處理像素的灰階與位置。


4 灰階相同分佈。 2 灰階相同分佈。


紋理分析的難度高，因此一直都是重要的研究議題。紋理分析的目的有：紋理影像分割、紋理辨識、紋理產生 (generation)、.. 等。

紋理分析的方法很多：i. 灰階共生矩陣 (co-occurrence matrix)ii. 區域二元模式 (local binary pattern, LBP)iii. 加柏濾波器 (Gabor filter) iv. 小波轉換 / 傅立葉轉換v. 自我迴歸模式 (autoregressive (AR) model) vi. 馬可夫隨機場 (Markov random fields)vii.碎形模式 (fractal models):


10.5.3.1 灰階共生矩陣

灰階共生矩陣 (gray-level co-occurrence matrix) 是同時描述影像像素灰階與位置的一個表示式。

使用共生矩陣要先定義好像素與相鄰像素之間的座標 (位置) 關係。例如，灰階 i 像素在灰階 j 像素的右下方。

假設一張影像的灰階範圍 (灰階尺度) 為 [0, 255]，則要先創造一個 256×256 矩陣；這個矩陣內的第 i 列第 j 行元素 aij 表示整張影像中，灰階 i 像素在灰階 j 像素的右下方出現的次數。接著將矩陣內的每一個數值除以總次數，則矩陣內的每一個數值即成了一個機率值；此矩陣即稱為灰階共生矩陣。


原始影像灰階共生次數矩陣灰階共生矩陣

範例

灰階範圍 (灰階尺度) 為 [0, 2]；灰階共生次數矩陣 3 × 3；矩陣元素 aij 表示灰階 i 像素在灰階 j 像素的右下方出現的次數；cij 為出現的機率值

0 0 0 1 21 1 0 1 12 2 1 0 01 1 0 2 00 0 1 0 1


灰階共生矩陣只是影像紋理的一種表示式，還不能應用；要再將此表示式描述成一些數值才能用來描述區域的細緻度、平滑度、粗糙度、規律性、或凌亂度等特性。

1979 年電腦視覺大師 R. M. Haralick 在灰階共生矩陣上定義出 12 個描述式數值用以描述區域的紋理特性。其中有 5 個比較重要的描述式：

A. 最大機率值 (maximum probability) max,

表示影像中，最大可能的像素相對位置關係。


B. k次方的差值力距 (element-difference moment of order k) mk,

可以分析大數值的矩陣元素是否集中在矩陣對角線附近。

I1 影像 I2 影像 I1, I2 影像的次數共生矩陣

0 3 2 1 0 1 0 1 3 2 1 01 0 3 2 1 0 0 3 2 0 0 01 1 0 3 2 1 1 1 0 3 2 32 1 1 0 3 2 0 3 2 2 1 03 2 1 1 0 3 0 3 0 0 1 03 3 2 1 1 0 1 3 1 2 3 3

6 0 0 0 0 2 3 30 9 0 0 1 0 1 20 0 5 0 3 2 0 00 0 0 5 5 2 1 0


C.第 k 次方的反差值力距 (inverse element-difference moment of order k) mk

-1,

反差值力距與差值力距的意義剛好相反。


D.熵度量 (entropy) e,

熵度量可用於分析區域像素灰階的亂度(randomness)。當共生矩陣的數值 cij 愈相近，則熵數值就愈大。熵值越大，表示影像中不同灰階像素分佈越凌亂 (每一種可能發生的機率都一樣)。

0 1 2 3 3 1 1 1 1 02 0 1 1 1 1 1 1 1 11 2 3 0 2 1 1 1 1 12 3 0 3 1 1 1 1 1 10 3 2 2 0 2 1 1 1 1

1/16 1/16 1/16 1/16 0 0 0 01/16 1/16 1/16 1/16 0 1 0 01/16 1/16 1/16 1/16 0 0 0 01/16 1/16 1/16 1/16 0 0 0 0

I3 影像 I4 影像 I3, I4 影像的共生矩陣


E. 一致性 (uniformity) u,

一致性的意義剛好與熵度量相反。


10.6 形態學技術

形態學 (morphology) 原本是用於描述生物 (包括動物與植物) 形體的一門學科。

影像處理引用形態學來做為影像處理的一個工具，稱為數學形態學 (mathematical morphology)，也獲得不錯的成果。當今許多目標偵測、瑕疵偵測、雜訊去除、區塊分割、輪廓擷取、骨架截取、.. 等工作都可以應用形態學技術來獲得影像中物件的輪廓、邊界、骨架、 .. 等資訊。


形態學的原理是集合理論 (set theory)；也就是將影像中的某些像素分成為幾個集合，再以集合的位移 (translation)、鏡射 (reflection)、互補(complement)、差集 (difference)、交集(intersection)、與聯集 (union) 等運算，及包含“” 與包含於 “” 等關係做集合的處理。

像素集合定義為 “在空間中相連接 (connected) 且灰階一樣的像素所形成的集合”


set A ={a | all a’s are connected and have the same property}。

二值化影像比較容易定義集合，也因此大部份的形態學技術大都是做用在二值化影像上的；只有少數技術是直接作用在灰階影像上的。

形態學在影像處理的運作上仍是以遮罩的方式作運算；這個遮罩稱為 “結構元件” (structuring element)。一般常用的結構元件可定義為 13, 15, 17, 31, 51, 71, 33, 55, 77, .. 遮罩。

1 5 6 7 9 10 11

4

2

8

3


10.6.1 集合基本運算

基本集合運算：位移、鏡射、互補、差集、交集、與聯集，其中A, B 為兩個像素集合。

A. 位移 (translation)A 位移了 t = [t1 t2] T 表示成A t = {x | x = a + t, for all a A}

B. 鏡射 (reflection)A 的鏡射表示成 Â = {x | x = - a, for all a A}

C. 互補 (complement)A 的互補集合表示成 A c = {x | x A}

D. 差集 (difference)A 對 B的差集合表示成A - B = {x | x A, x B } = A ∩ B c


E. 交集 (intersection)A 與 B的交集表示成A ∩ B = {x | x A and f B }

F. 聯集 (union)A 與 B的聯集表示成A U B = {x | x A or f B }


範例

A B

A 的位移 A 的鏡射 A 的互補集合

A 對 B 的差集 A 與 B 的交集 A 與 B 的聯集


10.6.2 形態學的基本運算

我們可以從集合的基本運算定義出兩個型態學的基本運算：放大 (膨脹) 與收縮 (侵蝕)。放大與收縮的運算雖然都有多種定義，但結果都是一樣的。


A. 放大 (dilation)用結構元件 B 來放大 A (dilation of A by B) 定義為

或

或

上述公式可以描述成 “將 A 集合的每一個像素變成 B 集合，再將所有 B 集合聯集而成放大的 A集合”。放大運算又稱為 Minkowski addition 運算。


B. 收縮 (erosion)用結構元件 B 來收縮 A (erosion of A by B) 定義為

A B = 或

A B = 或

A B =上述公式可以描述成 “將 A 集合內的每一個可以形成 B 集合的區域收縮成一個像素，再將縮成的像素聯集而成縮收的A集合”。收縮運算與Minkowski subtraction 運算有點像，

Minkowski subtraction 定義為。


區塊 A。結構元件 e。

放大 A 區塊。縮小 A 區塊。

範例


10.6.3 形態學的運算

接著，我們再以放大與收縮運算來合成出型態學中最常被使用的二種運算：縮放 (opening) 及放縮 (closing) 。

A. 縮放 (opening) 縮放或稱放開或開啟 (opening)。用結構元件 B

來縮放 A (opening of A by B) 定義為

A o B = (A B) ⊕ B意思是用 B 集合，先將 A 集合收縮後再放大。


B. 放縮 (closing)放縮或稱封閉或關閉 (closing)。用結構元件 B

來放縮 A (closing of A by B) 定義為

A B = (A ⊕ B) B意思是用 B 集合，先將 A 集合放大後再收縮。

範例

原始二值化影像結構元件 (11x11)

11x11 disk


放大。收縮。

縮放。放縮。

縮放：去除小區塊

放縮：填補小破洞


改以 ”11x11方塊” 當做結構元件所做出來的放大、收縮、縮放、與放縮結果

放大收縮

縮放放縮


Original opening (縮放) closing (放縮)

With structuring element 3x3 block


10.6.4 灰階形態學運算

灰階形態學 (gray-level morphology) 的一個集合可以包含各種灰階，結構元件也可以有多種灰階。灰階形態學中常用的運算有：放大、收縮、縮放、與放縮。

A. 放大 (dilation) 以結構元件B放大灰階形集合 A (dilation of A by B)

定義為

其中 a (x, y) 及 b (i, j) 各別是 A, B 集合的元素。先將結構元件 B 做鏡射；B 每對齊好一個 A位置後，再將每個 B 元素加到 A 集合中相對應的位置上。最後選擇一個最大數代表像素 a (x, y) 的放大結果。


B. 收縮 (Erosion) 以結構元件B收縮灰階形集合 A (erosion of A by B)

定義為 A B =

其中 a (x, y) 及 b (i, j) 各別是 A, B 集合的元素。公式的意思是B 每對齊好一個A位置後，再將每個 B 元素減到 A 集合中相對應的位置上。最後選擇一個最小數代表像素 a (x, y) 的收縮結果。


通常我們都會使用對稱型的結構元件，這時放大運算就不必先做鏡射了。另外，結構元件中的灰階數值在應用上不易確定，所以就常常使用 b (i, j) = 0 的結構元件。如此，放大與收縮的運算就變得更簡單，

A B =

也就是結構元件只是用來定義每一次灰階形態學運算的範圍而已，結構元件內沒有數值參與運算。


C. 縮放 (opening)用結構元件 B縮放灰階及合 A (opening of A by B) 定義為 A o B = (A B) ⊕ B

=

意思是用 B 集合，先將 A 集合收縮後再放大。

D. 放縮 (closing) 用結構元件 B 放縮灰階及合 A (closing of A by B)

定義為 A B = (A ⊕ B) B=

意是用 B 集合，先將 A 集合放大後再收縮。


10.6.5 形態學的影像處理應用

除了上述應用縮放與放縮運算 “去除物件內外部小區塊 (雜訊)” 的應用外，我們還可以組合放大、收縮、差集等運算，做二值化影像及灰階影像的其他影像處理應用：

A. 輪廓擷取 (boundary or contour extraction)B. 區域填滿 (region filling)C. 產生連結區塊 (connected components)D. 骨架化 (skeletoning) 或細線化 (thinning)E. 粗線化 (thickening)F. 修剪分枝 (pruning)


The End !

Thank You.

Documents

10. 影像表示與描述 - ip.csie.ncu.edu.twip.csie.ncu.edu.tw/course/IP/IP1510cp.pdf · 影像處理 10. 影像表示與描述 D.-C. Tseng of IPVR Lab. in NCU 3 “表示” 是用簡單的圖形來代替複雜的圖形，