國立雲林科技大學工業工程與管理研究所
論文計劃
貝 曲面之複迴歸模式建立與分析玆貝 曲面之複迴歸模式建立與分析玆
研 究 生:簡俊能
口試委員:童超塵 博士口試委員:鄭博文 博士指導教授:袁明鑑 博士
中華民國九十一年一月十四日
報 告 大 綱
一、研究背景、動機與目的
二、研究步驟
三、文獻探討
四、研究方法
五、預期成果與研究進度
SimLabSimLab 22
迴歸模型是探討兩個或兩個以上變數之間的關係故
其可以廣泛的應用在工程,商學,社會科學等領域
各種迴歸方法皆有其模式假設與限制
線性迴歸模型分析必須事先假設迴歸函數但是通常
在無充足知識前提之下假設迴歸模式是不適當且困
難的
貝玆曲面的幾何性質能以控制點調整建立曲面參數式
將資料點當作控制點描述貝玆迴歸曲面並建立複迴
歸模型
SimLabSimLab 33
一、研究背景、動機與目的 研究背景及動機
研究目的
1. 建立貝玆曲面與複迴歸模型結合方法2. 提供不需要事先假設模式的複迴歸模型3. 驗證貝玆迴歸模型的統計分析能力4. 證明貝玆迴歸的收斂性質5. 比較各種迴歸方法的優缺點
SimLabSimLab 44
研究背景、動機與目的
SimLabSimLab 55
二、研究 驟步二、研究 驟步
研究動機與目的
結論
文獻探討
與傳統回歸做比較
建立模型
•貝玆曲面的幾何性質•貝玆迴歸模式的假設 與建立•變異數之估計與分析•Goodness of fit test•收斂性質的證明估計預測區間與信賴區間
貝玆曲線參數性質
傳統迴歸模型
各種迴歸方法
三、文 獻 探 討
SimLabSimLab 66
傳統線性迴歸 簡單迴歸
複迴歸
幾何模型貝茲曲線
貝茲曲面
各種迴歸模式
Fuzzy 模糊迴歸理論GMDH(group method of data handling)
類神經網路
無母數迴歸
傳統線性迴歸
:
文 獻 探 討
SimLabSimLab 77
2R
求樣本數 檢 數據是否有異常查 值
算出相關係數矩陣決定可刪除的變數
判定自變項與應變項應有何種曲線關係
對所有可能模式進行forward 、 backward 、 stepwise 分
析視情況而定
以 Cp 、 MSE 、 PRESS 或 為指標、選取適當模式
若模式不適合再尋求其他可能因素實驗之蒐集新資料、檢驗模式及其預估結果
利用 Hold-out sample 檢驗模式及其預估效果
2. 模式選擇:
1. 資料收集
3. 模式驗證
4. 限制 預測變數無線性相關
殘差項滿足平均 為零之常態分布值
觀察 無自我相關現象值
各種迴歸模式文 獻 探 討
SimLabSimLab 88
Fuzzy 模糊迴歸理論
自變數與應變數呈線性關係,且可以依模式設定做不同形式之轉換模糊參數只模糊迴歸中的迴歸係數為模糊數。所有的解釋變數的係數均為 L-type 的模糊數,模糊迴歸最主要的概念是在某各水準下 ,實際觀測 的截集能被估計 的截集所包含值 值
GMDH(group method of data handling)
.GMDH 方法由 Ivakhnenko 所提出,其基本構想為利用起始變數為出發點,將所有解釋變數藉 之二次多項式
求出 Y 之迴歸方程式以建立較複雜新方程式,同時從其中選擇較佳之方程式,使得新方程式更能適當描述此系統 .
),...,,( 21 mxxx
各種迴歸模式文 獻 探 討
類神經網路 (BACK-error Propagation Neural Network)
1. 類神經網路於 1986 年由 Rumelhart 提出後才廣為人知 ,BPN屬於類神經網路中的監督式學習網路, 是第 i 個輸入層支入變數經過隱藏層與輸出層算出網路的輸出變數 Y ,從學習範例的目標輸出變數值 T 與網路輸出變數值 Y 比較球出誤差 ,BPN 的主要特色為加入隱藏層與使用非線性活化函數 .
iX
SimLabSimLab 99
無母數迴歸無母數迴歸分析最主要是從一種具有干擾資料中,估計迴歸函數以及找出原函數資料原有特性之平滑法,是一種近年來常用的資料分析方法 smoother 是用來表示反應變數 Y 與一個或多個預測變數之間關係的一項工具一般常見的 smoother 包括 Bin smoothers 、 Runnning-mean smoother 、 running-line smoother 、 kerner smoother
幾何模型文 獻 探 討
B é z i e r Curve 的定義
稱之為 Bernstein 多項式基底
),...,( 10 nxxxx ≡PitBtPn
i
ni ⋅=∑
=
)()(0
]1, 0[ ∈t
),...,( 10 nyyyy ≡
inini tt
ini
ntB −−
−≡ )1(
)!(!
!)(
定義
其中
SimLabSimLab 1010
假設 {}n p p p p,.., , ,2 1 0
為 n+1 個控制點 (control points)
由此控制點集形成的貝茲曲線定義如下:}0|),{( niyxP iii <<=
當參數 t 由 0 變化至 1 時其軌跡即為
貝茲曲線
幾何模型文 獻 探 討
SimLabSimLab 1111
B é z i e r Curve 的特性
(1) 基底函數均為正實數
(2) 定義曲線之多項式次數較定義多邊形少一
(3) 摻合函數 (blending function) 的最大值
發生於 t=i/n ( i=0,1, …,n)
(4) 曲線必通過第一和最後一個控制點
(5) 該曲線必包含於控制點所形成的凸殼中 (convex hull) 中
(1) 基底函數均為正實數
(2) 定義曲線之多項式次數較定義多邊形少一
(3) 摻合函數 (blending function) 的最大值
發生於 t=i/n ( i=0,1, …,n)
(4) 曲線必通過第一和最後一個控制點
(5) 該曲線必包含於控制點所形成的凸殼中 (convex hull) 中
)(tBni
1 2 3 4 5 6 7 8 90
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 90
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 90
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 90
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 90
1
2
3
4
5
6
7
B é z i e r Curve 性質
幾何模型文 獻 探 討
SimLabSimLab 1212
當控制點上移時曲線形狀被向上吸
引
當控制點下移時曲線形狀被向下吸
引
當控制點右移時曲線形狀被向右吸引
貝茲曲線外型由控制點所決
定
幾何模型文 獻 探 討
20 30 40 50 60 70 80 90 100-1
-0.5
0
0.5
1
1.5
2
·í±± î̈ÂI¼Æ¬°n+1=100Ó
0 10 20 30 40 50 60 70 80 90 100-3
-2
-1
0
1
2
3
·í±± î̈ÂI¼Æ¬°n+1=100Ó
0 10 20 30 40 50 60 70 80 90 100-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
2.5
·í±±̈ îÂI¼Æ¬°n+1=100Ó
0 10 20 30 40 50 60 70 80 90 100-4
-3
-2
-1
0
1
2
3
4
·í±±¨îÂI¼Æ¬°n+1=100Ó
SimLabSimLab 1313
控制點數為 100
控制點個數為 5 控制點個數為 10
控制點數為 1000
被茲曲線近近收斂於 y=0
0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 1 0 00
1 0 0 0
2 0 0 0
3 0 0 0
4 0 0 0
5 0 0 0
6 0 0 0
7 0 0 0
8 0 0 0
9 0 0 0
·í± ± ¨î I ¼ Æ ¬ °n + 1 = 1 0 0 Ó
0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 1 0 00
1 0 0 0
2 0 0 0
3 0 0 0
4 0 0 0
5 0 0 0
6 0 0 0
7 0 0 0
8 0 0 0
9 0 0 0
1 0 0 0 0
·í± ± ¨î I ¼ Æ ¬ °n + 1 = 1 0 0 Ó
幾何模型文 獻 探 討
SimLabSimLab 1414
貝茲曲線對於曲線的收斂性更加優越
四、 研究方法
B é z i e r surface 特性
B é z i e r 迴歸之收斂性質
B é z i e r 迴歸基本假設
B é z i e r 迴歸之統計分析
B é z i e r 迴歸實驗
SimLabSimLab 1515
B é z i e r Surface 特性
方法論
定義
假設{ }njmizyxQ ijijijij <<<<= 0,0|),,(3RQij ∈
為 (m+1)*(n+1) 個控制點集, B é z i e r 曲面形完全由這些控制點所決定茲將 B é z i e r 曲面定義如下 :
Let U(u,v)
2R∈ 作一線性映射至 空間形成一參數曲面3R32: RRU →⊂ℵ ]1,0[, ∈vu
ij
n
j
nj
m
i
mi QvBuBvuS ∑∑
==
=00
)()(),(
imimi uu
imi
muB −−
−≡ )1(
)!(!
!)(
jnjnj vv
jnj
nvB −−
−≡ )1(
)!(!
!)(
]1,0[∈u ]1,0[∈v
稱之為 Bernstein 多項式基底
SimLabSimLab 1616
),( *** vuS∀ in S can representation 如下 :
ij
m
i
n
j
nj
mi QvBuBvuS ∑∑
= =
=0 0
***** )()(),(
( ) ( ) )(**
0
)(*
0
* )1()1()()( jmn
j
m
i
jmn
j
mi vvuu
ji −
=
−
=
−−= ∑∑
B é z i e r Surface特性
方法論
S(U,V) 其為一 regular surface by χ.a
χ.b1. −χc
Is differentiable.
Is homomorphism.
Is continous.
SimLabSimLab 1717
B é z i e r Surface特性
方法論
SimLabSimLab 1818
貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 10*10=100個
B é z i e r Surface特性
方法論
SimLabSimLab 1919
貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 33*33=999個
B é z i e r Surface特性
方法論
SimLabSimLab 2020
貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 70*70=4900個
B é z i e r Surface特性
方法論
SimLabSimLab 2121
貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 100*100=10000個
B é z i e r Surface特性
方法論
一階導數性質B é z i e r Surface的一階導數
)()(),( ' vBuB
u
vuB nj
mi=
∂∂
( ){ } )()1()()1( 11 vBuuimuiu nj
imiimimi
−−−− −−−−=
)()(),( vBuBvuB mj
mi=令
∑∑
∑∑
=
=
m
iij
n
j
nj
miu
m
iij
n
j
nj
miu
QvBuBvuS
QvBuBvuS
)()(),(
)()(),(
'
'
)()()1(
)(vBuB
uu
mui nj
mi−
−=
)()(),( ' vBuB
v
vuB nj
mi=
∂∂
( ){ } )()1()()1( 11 uBvvjnvjv mi
jnjjnjnj
−−−− −−−−=
)()()1(
)(vBuB
vv
nvj nj
mi−
−=
SimLabSimLab 2222
B é z i e r Surface特性
方法論
二階導數性質
∑∑
∑∑
=
=
m
iij
n
j
nj
miu
m
iij
n
j
nj
miuu
QvBuBvuS
QvBuBvuS
)()(),(
)()(),(
''
''
)()(),( vBuBvuB mj
mi=令
)()(),(),( ''
2
2
vBuBu
vuB
u
vuB nj
mi=
∂∂
∂∂=
∂∂
)(*)()1(
)21()(22
22
vBuBuu
uimumui nj
mi
−−−−−=
)()(),(),( ''
2
2
vBuBv
vuB
v
vuB nj
mi=
∂∂
∂∂=
∂∂
)(*)()1(
)21()(22
22
vBuBvv
vjnvnvj nj
mi
−−−−−=
SimLabSimLab 2323
B é z i e r Surface迴歸基本假設
方法論
B é z i e r Surface之複迴歸模式假設假設反應變數與預測變數關係式如下:1.對於不同之 ),|( ijij yxzf
所對應的 (m+1)(n+1)個參數再由所對應的 ijZ
),( ijij yx 所對應的 Y值都屬於同一機率分配
2.
變數定義:
),0(~ 2σε Nij 且互相獨立
ijijijij yxfZ ε+= ),(
觀察值
預測變數
誤差項
此實驗之真實函數
ji vu ,
ijij YX ,
ijεf
以觀察值為控制點的 B é z i e r Surface所估計的 f(x,y)如下∑∑= =
∧=
m
k
n
sj
nsi
mkijij vBuByxf
0 0
)()(),(
其中
∑∑
∑∑
==
==
=
=
m
kij
n
sj
nsi
mkij
m
kij
n
sj
nsi
mkij
YvBuBY
XvBuBX
0 0
0 0
)()(
)()(
滿足
By ijij YX ,
透過估計式求出
ijZ
SimLabSimLab 2424
ijZ
),( ji vu
ijZ∧
B é z i e r Surface 迴歸基本假設
方法論
B é z i e r Surface 之複迴歸模式矩陣表示法 ],...,,[ 210 m
T zzzzZ =
],...,,[ 210 mjjjjTj zzzzZ =
nj ,...2,1,0=
jij ZBsfZ ⋅==∧∧
jnjiminj
mis vv
jnj
nuu
imi
mvBuBB −− −
−−
−≡= )1(
)!(!
!)1(
)!(!
!)()(此處
多項式所加權估計經由是由反應變數 bernsteinZij
∧f
所對應之值是由預測變數 ijYvu ,X),( ij
],...,,[ 210
∧∧∧∧∧= mjjjj zzzzf 為估計值
為觀察值中的反應變數
SimLabSimLab 2525
B é z i e r Surface 迴歸基本假設
方法論
B é z i e r Surface 之複迴歸模式矩陣表示法
=∧f
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
n
jn
njm
m
n
j
njm
m
n
j
njm
m
n
j
nj
m
n
j
nj
m
n
j
nj
m
n
j
nj
m
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
00
010
000
0110
0010
0100
0000
)()(
)()(
)()(
)()(
)()(
)()(
)()(
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
n
jn
njm
m
n
j
njm
m
n
j
njm
m
n
j
nj
m
n
j
nj
m
n
j
nj
m
n
j
nj
m
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
00
010
000
0110
0010
0100
0000
)()(
)()(
)()(
)()(
)()(
)()(
)()(
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
n
jn
njm
m
n
j
njm
m
n
j
njm
m
n
j
nj
m
n
j
nj
m
n
j
nj
m
n
j
nj
m
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
00
010
000
0110
0010
0100
0000
)()(
)()(
)()(
)()(
)()(
)()(
)()(
mj
j
j
j
Z
Z
Z
Z
2
1
0
SimLabSimLab 2626
B é z i e r Surface 迴歸之收斂性質
SimLabSimLab 2727
)()()(lim *
0
* xfxftB i
n
i
nin =∑
−∞→
假設觀察 產生是由一連續函數值 f 且隨機誤差為0 ,則當樣本數 n 足 大時且等距分布在夠 x 範圍時,以觀察 為控制點之值 bezier curves 將收斂於觀察
的真實函數亦即值 :
j
n
j
xtBxt ∑=
=0
*** )(滿足此處
iiiji
n
ij
nin exfYxfYYtB +===∑
−∞→ )(),()(lim
^
0
B é z i e r Surface 迴歸之統計分析
貝茲曲面所建立的複回歸模式的統計分析是為了驗證其統計性質其中包含了反應變數的預測,變異數分析,殘差分析, MSE 適合度檢定等將建立一完整統計分析架構 .
•反應變數的估計
•變異數的估計
根據貝茲多項式的定義,反應變數如下式估計: ∑∑
= =
∧=
m
k
n
sj
nsi
mkijij vBuByxf
0 0
)()(),(
其中ji vu , 滿足
∑∑
∑∑
= =
= =
=
=
m
kij
n
sj
nsi
mkij
m
kij
n
sj
nsi
mkij
YvBuBY
XvBuBX
0 0
0 0
)()(
)()(
)1)(1(
)(0
2
0−−
−=
∑∑= =
∧
nm
ZZX
m
kij
n
sij
ij( ) )1)(1( −−−= nmZZB T
jjs
SimLabSimLab 2828
ijZ∧
B é z i e r Surface 迴歸之統計分析
•MSE 的自由度
•適合度檢定
我們必須對於貝茲回歸曲面所建立之赴回歸模式作殘差分析與 統計檢定:
觀察值知數目為 (m+1)(n+1) 個,其自由度為 (m+1-2)(n+1-2)=(m-1)(n-1)
1 變異數是否一致2. 資料是否獨立3. 隨機誤差是否具常態性4. 是否有極端值
)1)(1(
)1)(1()(0*
++
++−=∑∑= =
∧
nmMSE
nmZZ
t
m
oiij
n
jij•T 檢定
•F 檢定
)1)(1(
)1)(1()(
2
0*
++
++−
=∑∑= =
∧
nmMSE
nmZZ
F
m
oiij
n
jij
SimLabSimLab 2929
B é z i e r Surface 實驗設計
SimLabSimLab 3030
模擬重複實驗 1000 次
以各種函數型態加上適當的常態誤差項產生觀察值
分別個常態誤差參數實驗
分別以不同觀察 個數實驗值
以貝茲迴歸模型估計 以傳統或其他回歸模型估計
統計指標分析
問題探討與結論
五、甘特圖
SimLabSimLab 3131
工作任務 9 月 10月
11 月 12 月 1 月 2 月 3 月 4 月 5 月
文獻彙整
建立曲面迴歸模型
曲面程式撰寫
建立 n 維複迴歸模型
建立統計分析程序
模擬實驗與分析
論文撰寫