CÁC PHƯƠNG PHÁP ƯỚC L NG THAM S - hcmut.edu.vnhthoang/ndht/Chuong5_NDHT_K2009.pdf · ... CÁC PHƯƠNG PHÁP ... - cách giải bài toán tối ưu hóa (5.7) mà ta có các

Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ

© Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

1

Chương 5

CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ

Chương 5: CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ 5.1. Nguyên tắc ước lượng tham số 5.2. Phương pháp sai số dự báo 5.3. Phương pháp hợp lý cực đại 5.4. Phương pháp tương quan 5.5. Thuật toán lặp ước lượng tham số 5.6. Thuật toán đệ qui ước lượng tham số 5.1 NGUYÊN TẮC ƯỚC LƯỢNG THAM SỐ Giả sử chúng ta đã chọn được cấu trúc mô hình thích hợp với hệ thống cần nhận dạng và đưa ra bộ dự báo ),(ˆ θky , đồng thời đã thu thập được N mẫu dữ liệu: { })(),(,),1(),1( NyNuyuZ N …= (5.1) Vấn đề đặt ra là xác định tham số Nθ̂ dựa vào thông tin chứa trong ZN. Nguyên tắc ước lượng tham số là dựa vào Zk chúng ta có thể tính được sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε (5.2) Ta cần xác định tham số Nθ̂ sao cho sai số dự báo càng nhỏ càng tốt. − Phương pháp sai số dự báo: ước lượng tham số sao cho sai số dự báo tối thiểu. − Phương pháp tương quan: ước lượng tham số sao cho tương quan giữa sai số dự báo và dữ liệu quá khứ bằng 0. 5.2 PHƯƠNG PHÁP SAI SỐ DỰ BÁO 5.2.1 Nguyên tắc ước lượng sai số dự báo Nguyên tắc ước lượng thông số theo phương pháp sai số dự báo là tối thiểu hóa sai số dự báo. Tổng quát hóa nguyên tắc trên, ta có thuật toán sau đây:



2

1. Chọn cấu trúc mô hình và rút ra bộ dự báo: ),(),(ˆ 1−= kZgky θθ (5.3) Bộ dự báo có thể tuyến tính hay phi tuyến; có thể là mạng thần kinh nhân tạo, hệ mờ, chuổi wavelet,… 2. Từ dữ liệu quan sát và bộ dự báo ),(ˆ θky , thành lập chuổi sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε , k =1, 2, …, N (5.4) 3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần. ),()(),( θθ kqLkF εε = (5.5) 4. Chọn tiêu chuẩn đánh giá sai số dự báo:

( )∑=

=N

kF

NN k

NZV

1),(1),( θθ εl (5.6)

trong đó l(.) là hàm xác định dương. 5. Tìm tham số θ tối thiểu hóa tiêu chuẩn đánh giá: ),(minargˆ N

NN ZV θθθ

= (5.7)

Tất cả các phương pháp ước lượng tham số dựa vào biểu thức (5.7) gọi chung là phương pháp sai số dự báo (Prediction Error Method – PEM). Tùy thuộc vào cách chọn: - chuẩn l(.) - bộ lọc L(.) - cấu trúc mô hình - cách giải bài toán tối ưu hóa (5.7) mà ta có các phương pháp nhận dạng cụ thể khác nhau. 5.2.2 Bộ lọc tuyến tính − Bộ lọc L(q) có thể dùng để lọc nhiễu tần số cao hay các thành phần trôi tần số thấp. − Nếu bộ dự báo tuyến tính bất biến và y và u là các đại lượng vô hướng thì kết quả lọc sai số dự báo ε tương đương với lọc dữ liệu y và u trước, sau đó mới đưa dữ liệu đã lọc vào bộ dự báo. − Bộ dự báo cho hệ tuyến tính bất biến là (xem chương 4): )(),(),()()],(1[),(ˆ 11 kuqGqHkyqHky θθθθ −− +−= (5.8) Sai số dự báo:



3

)](),()()[,(),( 1 kuqGkyqHk θθθ −= −ε (5.9) Sai số dự báo sau khi qua bộ lọc: )](),()()[,()(),( 1 kuqGkyqHqLkF θθθ −= −ε )](),()([)],()([ 11 kuqGkyqHqL θθ −= −− (5.10) Biểu thức (5.10) cho thấy ảnh hưởng của bộ lọc sai số dự báo tương đương với việc đổi mô hình nhiễu từ ),( θqH sang ),()(),( 1 θθ qHqLqH −= . ⇒ Khi mô tả và phân tích các phương pháp nhận dạng, ta thường giới hạn trong trường hợp L(q) ≡ 1. 5.2.3 Tiêu chuẩn ước lượng tham số Thường chuẩn ước lượng tham số được chọn là chuẩn toàn phương:

∑=

=N

kF

NN k

NZV

1

2 ),(1),( θθ ε (5.11)

Chuẩn toàn phương có thuận lợi là tính toán và phân tích dễ dàng, tuy nhiên cũng có thể chọn các chuẩn khác như: Chuẩn l1:

∑=

=N

kF

NN k

NZV

1),(1),( θθ ε (5.12)

Chuẩn l∞: ),(max),(

1θθ kZV FNk

NN ε

≤≤= (5.13)

Chuẩn ước lượng tham số cũng có thể là chuẩn biến đổi theo thời gian:

∑=

=N

kF

NN kkNZV

1)),((),(),( θθ εβ l (5.14)

• Biểu diễn tiêu chuẩn sai số dự báo toàn phương cho hệ tuyến tính bất biến trong miền tần số: Xét hệ tuyến tính bất biến tổng quát: )()()()()( keqHkuqGky += (5.15) Bộ dự báo cho hệ tuyến tính bất biến là: )(),(),()()],(1[),(ˆ 11 kuqGqHkyqHky θθθθ −− +−= (5.16) Sai số dự báo: )](),()()[,(),( 1 kuqGkyqHk θθθ −= −ε (5.17)



4

Biến đổi DFT của ),( θkε là:

∑=

−=N

k

kjlN

lekN

E1

),(1),( ωεω θθ (5.18)

trong đó N

ll

πω 2= , l = 0, 1,…, N –1.

Theo định lý Parseval, ta có:

∑∑−

===

1

0

2

1

2 ),(),(N

llN

N

kEk θθ ωε (5.19)

Thay (5.19) vào (5.11) ta được:

∑−

==

1

0

2),(1),(N

llN

NN E

NZV θθ ω (5.20)

Mặt khác, do (5.17) nên theo định lý 2.1 (Ljung 1999, page 31) ta có: { } )(~)(),()(),(),( 1

lNj

lN RkuqGkyDFTeHE l ωω ω +−= −− θθθ { }[ ] )(~)(),()(),(1

lNlNj RkuqGDFTYeH l ωωω +−= −− θθ

{ }[ ] )(~)()(),()(),(1lNlNlN

jlN

j RRUeGYeH ll ωωωω ωω ++−= −−− θθ [ ])(),()(),(1

lNj

lNj UeGYeH ll ωω ωω θθ −−− −≈

⎥⎦

⎤⎢⎣

⎡−= −−− ),(

)()()(),(1 θθ ll j

lN

lNlN

j eGUYUeH ωω

ωωω

⎥⎦⎤

⎢⎣⎡ −= −−−− ),()(ˆ̂)(),(1 θθ lll jj

lNj eGeGUeH ωωω ω (5.21)

Đặt: 2

2

),(

)(),(

θθ

ω

ωω

j

N

eH

UQ

−= (5.22)

Thay (5.21) vào (5.20) ta được:

∑−

=

−−

⎥⎦⎤

⎢⎣⎡ −≈

1

0

2

),(),()(ˆ̂1),(N

ll

jjNN QeGeG

NZV ll θθθ ωωω

⇒ ∫−

−−

⎥⎦⎤

⎢⎣⎡ −≈

π

π

ωω ωωπ

dQeGeGZV jjNN ),(),()(ˆ̂

21),(

2

θθθ (5.23)

Biểu thức (5.23) có thể xem như là một cách khác để trơn hóa đặc tính tần

số thực nghiệm )(ˆ̂ ωjeG − . Điều này chứng tỏ phương pháp phân tích phổ và phương pháp sai số dự báo có tương quan với nhau.



5

5.2.4 Mô hình hồi qui tuyến tính và phương pháp bình phương tối thiểu Ở chương 4 chúng ta đã thấy cấu trúc hồi qui tuyến tính rất hữu ích trong việc mô tả hệ tuyến tính và hệ phi tuyến. Tổng quát, bộ dự báo hồi qui tuyến tính có dạng: )()(),(ˆ kkky T μ+= θϕθ (5.24) Sai số dự báo là: )()()(),(ˆ)(),( kkkykykyk T με −−=−= θϕθθ (5.25) • Tiêu chuẩn bình phương tối thiểu:

[ ]∑∑==

−−==N

k

TN

k

NN kkky

Nk

NZV

1

2

1

2 )()()(1),(1),( με θϕθθ (5.26)

Do VN có dạng toàn phương nên chúng ta có thể tìm cực tiểu bằng cách cho đạo hàm bậc 1 theo tham số bằng 0.

{ } 0),( =NN ZV

dd θθ

⇒ ( ) 0)()()(11

2=

⎭⎬⎫

⎩⎨⎧ −−∑

=

N

k

T kkkyNd

d μθϕθ

⇒ ( ) 0)()()()(21

=−−− ∑=

N

k

T kkkykN

μθϕϕ

⇒ [ ] ∑∑==

=−N

k

TN

kkkkkyk

11)()()()()( θϕϕϕ μ

⇒ [ ]⎥⎦⎤

⎢⎣⎡ −⎥⎦

⎤⎢⎣⎡= ∑∑

=

−

=

N

k

N

k

TLSN kkykkk

1

1

1)()()()()(ˆ μϕϕϕθ (5.27)

• Tính chất của ước lượng bình phương tối thiểu: Giả sử ngõ ra của hệ thống thực cho bởi: )()()()( 00 kvkkky T ++= μθϕ (5.28) Thay (5.28) vào (5. 27) ta được:

[ ]⎥⎦⎤

⎢⎣⎡ +⎥⎦

⎤⎢⎣⎡= ∑∑

=

−

=

N

k

TN

k

TLSN kvkkkk

100

1

1)()()()()(ˆ θϕϕϕϕθ

⎥⎦⎤

⎢⎣⎡

⎥⎦⎤

⎢⎣⎡+= ∑∑

=

−

=

N

k

N

k

TLSN kvkkk

10

1

10 )()()()(ˆ ϕϕϕθθ



6

⎥⎦⎤

⎢⎣⎡

⎥⎦⎤

⎢⎣⎡=− ∑∑

=

−

=

N

k

N

k

TLSN kvk

Nkk

N 10

1

10 )()(1)()(1ˆ ϕϕϕθθ

*1*0 )(ˆlim fRLS

NN

−

∞→=−θθ (5.29)

trong đó:

)()()()(1lim1

* kkEkkN

R TN

k

T

Nϕϕϕϕ =⎥⎦

⎤⎢⎣⎡= ∑

=∞→ (5.30)

)()()()(1lim 01

0* kvkEkvk

Nf

N

tNϕϕ =⎥⎦

⎤⎢⎣⎡= ∑

=∞→ (5.31)

Như vậy điều kiện để ước lượng bình phương tối thiểu là ước lượng vững, nghĩa là LS

Nθ̂ hội tụ đến tham số của hệ thống là: − R* không suy biến. − f* = 0: điều này xảy ra khi { })(0 kv là chuổi của các biến ngẫu nhiên độc lập có trung bình bằng 0 (nhiễu trắng) hoặc tín hiệu vào { })(ku là chuổi độc lập với chuổi { })(0 kv có trung bình bằng 0 và vector hồi qui không chứa tín hiệu ra trong quá khứ (na = 0). • Tiêu chuẩn bình phương tối thiểu có trọng số:

[ ]∑=

−−=N

k

TNN kkkykNZV

1

2)()()(),(),( μβ θϕθ (5.32)

Tương tự như trên, tham số ước lượng xác định bởi biểu thức:

[ ]⎥⎦⎤

⎢⎣⎡ −⎥⎦

⎤⎢⎣⎡= ∑∑

=

−

=

N

k

N

k

TLSN kkykkNkkkN

1

1

1)()()(),()()(),(ˆ μββ ϕϕϕθ (5.33)

5.3 PHƯƠNG PHÁP HỢP LÝ CỰC ĐẠI (Maximum Likelihood Method) 5.3.1 Bộ ước lượng và nguyên tắc hợp lý cực đại − Lĩnh vực suy luận thống kê, cũng như nhận dạng hệ thống và ước lượng tham số liên quan đến bài toán rút ra thông tin từ dữ kiện quan sát mà bản thân các dữ kiện quan sát này có thể không tin cậy. − Dữ kiện quan sát có thể mô tả là thể hiện của biến ngẫu nhiên. − Giả sử dữ kiện quan sát có thể biểu diễn bằng biến ngẫu nhiên: { })(,),2(,)1( NyyyN …=y (5.34) có hàm mật độ xác suất là:



7

);(),,,;( 21N

N fxxxf xy θθ =… (5.35) tức là: ∫

∈

=∈A

NNN

N

dfAPx

y xxy );()( θ (5.36)

trong đó θ là vector tham số mô tả tính chất của biến quan sát được. − Giả sử vector tham số θ chưa biết và mục đích của việc quan sát biến yN là để ước lượng θ, điều này có thể thực hiện được bằng bộ ước lượng )(ˆ Nyθ . Nếu giá trị quan sát được của Ny là N

*y thì giá trị tham số ước lượng là )(ˆˆ N

*yθθ =∗ . − Có thể có nhiều bộ ước lượng khác nhau. − Bộ ước lượng hợp lý cực đại: là bộ ước lượng sao cho cực đại hóa xác suất sự kiện quan sát. Vì: );(~)( **

NNN fP yyy y θ= (5.37) Nên bộ ước lượng hợp lý cực đại xác định bởi: );(maxarg)(ˆ

**NNML f yy y θθ

θ= (5.38)

Thí dụ: Giả sử y(i), i = 1, 2, …, N là các biến ngẫu nhiên độc lập có phân bố chuẩn với giá trị trung bình là θ0 (chưa biết) và phương sai là λi (đã biết). Bài toán đặt ra là ước lượng θ0 từ các giá trị quan sát. • Cách thường dùng để ước lượng θ0 là lấy trung bình mẫu:

∑=

=N

i

SM iyN 1

)(1θ̂ (5.39)

• Cách khác để ước lượng θ0 là dùng phương pháp hợp lý cực đại. Vì hàm mật độ xác suất của các biến ngẫu nhiên có phân bố chuẩn là:

⎥⎦

⎤⎢⎣

⎡ −−

i

i

i

xλθ

πλ 2)(exp

21 2

(5.40)

và do các biến ngẫu nhiên độc lập nhau nên:

∏=

⎥⎦

⎤⎢⎣

⎡ −−=

N

i i

i

i

Ny

xxf1

2

2)(exp

21);(

λθ

πλθ (5.41)

Vì vậy hàm hợp lý cho bởi );( N

y yf θ . Vì cực đại hóa hàm hợp lý tương đương với cực đại hóa logarithm của nó nên:



8

),(logmaxarg)(ˆ Ny

NML yfy θθθ

=

⎭⎬⎫

⎩⎨⎧ −

−−−= ∑ ∑= =

N

i

N

i ii

iyN

1 1

2])([21log

212log

2maxarg

λθλπ

θ (5.42)

Biểu thức trên đạt cực đại khi:

min])([21

1

2

→−∑

=

N

i i

iyλθ

⇒ 0])([

1=

−∑=

N

i i

iyλ

θ

⇒ ∑∑ =

=

=N

i iN

ii

NML iyy1

1

)(

)/1(

1)(ˆλλ

θ (5.43)

Để ý rằng nếu phương sai của tất cả các biến ngẫu nhiên đều bằng nhau thì công thức (5.43) và công thức (5.39) cho kết quả ước lượng như nhau. 5.3.2 Phương pháp hợp lý cực đại ước lượng tham số hệ thống động Mô hình xác suất của hệ thống động: );,(),(ˆ 1 θθ −= kZkgky ),(ˆ)(),( θθ kykyk −=ε độc lập và (5.44) có hàm mật độ xác suất là );,( θkxfe Hàm hợp lý cho mô hình xác suất của hệ thống động (xem bổ đề 5.1, Ljung 1999, trang163):

( ) ( )∏∏==

− =−=N

te

N

k

ke

Ny kkfkZkgkyfyf

11

1 ,),,(,),,,()();( θθθθθ ε (5.45)

Cực đại hóa hàm (5.45) tương đương cực đại hóa hàm:

( )∑=

=N

ke

Ny kkf

Nyf

N 1,),,(log1);(log1 θθθ ε (5.46)

Định nghĩa: ( )θθθ ,),,(log),,( kkfk e εε −=l (5.47) Ta có thể viết:

∑=

=N

k

ML kkN 1

),),,((1minargˆ θθθ

εlθ (5.48)

Biểu thức trên cho thấy phương pháp hợp lý cực đại là một trường hợp riêng của phương pháp sai số dự báo.



9

Trường hợp đặc biệt: nếu sai số dự báo là đại lượng ngẫu nhiên có phân bố Gauss có trung bình bằng 0 và phương sai λ thì (5.48) trở về trường hợp bình phương tối thiểu. Thật vậy:

⎥⎦

⎤⎢⎣

⎡−=

λε

πλε

2),(exp

21),,(

2 θθ kkfe

⇒ λ

επλεε2

),(2log21),,(log),,(

2 θθθ kkfk e +=−=l (5.49)

5.4 PHƯƠNG PHÁP TƯƠNG QUAN (Correlation Method) 5.4.1 Nguyên tắc ước lượng tương quan Nguyên tắc ước lượng thông số theo phương pháp tương quan là tương quan giữa sai số dự báo và các phần tử hồi qui phải bằng 0. Tổng quát hóa nguyên tắc trên, ta có thuật toán sau đây: 1. Chọn cấu trúc mô hình và rút ra bộ dự báo: ),(),(ˆ 1−= kZgky θθ (5.50) 2. Từ dữ liệu quan sát và bộ dự báo ),(ˆ θky , thành lập chuổi sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε , k =1, 2, …, N (5.51) 3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần. ),()(),( θθ kqLkF εε = (5.52) 4. Chọn chuổi vector tương quan: ),,(),( 1 θθ −= kZkk ζζ (5.53) 5. Chọn hàm )(εα . 6. Tìm tham số θ là nghiệm của phương trình: ]0),([ solˆ == N

NN Zf θθθ

(5.54)

trong đó: ∑=

=N

kF

NN kk

NZf

1)),((),(1),( θθθ εαζ (5.55)

• Ước lượng hồi qui tuyến tính giả: Mô hình hồi qui tuyến tính giả (Pseudo Linear Regression – PLR): θθϕθ ),(),(ˆ kky T= (5.56) Chọn: 1)( =qL



10 ),(),( θϕθζ kk = ),()),(( θθ kk εεα =

⎭⎬⎫

⎩⎨⎧

=⎟⎠⎞

⎜⎝⎛ −= ∑

=0]),()()[,(1solˆ

1

N

k

TPLRN kkyk

Nθθϕθϕθ

θ (5.57)

Lôøi giaûi cuûa baøi toaùn (5.57) coù theå tìm baèng thuaät toaùn laëp:

⎥⎦⎤

⎢⎣⎡

⎥⎦⎤

⎢⎣⎡= ∑∑

=

−−

=

−−N

k

iN

N

k

iN

TiN

iN kykkk

1

)1(1

1

)1()1()( )()ˆ,()ˆ,()ˆ,(ˆ θϕθϕθϕθ (5.58)

5.4.2 Phương pháp biến công cụ Phương pháp biến công cụ có thể xem là trường hợp riêng của phương pháp tương quan áp dụng cho mô hình hồi qui tuyến tính nhằm ước lượng đúng thông số của hệ thống trong trường hợp nhiễu v(k) có tương quan với các phần tử hồi qui liên quan đến tín hiệu ra trong quá khứ. 1. Chọn cấu trúc mô hình và rút ra bộ dự báo: θϕθ )(),(ˆ kky T= (5.59) 2. Từ dữ liệu quan sát và bộ dự báo ),(ˆ θky , thành lập chuổi sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε , k =1, 2, …, N (5.60) 3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần. ),()(),( θθ kqLkF εε = (5.61) 4. Choïn bieán coâng cuï ),( θkζ sao cho: { })(),( kkE Tϕθζ khoâng suy bieán { } 0)(),( =kvkE θζ Coù theå choïn: )(),(),( kuqk u θθζ K= (5.62) trong ñoù ),( θquK laø vector coät goàm d boä loïc tuyeán tính ( )(dim kd ϕ= ). 5. Chọn hàm )(εα . 6. Tìm tham số θ là nghiệm của phương trình: ]0),([ solˆ == N

NN Zf θθθ

(5.63)



11

trong đó: ∑=

=N

kF

NN kk

NZf

1)),((),(1),( θθθ εαζ (5.64)

5.5 THUẬT TOÁN LẶP ƯỚC LƯỢNG THAM SỐ Ở mục 5.1 ta đã biết để ước lượng tham số mô hình ta cần tìm cực trị của hàm:

( ) min),,(1),(1

→= ∑=

N

k

NN k

NZV θθθ εl (pp sai số dự báo) (5.65)

hoặc tìm nghiệm của phương trình:

0)),((),(1),(1

== ∑=

N

k

NN kk

NZf θθθ εαζ (pp tương quan) (5.66)

Trong trường hợp tổng quát, không thể tìm được lời giải giải tích của (5.65) và (5.66) → cần tìm lời giải bằng phương pháp số (numerical method) 5.5.1 Tối ưu hóa bằng phương pháp số Thuật toán Newton tìm lời giải bài toán tối ưu (5.65) bằng công thức lặp: [ ] ),ˆ(),ˆ(ˆˆ )(1)()()1( Ni

NNNi

NNi

Ni

N ZVZV θθθθ ′′′−=−+ (5.67)

Xét trường hợp hệ một đầu ra và chỉ tiêu ước lượng tham số dạng toàn phương:

∑=

=N

k

NN k

NZV

1

2 ),(1),( θθ ε (5.68)

Ta có: • Đạo hàm bậc 1 của (.)NV :

∑=

−=′N

k

NN kk

NZV

1),(),(2),( θθθ εψ (5.69)

trong đó: θθθ

∂∂

=),(ˆ),( kykψ (5.70)

T

d

kykykyk ⎥⎦⎤

⎢⎣⎡

∂∂

∂∂

∂∂

=θθθ

ψ ),(ˆ ),(ˆ ),(ˆ),(21

θθθθ … (5.71)

• Đạo hàm bậc 2 của (.)NV :

∑=

⎥⎦⎤

⎢⎣⎡

∂∂

−=′′N

k

TNN kkkk

NZV

1),(),(),(),(2),( θ

θθθθθ εψψψ (5.72)



12

Tính chính xác ),( NN ZV θ′′ theo biểu thức (5.72) cần rất nhiều phép tính →

không hiệu quả. Tùy theo cách tính gần đúng ),( NN ZV θ′′ mà thuật toán Newton

có các phiên bản sau: • Thuật toán suy giảm độ dốc:

)ˆ,().ˆ,(ˆˆ )(

1

)()()()1( iN

N

k

iN

iiN

iN kk θθθθ εψμ ∑

=

+ += (5.73)

• Thuật toán Gauss–Newton suy giảm:

)ˆ,().ˆ,()ˆ,()ˆ,(ˆˆ )(

1

)(1

1

)()()()()1( iN

N

k

iN

N

k

iN

TiN

iiN

iN kkkk θθθθθθ εψψψμ ∑∑

=

−

=

+

⎥⎦⎤

⎢⎣⎡+= (5.74)

trường hợp 1)( =iμ thuật toán trên được gọi là thuật toán Gauss–Newton. • Thuật toán Levenberg–Marquardt:

)ˆ,().ˆ,()ˆ,()ˆ,(ˆˆ )(

1

)(1

)(

1

)()()()1( iN

N

t

iN

iN

k

iN

TiN

iN

iN kkIkk θθθθθθ εψμψψ ∑∑

=

−

=

+⎥⎦⎤

⎢⎣⎡ +⎟

⎠⎞

⎜⎝⎛+= (5.75)

Trong các thuật toán trên, độ dài bước (step size) )(iμ là hệ số dương được chọn sao cho: ),ˆ(),ˆ( )()1( Ni

NNNi

NN ZVZV θθ <+ (5.76) 5.5.2 Tìm nghiệm phương trình bằng phương pháp số Các thuật toán số tìm nghiệm phương trình (5.66) tương tự như các thuật toán tìm lời giải tối ưu. Thuật toán thay thế (substitution method): ),ˆ(ˆˆ )()()()1( Ni

NNii

Ni

N Zf θθθ μ−=+ (5.77) Thuật toán Newton–Raphson: [ ] ),ˆ(),ˆ(ˆˆ )(1)()()()1( Ni

NNNi

NNii

Ni

N ZfZf θθθθ−+ ′−= μ (5.78)

5.5.3 Tính toán đạo hàm Để sử dụng các công thức (5.73), (5.74), (5.75) và (5.78) ta phải tính đạo hàm theo tham số của bộ dự báo:



13

T

d

kykykykyk ⎥⎦⎤

⎢⎣⎡

∂∂

∂∂

∂∂

=∂

∂=

θθθψ ),(ˆ ),(ˆ ),(ˆ),(ˆ),(

21

θθθθθθ … (5.79)

Đạo hàm ),( θkψ có thể tính dễ dàng hay khó khăn hoàn toàn tùy thuộc vào cấu trúc mô hình. Trong nhiều trường hợp ta không thể tìm được ),( θkψ bằng biểu thức giải tích mà phải tính đạo hàm gần đúng bằng phép tính sai phân. • Mô hình hộp đen tuyến tính SISO:

)()()()(

)()()()( ke

qDqCku

qFqBkyqA += (5.80)

Bộ dự báo:

)()()()()()(

)()()(1),(ˆ ku

qFqCqBqDky

qCqAqDky +⎥⎦

⎤⎢⎣

⎡−=θ (5.81)

Do đó:

)()()(),(ˆ lky

qCqDky

ak−−=

∂∂ θ

)()()(

)(),(ˆ lkuqFqC

qDkybl

−=∂∂ θ

),()(

1)()()()(

)()()()()()()(),(ˆ θθ lk

qClku

qFqCqCqBqDlky

qCqCqAqDky

cl−=−−−=

∂∂ ε

),()(

1)()()(

)()()()(),(ˆ θθ lkv

qClku

qFqCqBlky

qCqAky

dl−−=−+−−=

∂∂

),()()(

)()()()()(

)()(),(ˆ θθ lkwqFqC

qDlkuqFqFqC

qBqDkyfl

−−=−−=∂∂

• Mô hình hộp đen phi tuyến: ♦ Bộ dự báo cấu trúc lưới:

∑∑==

+===l

ii

Tii

l

iii ggky

11)()(),(),(ˆ γκαα ϕβϕθϕθ (5.82)

Dễ dàng tính được:

)(),(ˆ iTi

iky γκ

α+=

∂∂ ϕβθ



14

jiTii

ijky ϕγκα

β)(),(ˆ +′=

∂∂ ϕβθ

)(),(ˆ iTii

iky γκα

γ+′=

∂∂ ϕβθ

♦ Bộ dự báo cấu trúc xuyên tâm: (học viên tự tính) ♦ Bộ dự báo cấu trúc tích tensor:

∑ ∏∑= ==

−===l

i

d

jijjiji

l

iii ggky

1 11))(()(),(),(ˆ γϕβκαα ϕθϕθ

Đạo hàm của bộ dự báo theo tham số như sau:

∏=

−=∂∂ d

jijjij

iky

1))((),(ˆ γϕβκ

αθ

[ ] )())(())((),(ˆ1

ijjijjij

d

jkk

ikkikiij

ky γϕγϕβκγϕβκαβ

−−′⎥⎥

⎦

⎤

⎢⎢

⎣

⎡−=

∂∂ ∏

≠=

θ

[ ] ijijjij

d

jkk

ikkikiij

ky βγϕβκγϕβκαγ

)())((),(ˆ1

+′⎥⎥

⎦

⎤

⎢⎢

⎣

⎡−−=

∂∂ ∏

≠=

θ

• Tính ñaïo haøm gaàn ñuùng baèng pheùp tính sai phaân:

l

ll

l

kyekykyΔ

−Δ+≈

∂∂ ),(ˆ),(ˆ

),(ˆ θθθθ

(5.83)

trong ñoù lΔ laø heä soá döông nhoû vaø [ ]Tle 00100 ……= (5.84) ↑ Phaàn töû thöù l 5.5.4 Lời giải cục bộ và giá trị khởi động − Thuật toán tối ưu hóa số tìm giá trị *ˆ

Nθ thỏa mãn phương trình: 0),( =′ N

N ZV θ do đó chỉ tìm được lời giải tối ưu cục bộ. − Khi ước lượng tham số ta mong muốn tìm được lời giải tối ưu toàn cục. − Để tìm được lời giải tối ưu toàn cục, cách thông thường là chạy thuật toán lặp nhiều lần với các giá trị khởi động khác nhau.



15

− Bằng cách chọn độ dài bước thích hợp có thể tăng khả năng tìm được lời giải tối ưu toàn cục. − Có thể kết hợp thuật toán tìm lời giải tối ưu toàn cục (như thuật toán di truyền) với thuật toán Newton để ước lượng tham số. 5.6 THUẬT TOÁN ĐỆ QUI ƯỚC LƯỢNG THAM SỐ 5.6.1 Giới thiệu − Một trong những mục đích của việc giải bài toán nhận dạng hệ thống là xây dựng mô hình toán học của hệ thống để thiết kế bộ điều khiển. − Tham số của hệ thống thực có thể biến đổi theo thời gian → Điều khiển hệ thống dựa trên mô hình tham số cố định không đạt chất lượng tốt. → Cần xác định mô hình của hệ thống trong khi hệ thống đang hoạt động. Mô hình cần phải được xác định dựa vào dữ liệu quan sát đến thời điểm hiện tại. − Hệ thống điều khiển trong đó có sử dụng mô hình được cập nhật trực tuyến gọi là hệ thống điều khiển thích nghi.

Hình 4.1: Hệ thống điều khiển thích nghi − Việc tính toán tham số mô hình trực tuyến phải được thực hiện sao cho việc xử lý dữ liệu đo tại mỗi thời điểm lấy mẫu phải chắc chắn hoàn tất trong khoảng thời gian nhỏ hơn chu kỳ lấy mẫu. − Thuật toán nhận dạng thỏa mãn yêu cầu trên gọi là thuật toán nhận dạng đệ qui.

5.6.2 Thuật toán bình phương tối thiểu tuyến tính có trọng số đệ qui • Tiêu chuẩn bình phương tối thiểu có trọng số: Giả sử thu thập được k mẫu dữ liệu, tham số mô hình ước lượng bằng phương pháp bình phương tối thiểu tuyến tính có trọng số là:

[ ]∑=

−=k

l

Tk llylk

1

2)()(),(minargˆ θϕθ

θβ (5.85)

Đối tượng

Điều khiển

Mô hình

u(k) y(k)



16

Lời giải giải tích của (5.85) là: )()(ˆ 1 kfkRk

−=θ (5.86)

trong đó: ∑=

=k

l

T lllkkR1

)()(),()( ϕϕβ (5.87)

∑=

=k

llyllkkf

1)()(),()( ϕβ (5.88)

Tính kθ̂ bằng các công thức (5.86), (5.87) và (5.88) đơn giản, tuy nhiên có ba khuyết điểm: − Không sử dụng được giá trị tham số đã tính ở thời điểm trước đó ( 1

ˆ−kθ ).

− Khi số mẫu tăng đến vô cùng không đủ bộ nhớ để lưu trữ dữ liệu và tính toán. − Thời gian tính toán kθ̂ tăng lên khi k tăng. → Cần tìm thuật toán tính kθ̂ dựa vào 1

ˆ−kθ và dữ liệu thu thập ở thời điểm k,

đồng thời thời gian tính toán không phụ thuộc vào k. • Thuật toán đệ qui: Giả sử chuổi trọng số có tính chất sau: ),1()(),( lkklk −= βλβ , ( 10 −≤≤ kl ) 1),( =kkβ (5.89) Điều này có nghĩa là chúng ta có thể viết:

∏+=

=k

ljjlk

1)(),( λβ (5.90)

Dễ dàng thấy rằng:

∑=

=k

l

T lllkkR1

)()(),()( ϕϕβ

)()()()(),(1

1kklllk T

k

l

T ϕϕϕϕ +⎥⎦⎤

⎢⎣⎡= ∑

−

=β

)()()()(),1()(1

1kklllkk T

k

l

T ϕϕϕϕ +⎥⎦⎤

⎢⎣⎡ −= ∑

−

=βλ

⇒ )()()1()()( kkkRkkR Tϕϕ+−= λ (5.91) Tương tự:

∑=

=k

llyllkkf

1)()(),()( ϕβ

)()()()(),(1

1kyklyllk

k

lϕϕ +⎥⎦

⎤⎢⎣⎡= ∑

−

=β



17

)()()()(),1()(1

1kyklyllkk

k

lϕϕ +⎥⎦

⎤⎢⎣⎡ −= ∑

−

=βλ

⇒ )()()1()()( kykkfkkf ϕ+−= λ (5.92) Suy ra: )()(ˆ 1 kfkRk

−=θ )]()()1()()[(1 kykkfkkR ϕ+−= − λ )]()(ˆ)1()()[( 1

1 kykkRkkR k ϕθ +−= −− λ

{ })()(ˆ)]()()([ )( 11 kykkkkRkR k

T ϕθϕϕ +−= −−

]ˆ)( )()[()(ˆ1

11 −

−− −+= k

Tk kkykkR θϕϕθ

Tóm lại, thuật toán bình phương tối thiểu đệ qui cho bởi hai công thức sau:

]ˆ)( )()[()(ˆˆ1

11 −

−− −+= k

Tkk kkykkR θϕϕθθ (5.93)

)()()1()()( kkkRkkR Tϕϕ+−= λ (5.94)

Chuù yù Neáu kk ∀= ,)( λλ , bieåu thöùc (5.90) trôû thaønh lklk −= ),( λβ (5.95) λ goïi laø heä soá queân (forget factor). Thoâng thöôøng λ ñöôïc choïn trong khoaûng 0.98÷0.995. • Phiên bản nghịch đảo ma trận hiệu quả: Để tránh phải tính nghịch đảo ma trận )(kR ở mỗi bước, đặt: )()( 1 kRkP −= và áp dụng bổ đề nghịch đảo ma trận 1111111 ][][ −−−−−−− +−=+ DACBDABAABCDA (5.96) vào biểu thức (5.94) với )1()( −= kRkA λ , )(kB ϕ= , 1=C , )(kD Tϕ= , ta được:

)(

)1()(1)()(

)1()()()(

)1()(

)1()(1

kkPkk

kkPkk

kkP

kkPkP TT

λλλλ−

⎥⎦

⎤⎢⎣

⎡+

−−−

−=

−

ϕϕϕϕ

)(

)1()()()()1()(

)()()(

)1()(

)1(k

kPkkkkPk

kkk

kPk

kP TT λλ

λλλ

−⎥⎦

⎤⎢⎣

⎡+−

−−

−= ϕ

ϕϕϕ



18

⇒ ⎥⎦

⎤⎢⎣

⎡−+

−−−−=

)()1()()()1()()()1()1(

)(1)(

kkPkkkPkkkPkP

kkP T

T

ϕϕϕϕ

λλ (5.97)

Hơn nữa, ta có:

⎥⎦

⎤⎢⎣

⎡−+

−−−−=−

)()1()()()()1()()()1()()1(

)(1)()(1

kkPkkkkPkkkPkkP

kkkR T

T

ϕϕϕϕϕϕϕ

λλ

)()1()()(

)()1(kkPkk

kkPT ϕϕ

ϕ−+

−=λ

(5.98)

Do đó thuật toán bình phương tối thiểu đệ qui có thể viết lại như sau:

)1(ˆ)( )()( −−= kkkyk T θϕε (5.99) )()()1(ˆ)(ˆ kkLkk ε+−=θθ (5.100)

)()1()()(

)()1()(kkPkk

kkPkL T ϕϕϕ

−+−

=λ

(5.101)

⎥⎦

⎤⎢⎣

⎡−+

−−−−=

)()1()()()1()()()1()1(

)(1)(

kkPkkkPkkkPkP

kkP T

T

ϕϕϕϕ

λλ (5.102)

• Phiên bản độ lợi chuẩn hóa: Độ lớn ma trận )(kR trong biểu thức (5.87) và (5.94) phụ thuộc vào λ(k). Để thấy được rõ ràng lượng giá trị thêm vào 1

ˆ−kθ trong biểu thức (5.93) cần

chuẩn hóa )(kR sao cho: )()()( kRkkR γ= (5.103)

với 1

1),()(

−

=⎥⎦⎤

⎢⎣⎡= ∑

k

llkk βγ (5.104)

)(kR là trung bình có trọng số của )()( ll Tϕϕ . Vieäc chuaån hoùa )(kR töông ñöông vôùi thay ñoåi tieâu chuaån öôùc löôïng bình phöông toái thieåu coù troïng soá

[ ]∑=

−=k

l

Tkk llylkkZV

1

2)()(),()(),( θϕθ βγ (5.105)

Để ý rằng: 1)1(

)()(

1+

−=

kk

k γλ

γ (5.106)

Từ (5.94) và (5.106) ta suy ra:



19

⎥⎦

⎤⎢⎣

⎡+−

−= )()()1(

)1(1)()()( kkkR

kkkkR Tϕϕγ

λγ

⎥⎦

⎤⎢⎣

⎡+−⎟⎟

⎠

⎞⎜⎜⎝

⎛−= )()()1(1

)(1)( kkkRk

k Tϕϕγ

γ

)]1()()()[()1( −−+−= kRkkkkR Tϕϕγ Do đó thuật toán bình phương tối thiểu đệ qui (5.93) và (5.94) có thể viết lại như sau:

1ˆ)( )()( −−= k

T kkyk θϕε (5.107) )()()()(ˆˆ 1

1 kkkRkkk εγ ϕθθ −− += (5.108)

)]1()()()[()1()( −−+−= kRkkkkRkR Tϕϕγ (5.109)

Chuù yù )(kγ ñöôïc goïi laø ñoä lôïi cuûa thuaät toaùn ñeä qui. Thoâng thöôøng γ ñöôïc choïn baèng haèng soá: λγ −=1 (5.110) trong ñoù λ laø heä soá queân coù giaù trò trong khoaûng 0.98÷0.995. • Điều kiện đầu: − Điều kiện đầu đúng 0=k : 0)0( =R , )0(θ̂ bất kỳ. Tuy nhiên điều kiện đầu này không sử dụng đươc vì không thể tính nghịch đảo )0(R . − Điều kiện đầu tại thời điểm 0kk = (thường chọn dk >0 ):

∑=

− ==0

1000

1 )()(),()()(k

l

T lllkkRkP ϕϕβ (5.111)

∑=

=0

1000 )()(),()()(ˆ

k

llyllkkPk ϕθ β (5.112)

− Một cách khác để chọn điều kiện đầu là: 0)0( PP = , Iθθ =)0(ˆ 5.6.3 Thuật toán biến công cụ đệ qui Nhắc lại: thuật toán biến công cụ tìm vector tham số là nghiệm của phương trình:

0])()()[,(),(),(1

=−= ∑=

k

l

Tkk llyllkZf θϕθθ ζβ (5.113)

Lời giải giải tích của phương trình (5.113) là: )()(ˆ 1 kfkRk

−=θ (5.114)



20

trong đó: ∑=

=k

l

T lllkkR1

)()(),()( ϕζβ (5.115)

∑=

=k

llyllkkf

1)()(),()( ζβ (5.116)

Các biểu thức(5.114), (5.115) và (5.116) có dạng tương tự như các biểu thức (5.86), (5.87) và (5.88). Do đó ta dễ dàng suy ra thuật toán biến công cụ đệ qui như sau:

)1(ˆ)( )()( −−= kkkyk T θϕε (5.117) )()()1(ˆ)(ˆ kkLkk ε+−=θθ (5.118)

)()1()()(

)()1()(kkPkk

kkPkL T ζϕζ

−+−

=λ

(5.119)

⎥⎦

⎤⎢⎣

⎡−+

−−−−=

)()1()()()1()()()1()1(

)(1)(

kkPkkkPkkkPkP

kkP T

T

ζϕϕζ

λλ (5.120)

5.6.4 Thuật toán sai số dự báo đệ qui Xét tiêu chuẩn sai số dự báo bình phương có trọng số:

∑=

=k

l

kk llkkZV

1

2 ),(),()(),( θθ εβγ (5.121)

trong đó: ),1()(),( lkklk −= βλβ , ( 10 −≤≤ kl ) 1),( =kkβ (5.122)

và: 1

1),()(

−

=⎥⎦⎤

⎢⎣⎡= ∑

k

llkk βγ (5.123)

Chú ý rằng:

1),()(1

=∑=

k

llkk βγ

và:

∑=

−=′k

l

kk lllkkZV

1),(),(),()(2),( θθψθ εβγ

⎥⎦⎤

⎢⎣⎡ −−= ∑

−

=),(),(),(),(),(2)(

1

1θθψθθψ kkllltk

k

lεεβγ

⎥⎦⎤

⎢⎣⎡ −−−= ∑

−

=),(),(),(),(),1()(2)(

1

1θθψθθψ kklllkkk

k

lεεβλγ



21

⎥⎦

⎤⎢⎣

⎡−−−

−−= ∑

−

=),(),(),(),(),1()1(2

)1()()(

1

1θθψθθψ kklllkk

kkk

k

lεεβγ

γλγ

⎥⎦

⎤⎢⎣

⎡−′

−= −

− ),(),(),()1(

)()( 11 θθψθ kkZV

kkk k

k εγλγ

⎥⎦

⎤⎢⎣

⎡−′⎟⎟

⎠

⎞⎜⎜⎝

⎛−= −

− ),(),(),(1)(

1)( 11 θθψθ kkZV

kk k

k εγ

γ

)],(),(),()[(),( 11

11

−−

−− ′−−+′= k

kk

k ZVkkkZV θθθψθ εγ (5.124) Thuật toán lặp ước lượng tham số: [ ] ),ˆ(ˆˆ )1(1)()()1()( ki

kki

ki

ki

ki

k ZV −−− ′−= θθθ Rμ (5.125) Giả sử ở bước lặp thứ i chúng ta thu thập thêm một mẫu dữ liệu, ta có thuật toán sau: [ ] ),ˆ(ˆˆ )1(

11)()()1(

1)( kk

kkk

kk

kk

kk

k ZV −−

−−− ′−= θθθ Rμ (5.126)

Để đơn giản, ta ký hiệu: )(ˆ)(ˆ k

kk θθ = , )()( kkk RR = (5.127)

Giả sử rằng )1(ˆ −kθ làm ),( 11

−−

kk ZV θ đạt cựu tiểu, điều đó nghĩa là:

0)),1(ˆ( 11 =−′ −−

kk ZkV θ (5.128)

Do đó, từ (5.124) ta suy ra: ))1(ˆ,())1(ˆ,()()),1(ˆ( −−−=−′ kkkkkZkV k

k θθψθ εγ (5.129) Thay (5.129) vào (5.126), ta được: [ ] ))1(ˆ,())1(ˆ,()()()()1(ˆ)(ˆ 1 −−+−= − kkkkkkkkk θθψθθ εγμ R (5.130) Trong biểu thức trên ))1(ˆ,( −kk θψ và ))1(ˆ,( −kk θε không thể tính toán đệ qui vì: ))1(ˆ,(ˆ)())1(ˆ,( −−=− kkykykk θθε (5.131)

))1(ˆ,(ˆ))1(ˆ,( −∂∂

=− kkykk θθ

θψ (5.132)

mà ))1(ˆ,(ˆ −kky θ trong trường hợp tổng quát phụ thuộc vào tất cả các dữ liệu trong quá khứ Z k–1. Trong trường hợp hệ tuyến tính bất biến hữu hạn chiều (chương 4), có thể tính đệ qui )(ˆ ky và )(kψ như sau: )())(ˆ()())(ˆ()1( kzkkkk θξθξ BA +=+ (5.133)



22

)())1(ˆ()1()()(ˆ kkkk

ky ξθξψ −=+⎥⎦⎤

⎢⎣⎡ C (5.134)

Nếu thuật toán lặp là thuật toán Gauss–Newton thì: 1)( =kμ

∑=

=k

l

T lllkkk1

)()(),()()( ϕϕβλR (5.135)

)(ˆ)()( kykyk −=ε (5.136) )()()()()1(ˆ)(ˆ 1 kkkkkk εγ ψθθ −+−= R (5.137) )]1()()()[()1()( −−+−= kkkkkk T RRR ψψγ (5.138) Tài liệu tham khảo: [1] L. Ljung (1999), System Identification – Theory for the user. [2] R. Johansson (1994), System Modeling and Identification.

Documents

CÁC PHƯƠNG PHÁP ƯỚC L NG THAM S - hcmut.edu.vnhthoang/ndht/Chuong5_NDHT_K2009.pdf · ... CÁC PHƯƠNG PHÁP ... - cách giải bài toán tối ưu hóa (5.7) mà ta có các