Algorytmy Ewolucyjne i Sztuczne Sieci Neuronowe w Układach … · 2005-04-21 · Sztuczna Inteligencja w Automatyce i Robotyce, Zielona Góra, 22.04.2005 1/38 Instytut Sterowania

Algorytmy Ewolucyjne i Sztuczne Sieci Neuronowew Układach Diagnostyki i Sterowania

Marcin Witczak

Instytut Sterowania i Systemów InformatycznychUniwersytet Zielonogórski

Sztuczna Inteligencja w Automatyce i Robotyce, Zielona Góra, 22.04.2005 1/38

Instytut Sterowania i SystemówInformatycznych

PLAN WYSTĄPIENIA

➥ Wprowadzenie do problemu projektowania systemów sterowania i diagnostyki

technicznej

➥ Przegląd rozwiązań wykorzystujących algorytmy ewolucyjne

➥ Przykład zastosowania

➠ Identyfikacja z zastosowaniem programowania genetycznego (GP)

➠ Projektowanie obserwatora o nieznanym wejściu z zastosowaniem GP

➠ Detekcja uszkodzeń

➥ Przegląd rozwiązań wykorzystujących sztuczne sieci neuronowe

➥ Przykład zastosowania

➠ Projektowanie odpornych systemów diagnostycznych z zastosowaniem sieci

neuronowych typu GMDH

➠ Detekcja uszkodzeń

➥ Podsumowanie



System DiagnostycznyRekonfiguracja regulatora

Informacja o uszkodzeniach

Regulator

yref

yu

Nieznane wejscie

Uszkodzenia

Proces

Model

Obserwator

Czujniki

pomiarowe

Urzadzenia wykonwcze

Obs

Act Senso



➪ PRZEGLĄD ROZWIĄZAŃ WYKORZYSTUJĄCYCH ALGORYTMYEWOLUCYJNE

➠ Projektowanie regulatorów

➟ Estymacja parametrów regulatora PID: Oliveira i inni (1991): W

Engineering Systems with Intelligence. Concepts, Tools and Applications

➟ Estymacja parametrów regulatora LQG: Mei i Goodal (2000): IEE

Proceedings - Control Theory and Applications, Vol. 147 No. 1

➟ Estymacja parametrów odpornego regulatora LQG (z wykorzystaniem

techniki Monte Carlo): Marrison i Stengel (1997): IEEE Trans. Automat

Control, Vol. 42, No. 6

➟ Wyznaczanie optymalnej sekwencji sterowania w sterowaniu predykcyjnym

z wykorzystaniem modelu: Onnen i inni (1997): Control Eng. Practice Vol.

5, No. 10

➟ Wyznaczanie struktury i parametrów regulatora: Koza i inni (2000):

Genetic Programming and Evolvable Machines



➟ Wyznaczanie struktury i parametrów regulatora: Chipperfield i Fleming(1996): IEEE Trans. Industrial Electronics, Vol. 43, No. 5

➟ Wyznaczanie parametrów regulatorów neuro-rozmytych: Linkens iNyongensa (1996): IEE Proc. Control Theory and Applications, Vol. 143,No. 4; Sette i inni (1998): Vol. 6, No. 4

➟ Sterowanie adaptacyjne z zastosowaniem populacji regulatorów: Lennon iPassino (1998): Engineering Applications of Artificial Intelligence, Vol. 12pp. 185–200

➟ Sterowanie iteracyjne z uczeniem: Hatzikos i inni (2004): Int. J. Control,Vol. 77, No. 2



➠ Projektowanie obserwatorów

➟ Projektowanie odpornych obserwator dla systemów liniowych: Kowalczuki Białaszewski (2004): W Korbicz i inni: Fault Diagnosis, Models,Artificial Intelligence, Applications; Chen i Patton (1999): RobustModel-Based Fault Diagnosis for Dynamic Systems

➟ Projektowanie obserwatorów adaptacyjnych dla systemów nieliniowych:Moyne i inni (1994): Eng. App. Artif. Intell, Vol. 8, No. 3

➟ Projektowanie rozszerzonego obserwatora o nieznanym wejściu dlasystemów nieliniowych: Witczak, Obuchowicz i Korbicz (2002): Int. J.Control, Vol. 75, No. 13; Witczak i Korbicz (2004): W Korbicz i inni:Fault Diagnosis, Models, Artificial Intelligence, Applications



➠ Identyfikacja i modelowanie

➟ Wyznaczanie struktury i parametrów modelu neuronowego: Korbicz iinni (2004): Fault Diagnosis, Models, Artificial Intelligence, Applications;Duch i inni (2000): Sieci Neuronowe

➟ Planowanie eksperymentu dla sztucznych sieci neuronowych: Witczak iPrętki (2005): Computer Assisted Mechanics and Eng. Sciences

➟ Wyznaczanie struktury i parametrów modelu Witczak, Obuchowicz iKorbicz (2002): Int. J. Control, Vol. 75, No. 13; Witczak i Korbicz(2004): W Korbicz i inni: Fault Diagnosis, Models, Artificial Intelligence,Applications; Metenidis, Witczak i Korbicz (2004): Eng. App. Artif.Intell, Vol. 8, No. 3

➟ Poszukiwanie minimalnej struktury modelu dla nieliniowych systemówdynamicznych: Mao i Billings (1997): Int. J. Contr., Vol. 68, No. 2



➠ Diagnostyka techniczna

➟ Wymienione prace dla obserwatorów

➟ Projektowanie modeli dla celów diagnostyki technicznej

➟ Projektowanie klasyfikatorów: Chen i inni (2003): Eng. App.Artif. Intell, Vol. 16, pp. 31-38;

➟ Projektowanie systemów ekspertowych i rozmytych: Koza(1992): Genetic Programming



➪ PRZYKŁAD ZASTOSOWANIA

■ Identyfikacja systemów z zastosowaniem GP

o1

o2 o3

t1 t2 t3 t4

■ Zbiory stałych i zmiennych oraz operatorów matematycznych

T = {ti | i = 1, . . . , nt} F = {oi | i = 1, . . . , no}



■ ALGORYTM GP

Inicjalizacja

Selekcja

Tymczasowa populacja

Krzyżowanie i Mutacja

Nowa populacja



❏ PROBLEMY Z PARAMETRAMI MODELU

T = {yk−1, yk−2, uk−1, uk−2, 1}, F = {+, ∗,−, /}

yk = 3.14yk−1uk−1 + yk−2 + uk−2

❏ Drzewo z parametrami

yk−1 uk−1 yk−2 uk−2

+

+

∗

p1

p2 p3

p4 p5 p6 p7

yk = p1p2p4p5yk−1uk−1 + p1p3p6yk−2 + p1p3p7uk−2

❏ Reguły redukcji parametrów



➪ OPIS SYSTEMU W PRZESTRZENI STANÓW

xk+1 = A(xk)xk + h(uk)

yk+1 = Cxk+1

A(xk) = diag[a1,1(xk), a2,2(xk), . . . , an,n(xk)]

i

ai,i(xk) = tgh(si,i(xk)), i = 1, . . . , n,



☛ OBSERWATOR O NIEZNANYM WEJŚCIU (UIO)

❐ Liniowy system dyskretny

xk+1 = Akxk +Bkuk +Ekdk +wk

yk = Ckxk + vk

gdzie

■ xk ∈ Rn - stan

■ yk ∈ Rm - wyjście

■ uk ∈ Rr - wejście

■ dk ∈ Rq - nieznane wejście

■ wk and vk szumy procesu i pomiarów o macierzach kowariancji Qk iRk



❐ UIO dla liniowych systemów stochastycznych

zk+1 = F k+1zk + T k+1Bkuk +Kk+1yk

xk+1 = zk+1 +Hk+1yk+1

❐ Alternatywna postać

xk+1 = xk+1/k +Hk+1εk+1/k +K1,k+1εk

gdzie

xk+1/k = Akxk +Bkuk

εk+1/k = yk+1 − yk+1/k = yk+1 −Ck+1xk+1/k

εk = yk − yk



❐ ELIMINACJA NIEZNANEGO WEJŚCIA

Warunek konieczny (Chen and Patton, 1999)

rank(Ck+1Ek) = rank(Ek)

i rozwiązanie

H∗k+1 = Ek[

(Ck+1Ek)TCk+1Ek]−1(Ck+1Ek)T



☛ ROZSZERZONY UIO (EUIO)

❐ Klasa systemów nieliniowych

xk+1 = g(xk) + h(uk) +Ekdk

yk+1 = Ck+1xk+1

❐ Linearyzacja wokół aktualnej estymaty stanu xk

Ak =∂g(xk)∂xk

∣

∣

∣

∣

xk=xk



➠ ZBIEŻNOŚĆ EUIO

❐ Główny cel - wykazać istotność odpowiedniego doboru macierzyinstrumentalnych Qk i Rk

■ Błąd estymacji stanu

ek+1 = xk+1 − xk+1 = ek+1/k −Hk+1εk+1/k −K1,k+1εk

■ Klasyczna linearyzacja

ek+1/k ≈ Akek +Ekdk

■ Proponowane rozwiązanie

ek+1/k = αkAkek +Ekdk



❐ ANALIZA ZBIEŻNOŚCI Z ZASTOSOWANIEM METODY LAPUNOWA

Celem jest wyznaczenie warunków przy których sekwencja {Vk}∞k=0,określona przez funkcję Lapunowa

Vk+1 = eTk+1A−T1,k+1[P

′

k+1]−1A−11,k+1ek+1

jest malejąca. Sekwencja {Vk}∞k=0 jest malejąca jeżeli istnieje stała 0 < ζ < 1taka, że

Vk+1 − (1− ζ)Vk ¬ 0



❐ WARUNKI ZBIEŻNOŚCI(Witczak et al., 2002, International Journal of Control, Vol. 75, No. 13)

σ (αk) ¬ γ1 =σ (Ak)σ (Ak)

(1− ζ)σ (P k)

σ(

A1,kP′

kAT1,k

)

1

2

σ (αk − I) ¬ γ2 =σ (Ak)σ (Ak)

σ(

CTk

)

σ (Ck)

σ(

CTk

)

σ (Ck)

σ (Rk)

σ(

CkP kCTk +Rk

)

1

2

❐ Jeśli

P k = A1,kP′

kAT1,k + T kQk−1T

Tk +HkRkH

Tk

oczywistym jest, że odpowiedni wybór macierzy instrumentalnych Qk−1 iRk może zwiększyć wartości graniczne γ1 and γ2, w konsekwencjizapewniając zbieżność obserwatora



❐ KOMPROMIS POMIĘDZY ZBIEŻNOŚCIĄ A SZYBKOŚCIĄZBIEŻNOŚCI

Odpowiedni dobór macierzy instrumentalnych

Qk−1 = β1εTk−1εk−1I + δ1I

Rk = β2εTk εkI + δ2I

gdzie β1, β2 wystarczająco duże i δ1, δ2 wystarczająco małe stałe nieujemne

❐ Wyznaczanie macierzy Qk i Rk z zastosowaniem programowaniagenetycznego



❐ Estymacja stanu silnika elektrycznegoz zastosowaniem rozszerzonego obserwatora o nieznanym wejściu

x1,k+1 = x1,k + h(−γx1k + KTr x3k +Kpx5kx4k +1σLsu1k)

x2,k+1 = x2,k + h(−γx2k +Kpx5kx3k + KTr x4k +1σLsu2k)

x3,k+1 = x3,k + h(MTr x1k −1Trx3k − px5kx4k)

x4,k+1 = x4,k + h(MTr x2k − px5kx3k −1Trx4k)

x5,k+1 = x5,k + h(pMJLr(x3kx2k − x4kx1k)− TLJ )

y1,k+1 = x1,k+1, y2,k+1 = x2,k+1



❐ Badanie wpływu macierzy instrumentalnych na zbieżność obserwatora

Założenia: x0 = 0, dk = 0, x0 = (200, 200, 50, 50, 300)

Przypadek 1: Klasyczne podejście (stałe wartości), tzn.

Qk−1 = 0.1, Rk = 0.1

Przypadek 2: Proponowane rozwiązanie, tzn.

Qk−1 = 103εTk−1εk−1I + 0.01I, Rk = 10ε

Tk εkI + 0.01I

Przypadek 3: Zastosowanie GP do wyznaczania Qk i Rk.



■ Norma błędu estymacji stanu ‖ek‖2 dla Przypadku 1,Przypadku 2 (przerywana) i Przypadku 3 (ciągła)

100

101

102

103

104

0

100

200

300

400

500

600

700

Czas dyskretny

‖ek‖2



☛ DAMADICS BENCHMARK

❐ Schemat pierwszej części stacji wyparnej

R

R

R

%

%

%

%

Actuator

m /h3

F51_01

LC51_01

LC51_03

TC51_05

PC51_01

kPa

Co



■ SCHEMAT IDEOWY ROZWAŻANEGO URZĄDZENIA

Valve

S

Z1

Z2

Z3

T1 P1 P2

F

CV

X

ACQ

PP

PC

E/P CPU

PS



■ Ogólna postać modelowanej zależności

y = f(u), y = (X,F ), u = (P1, P2, T1, CV )

■ Liniowy model w przestrzeni stanów?

■ Model nieliniowy otrzymany za pomocą GPZbiory zmiennych i operatorów

TA = {xk}, Th = {uk}

F = {+, ∗, /}.



■ Model nieliniowy

xk+1 =

[

AF (xk) 0

0 AX

]

xk +

[

h(uk)

BXuk

]

yk+1 = Cxk+1

gdzie

AF (xk) =

0.3tanh

(

10x21,k+ 23x1,kx2,k +

26x1,k

x2,k+0.01

)

0

0 0.15tanh

(

5x22,k+1.5x1,k

x21,k+0.01

)

AX =

[

0.78786 −0.28319

0.41252 −0.84448

]

BX =

[

2.3695 −1.3587 −0.29929 1.1361

12.269 −10.042 2.516 0.83162

]

h(uk) =

−1.087u21,k+ 0.0629u2

2,k− 0.5019u2

3,k− 3.0108u2

4,k

+0.9491(u1,ku2,k − u1,ku3,k)− 0.5409u1,ku4,k

u2,ku3,k+0.01+ 0.9783

−0.292u21,k+ 0.0162u2

2,k− 0.1289u2

3,k− 0.7733u2

4,k

+0.2438(u1,ku2,k − u1,ku3,k)− 0.1389u1,ku4,k

u2,ku3,k+0.01+ 0.2513



■ PORÓWNANIE WYJŚCIA MODELU (NIEBIESKI) I SYSTEMU(CZERWONY)

0 200 400 600 800 1000 12000

0.2

0.4

0.6

0.8

1

1.2

1.4

1

Czas dyskretny

y 1,k

0 200 400 600 800 1000 12000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

2

Czas dyskretnyy 2,k



■ PORÓWNANIE WYJŚCIA EUIO (NIEBIESKI) I SYSTEMU(CZERWONY)

0 200 400 600 800 1000 12000

0.2

0.4

0.6

0.8

1

1.2

1.4

1

Czas dyskretny

y 1,k

0 200 400 600 800 1000 12000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

2

Czas dyskretnyy 2,k



D - wykrywalny, N - niewykrywalny

Uszkodzenie Opis S M B

f1 Valve clogging D D D

f2 Valve plug or valve seat sedimentation D

f7 Medium evaporation or critical flow D D D

f8 Twisted servomotor’s piston rod N N N

f10 Servomotor’s diaphragm perforation D D D

f11 Servomotor’s spring fault D

f12 Electro-pneumatic transducer fault N N D

f13 Rod displacement sensor fault D D D

f15 Positioner feedback fault D

f16 Positioner supply pressure drop N N D

f17 Unexpected pressure change across the valve D

f18 Fully or partly opened bypass valves D D D

f19 Flow rate sensor fault D D D



➪ PRZEGLĄD ROZWIĄZAŃ WYKORZYSTUJĄCYCH SZTUCZNE SIECINEURONOWE

➠ Projektowanie systemów sterowania: Neural Networks for Modelling and

Control of Dynamic Systems. - Norgaard i inni (2000): Springer-Verlag, London

➠ Identyfikacja i modelowanie: Korbicz i inni (2004): Fault Diagnosis, Models,

Artificial Intelligence, Applications; Duch i inni (2000): Sieci Neuronowe

➠ Diagnostyka techniczna

➟ Klasyczny układ detekcji uszkodzeń z modelem neuronowym: Korbicz i inni

(2004): Fault Diagnosis, Models, Artificial Intelligence, Applications; Chen i

Patton (1999): Robust Model-Based Fault Diagnosis for Dynamic Systems

➟ Odporne neuronowe systemy diagnostyczne: Witczak, Korbicz, Mrugalski i

Patton (2005): Control Eng. Practice; Witczak i Prętki (2005): Computer

Assisted Mechanics and Eng. Sciences

➟ Projektowanie klasyfikatorów: Marciniak i Korbicz (2004): W Korbicz i inni

(2004): Fault Diagnosis, Models, Artificial Intelligence, Applications



➪ PRZYKŁAD ZASTOSOWANIA

■ Problem odpornej detekcji uszkodzeń

...

+_

_

_

S

u y

ym,0

ym,1

ym,n

r0

r1

rn

f

Bank modeli Generator residuum Podejmowanie decyzji

Uszkodzenia

Nominalny model

Model uszkodzenia (1)

Model uszkodzenia (n)

FDI

System

0 200 400 600 800 1000 1200−2.5

−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

2.5

0 200 400 600 800 1000 1200−2.5

−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

2.5



❐ Zasada działania algorytmu GMDH

...

...

S

E

L

E

K

C

J

A

S

E

L

E

K

C

J

A

...

...

...

u(0)1

u(0)2

u(0)3

u(0)m

y(l)1

y(l)n

y(l)N

y(L)1

y(L)N

y(L)opt



❐ Końcowa struktura sieci neuronowej GMDH

......

...

...

...

u(1)1

u(1)2

u(1)3

u(1)m

y(1)1

y(1)n

y(1)N

y(l)1

y(l)n

y(l)N

y(L)opt

❐ Błędy strukturalne przy estymacji poszczególnych neuronów



☛ Zastosowanie estymacji przy ograniczonych wartościach błędów do estymacjiparametrów i ich przedziałów ufności - Witczak, Korbicz, Mrugalski iPatton (2005): Control Eng. Practice

• Propagacja niepewności w sieci neuronowej GMDH

u1

u2

u3

yk



❐ Dynamiczna sieć neuronowa GMDH

...

...

...

...

z−1

z−1

z−1

z−1

z−1

z−1

b1,0

b1,1

b1,nu

bnu,0

bnu,1

bnu,nb

a1

any

u1(k)

unu(k)

y(k)∑

y(k)

y(k)ξ(·)



❐ Struktury sieci neuronowych dla problemu DAMADICS

X

P1

P2

T

F

Cv

P1

P2

T

X



❐ Adaptacyjne progi decyzyjne dla F (z lewej) i X (z prawej)

0 100 200 300 400 500 600 700 800 900 1000

−2

0

2

4

6

8

10

k0 100 200 300 400 500 600 700 800 900 1000

−4

−3

−2

−1

0

1

2

k



☛ PODSUMOWANIE

✎ Algorytmy ewolucyjne i sztuczne sieci mogą być z powodzeniemstosowane w sytuacjach, w których klasyczne techniki nie mogą byćzastosowane lub nie dają oczekiwanych rezultatów

✎ Algorytmy ewolucyjne stanowią „odporne” narzędzie optymalizacji,które można zastosować do rozwiązywania problemów: źleuwarunkowanych, wielomodalnych, wielokryterialnych, itd.

✎ Ze względu na dużą złożoność obliczeniową, algorytmy ewolucyjne sąrzadko kiedy stosowane w problemach optymalizacji on-line

✎ Wiele opracowań prezentowanych w literaturze dowodzi, że sztuczne siecineuronowe stanowią znakomite rozwiązanie wielu problemów automatykii robotyki

✎ Podstawowe problemy zawiązane z zastosowaniem sieci neuronowychwiążą się z: planowaniem eksperymentu, doborem struktury i estymacjąparametrów

Documents

Algorytmy Ewolucyjne i Sztuczne Sieci Neuronowe w Układach … · 2005-04-21 · Sztuczna Inteligencja w Automatyce i Robotyce, Zielona Góra, 22.04.2005 1/38 Instytut Sterowania