ELASTICNO PORAVNAVANJE ULTRAZVOˇ CNIHˇ POSNETKOV · temelji na ﬁzikalnih zakonih deformabilnih teles in pri katerem slika predstavlja objekt, ki ga deformiramo s pomoˇcjo zunanjih

UNIVERZA V MARIBORU

FAKULTETA ZA ELEKTROTEHNIKO,

RACUNALNISTVO IN INFORMATIKO

Sebastijan Sprager

ELASTICNO PORAVNAVANJE ULTRAZVOCNIH

POSNETKOV

Diplomska naloga

Maribor, avgust 2008

Diplomska naloga univerzitetnega studijskega programa

ELASTICNO PORAVNAVANJE ULTRAZVOCNIHPOSNETKOV

Student: Sebastijan Sprager

Studijski program: univerzitetni, racunalnistvo in informatika

Smer: programska oprema

Mentor: prof. dr. Damjan Zazula

Maribor, avgust 2008

ZAHVALA

Ob tej priloznosti se najlepse zahvaljujem men-

torju prof. dr. Damjanu Zazuli za skrbno vodenje in

pomoc pri izdelavi diplomske naloge. Za vso izkazano

podporo v casu studija pa se iz srca zahvaljujem svojim

starsem, katerim tudi posvecam to diplomsko nalogo.

I

Elasticno poravnavanje ultrazvocnih posnetkov

Kljucne besede: obdelava signalov in slik, poravnavanje slik, elasticno poravnavanje

slik, ultrazvok, posnetki jajcnih mesickov.

UDK: 621.391:004.93(043.2)

Povzetek

Ultrazvok igra pomembno vlogo na podrocju medicinskih preiskav, s pomocjo katerega

lahko opazujemo vitalne organe, njihovo strukturo in deformacije. Rezultati takih prei-

skav so 2D ali 3D posnetki delov cloveskega telesa. Velikokrat na takih posnetkih, pona-

vadi zajetih ob razlicnih casovnih intervalih, zelimo opazovati spremembe med dvema

posnetkoma. Opazujemo lahko tudi razlike med dvema prerezoma 3D ultrazvocnega

volumna. Pomembno je poudariti, da nas zanimajo predvsem lokalno omejene spre-

membe, katere v nasem primeru ponavadi predstavljajo deformacije tkiva. Taksne spre-

membe lahko ugotovimo ob uporabi elasticnega poravnavanja ultrazvocnih posnetkov. V

okviru te diplomske naloge smo razvili postopek za elasticno poravnavanje ultrazvocnih

posnetkov, s pomocjo katerega lahko opazujemo omenjene spremembe.

Poravnavanje slik spada med osnovne operacije pri obdelavi medicinskih posnetkov.

Gre za postopek prekrivanja dveh ali vec slik, ki prikazujejo podobno sceno in so po-

snete ob razlicnih casih, perspektivah ali senzorjih. Gre torej za postopek, pri katerem

opazovano sliko deformiramo tako, da se cim bolj ujame s primerjano sliko. V nasem

primeru je deformacija predstavljena s pomocjo deformacijske funkcije, ki v nasem pri-

meru predstavlja rezultat poravnavanja ultrazvocnih posnetkov. Deformacijska funkcija

namrec opisuje spremembe med opazovanima ultrazvocnima posnetkoma.

Poznamo vec vrst poravnavanja slik (togo, afino, projekcijsko, krivocrtno). Zaradi

lastnosti opazovanih sprememb na ultrazvocnih posnetkih, ki so precej lokalne, smo upo-

rabili elasticno poravnavanje. Elasticno poravnavanje slik je postopek poravnavanja, ki

temelji na fizikalnih zakonih deformabilnih teles in pri katerem slika predstavlja objekt,

ki ga deformiramo s pomocjo zunanjih sil.

Postopek, ki smo ga razvili v okviru te diplomske naloge, temelji na lokalno ne-

spremenljivem povprecju pegastega suma. Gre za algoritem, ki na podlagi ocenitvene

funkcije in njenega gradienta s pomocjo optimizacijskega postopka isce najustreznejso

resitev problema. Za optimizacijo problema je uporabljen optimizacijski postopek L-

BFGS-B. Algoritem je realiziran v okolju matlab, najtezji deli kode pa so napisani v

programskem jeziku C in vkljuceni v matlab.

II

Po koncani realizaciji je sledila potrditev algoritma, s katero smo pokazali pravilnost

delovanja nasega algoritma za poravnavanje ultrazvocnih posnetkov. V naslednjem ko-

raku je sledilo veliko stevilo poskusov poravnavanja raznolikih in skrbno izbranih testnih

primerkov ultrazvocnih posnetkov, katere so v nasem primeru v vecini predstavljale re-

zine 3D ultrazvocnih volumnov jajcnikov. Rezultati poskusov so potrdili ucinkovitost

nasega algoritma, ki se je izkazal kot zelo primeren za odkrivanje lokalnih sprememb na

ultrazvocnih posnetkih. Izkaze pa se, da ima algoritem dolocene tezave pri poravnavanju

ultrazvocnih posnetkov s specificnimi lastnostmi. Med te spadajo ultrazvocni posnetki z

zelo majhnimi lokalnimi spremembami, kjer moramo za ucinkovito poravnavanje upo-

rabiti gostejso mrezo deformacijskih parametrov, kar pomeni daljse izvajanje algoritma.

Tezave povzroca tudi poravnavanje zasukanih posnetkov. Pri zasukanih posnetkih zato

najprej uporabimo togo poravnavo, nato pa se postopek za elasticno poravnavanje, ki

smo ga predstavili v tej diplomski nalogi.

Postopek za poravnavo smo nato primerjali s postopkom, ki isce optimalno porav-

navo s pomocjo ocenitvene funkcije vsote kvadratov razlik. S primerjavo rezultatov

smo pokazali, da je postopek, ki deluje s pomocjo nespremenljivega povprecja pegastega

suma, ucinkovitejsi kot postopek, ki deluje z ocenitveno funkcijo vsote razlik kvadratov.

Na koncu smo predstavili se sklepe in moznost nadaljnjih raziskav, kamor spadata

izboljsanje zmogljivosti algoritma in zmoznost poravnavanja 3D ultrazvocnih volumnov.

III

Elastic Registration of Ultrasound Images

Keywords: signal and image processing, image registration, elastic image registration,

ultrasound, images of ovarian follicles.

UDC: 621.391:004.93(043.2)

Abstract

Ultrasonography plays a very important role in medical diagnostics. With use of ultra-

sonography we can observe vital organs, their structure and deformations. A set of 2D

or 3D images is what we get as result, when we observe a part of human body with use

of ultrasonography. There are many situations, when we want to find out the difference

between two observed images, acquired at the different time. We can also observe the

differences between two slices of 3D ultrasound volume. Our goal is to observe local di-

fferences between two ultrasound images, which usually represents tissue deformation.

This can be done by using elastic image registration of ultrasound images. The aim of

this thesis was to construct a method for elastic image registration.

Image registration is one of the basic medical image processing methods. Image

registration is the process of overlaying two or more images of the same scene taken at

different times, perspectives or sensors. Actually, we have to deform observed image.

By using deformation we must find the best fit between observed and reference image.

In our case we present deformation as a deformation function which presents a re-

sult obtained by our registration algorithm. Deformation function actually shows the

differences between two observed ultrasound images.

There are many image registration methods (rigid, affine, projection, curved). Due

to differences between two ultrasound images, which are in our case very local, we use

elastic image registration. Elastic image registration is a image registration method

based on physical law of deformable objects. The deformed image is presented as an

object, deformed by using external forces.

Method introduced in this thesis is based on locally invariant speckle noise mean.

Our elastic image registration method is presented as a optimisation problem. The

minimum is found by using optimization algorithm L-BFGS-B. In order to find the

minimum we must present the routines for calculation of objective function and its

gradient function. Algorithm is implemented in Matlab. Main parts of the algorithm

are written in C and included as a object library in Matlab.

IV

After the implementation has followed the validation of the algorithm with which

we have shown validity of the algorithm for elastic registration. After the validation we

have done many image registration experiments of diverse ultrasound images. We have

mostly used slices of 3D ultrasound volumes. The results has confirmed efficiency of

the algorithm, which has proved as very suitable for observation of local differences in

ultrasound images. The results also show that algorithm has some certain problems with

registration of specific types of images. One of these are ultrasound images with very

small local differences, where we must use denser grid of deformation parameters for

efficient registration, which means that registration lasts longer. Problems also causes

registration of rotated images. By registering of rotated images we must therefore use

rigid registration first and secondly the method described in this thesis.

Our method for image registration have we compared with method, which is based

on objective function SSD (sum of squared differences). With comparison of results we

have shown that the procedure, which works with use of invariant speckle-noise mean,

is more efficient as a method, based on sum of squared differences.

In the end we have presented the conclusions and possibility of further development

of the presented method for image registration (algorithm efficiency improvement and

ability of registering 3D ultrasound volumes).

V

Kazalo

1 Uvod 1

1.1 Namen diplomske naloge . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.2 Zgradba diplomske naloge . . . . . . . . . . . . . . . . . . . . . . . . . 2

2 Ultrazvocni posnetki 3

2.1 Ultrazvok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.2 Uporaba ultrazvoka v medicini . . . . . . . . . . . . . . . . . . . . . . . 3

2.3 Zajem ultrazvocnih posnetkov . . . . . . . . . . . . . . . . . . . . . . . 3

2.4 Lastnosti ultrazvocnih posnetkov . . . . . . . . . . . . . . . . . . . . . 7

2.5 Pegasti sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.6 Ultrazvocni posnetki jajcnikov . . . . . . . . . . . . . . . . . . . . . . . 9

3 Poravnavanje slik 11

3.1 Postopki za poravnavo slik . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2 Elasticno poravnavanje slik . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3 Mere podobnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.4 Model preslikave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.5 Optimizacijski postopek . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4 Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 25

4.1 B-zlepki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

4.1.1 Interpolacija slike . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.2 Optimizacijski algoritem L-BFGS-B . . . . . . . . . . . . . . . . . . . . 29

5 Algoritem za elasticno poravnavanje s pomocjo pegastega suma 33

5.1 Zasnova problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.2 Ocenitvena funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.3 Deformacijski model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

5.4 Optimizacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5.5 Potek algoritma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

5.6 Izvedba algoritma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

6 Rezultati 41

6.1 Potek preizkusanja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

6.2 Ocenjevanje uspesnosti poravnavanja . . . . . . . . . . . . . . . . . . . 41

6.3 Vpliv izbire parametrov . . . . . . . . . . . . . . . . . . . . . . . . . . 42

6.4 Prikaz rezultatov poravnavanja . . . . . . . . . . . . . . . . . . . . . . 43

VI

6.5 Konfiguracija racunalniskega sistema . . . . . . . . . . . . . . . . . . . 44

6.6 Poravnavanje enostavnih geometrijskih likov . . . . . . . . . . . . . . . 45

6.7 Potrjevanje algoritma . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

6.8 Poravnavanje lokalno spremenjenih ultrazvocnih posnetkov . . . . . . . 50

6.9 Poravnavanje ultrazvocnih posnetkov z zelo majhnimi lokalnimi spre-

membami . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

6.10 Poravnavanje ultrazvocnih posnetkov z vecjimi spremembami . . . . . . 63

6.11 Poravnavanje togo preslikanih ultrazvocnih posnetkov . . . . . . . . . . 66

6.12 Poravnavanje s pomocjo ocenitvene funkcije SSD . . . . . . . . . . . . . 69

7 Sklep 85

7.1 Moznost nadaljnjih raziskav . . . . . . . . . . . . . . . . . . . . . . . . 85

VII

Slike

1 Naprava za zajem ultrazvocnih posnetkov. . . . . . . . . . . . . . . . . 5

2 Zajem ultrazvocnih posnetkov. . . . . . . . . . . . . . . . . . . . . . . . 6

3 Preprost primer generiranja pegastega suma. . . . . . . . . . . . . . . . 8

4 Nakljucno generiranje pegastega suma. . . . . . . . . . . . . . . . . . . 9

5 Ultrazvocni posnetek jajcnika. . . . . . . . . . . . . . . . . . . . . . . . 10

6 Preprost primer poravnave slik. . . . . . . . . . . . . . . . . . . . . . . 11

7 Vrste poravnav slik glede na razlicne geometrijske preslikave. . . . . . . 13

8 Globalna poravnava slike. . . . . . . . . . . . . . . . . . . . . . . . . . 14

9 Lokalna poravnava slike. . . . . . . . . . . . . . . . . . . . . . . . . . . 14

10 Premik izbranega piksla x za vektor u(x). . . . . . . . . . . . . . . . . 15

11 Bazicna funkcija β0(x). . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

12 Bazicna funkcija β3(x). . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

13 Tenzorski produkt dveh bazicnih funkcij β3. . . . . . . . . . . . . . . . 28

14 Stirikratna povecava ultrazvocnega posnetka dimenzije 121 x 103 pikslov. 29

15 Potek algoritma za elasticno poravnavo ultrazvocnih posnetkov. . . . . 37

16 Psevdokod algoritma za elasticno poravnavanje slik. . . . . . . . . . . . 38

17 Struktura za izvedbo algoritma za elasticno poravnavanje ultrazvocnih

posnetkov. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

18 Mreza, s pomocjo katere prikazemo deformacije na poravnani sliki. . . . 43

19 Poravnava zvezde s krogom pri parametrih h = 30, h = 20 in h = 10. . 45

20 Poravnava kroga z zvezdo pri parametrih h = 30, h = 20, h = 10 in h = 5. 47

21 Rezultat potrjevanja algoritma za elasticno poravnavanje ultrazvocnih

posnetkov. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

22 Poravnavanje manjsega izseka iz ultrazvocnega posnetka (50 x 50 pikslov). 51

23 Rezultat poravnavanja ultrazvocnih posnetkov z blagimi lokalnimi spre-

membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

24 Rezultat poravnavanja ultrazvocnih posnetkov z raznolikimi lokalnimi

spremembami jajcnih mesickov. . . . . . . . . . . . . . . . . . . . . . . 54

25 Grafa, ki prikazujeta cas poravnavanja ter koeficient podobnosti pri po-

ravnavanju v odvisnosti od razmika med rezinama ultrazvocnega volumna. 56

26 Deformacijska polja, dobljena kot rezultat poravnavanja rezin ultrazvocnega

volumna z razlicnimi razmiki. . . . . . . . . . . . . . . . . . . . . . . . 57

27 Prikaz skrivanja mesicka pri poravnavanju dveh ultrazvocnih posnetkov. 58

28 Interpolacija posnetka, kjer smo postavili pri interpolaciji kontrolne tocke

B-zlepkov na vsak cetrti piksel posnetka. . . . . . . . . . . . . . . . . . 59

VIII

29 Prvi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spre-

membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

30 Drugi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spre-

membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

31 Tretji poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spre-

membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

32 Prvi poskus poravnavanja posnetkov z vecjimi spremembami. . . . . . . 64

33 Drugi poskus poravnavanja posnetkov z vecjimi spremembami. . . . . . 66

34 Poravnavanje enakih ultrazvocnih posnetkov, ki sta drug proti drugemu

zasukana za 180 stopinj. . . . . . . . . . . . . . . . . . . . . . . . . . . 67

35 Poravnava zasukanih ultrazvocnih posnetkov pri razlicnih kotih. . . . . 70

36 Primerjava rezultatov pri prvem poskusu poravnavanja z metodama

USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

37 Grafa, ki prikazujeta rezultate meritev pri prvem poskusu poravnavanja

z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . 74

38 Primerjava rezultatov pri drugem poskusu poravnavanja z metodama

USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

39 Grafa, ki prikazujeta rezultate meritev pri drugem poskusu poravnavanja


40 Primerjava rezultatov pri tretjem poskusu poravnavanja z metodama

USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

41 Grafa, ki prikazujeta rezultate meritev pri tretjem poskusu poravnavanja


42 Primerjava rezultatov pri cetrtem poskusu poravnavanja z metodama

USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

43 Grafa, ki prikazujeta rezultate meritev pri cetrtem poskusu poravnava-

nja z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . 81

44 Primerjava rezultatov pri petem poskusu poravnavanja z metodama

USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

45 Grafa, ki prikazujeta rezultate meritev pri petem poskusu poravnavanja


IX

Preglednice

1 Podrocja uporabe ultrazvoka v medicinski diagnostiki. . . . . . . . . . . 4

2 Rezultati meritev pri poravnavanju zvezde s krogom. . . . . . . . . . . 46

3 Rezultati meritev pri poravnavanju kroga z zvezdo. . . . . . . . . . . . 48

4 Rezultati meritev pri poravnavanju izseka iz ultrazvocnega posnetka. . 51

5 Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z blagimi

lokalnimi spremembami. . . . . . . . . . . . . . . . . . . . . . . . . . . 52

6 Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z raznolikimi

lokalnimi spremembami. . . . . . . . . . . . . . . . . . . . . . . . . . . 55

7 Rezultati meritev pri poravnavanju ultrazvocnih posnetkov, dobljenih s

spreminjanjem razmika med rezinami ultrazvocnega volumna. . . . . . 56

8 Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih posnet-

kov z zelo majhnimi lokalnimi spremembami. . . . . . . . . . . . . . . . 60

9 Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-

snetkov z zelo majhnimi lokalnimi spremembami. . . . . . . . . . . . . 62

10 Rezultati meritev pri tretjem poskusu poravnavanja ultrazvocnih po-

snetkov z zelo majhnimi lokalnimi spremembami. . . . . . . . . . . . . 62

11 Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih posnet-

kov z velikimi spremembami. . . . . . . . . . . . . . . . . . . . . . . . . 65

12 Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-

snetkov z velikimi spremembami. . . . . . . . . . . . . . . . . . . . . . 65

13 Rezultati meritev poravnavanja zasukanih posnetkov pri razlicnih kotih. 68

14 Rezultati meritev pri prvem poskusu poravnavanja z metodama USST

in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

15 Rezultati meritev pri drugem poskusu poravnavanja z metodama USST

in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

16 Rezultati meritev pri tretjem poskusu poravnavanja z metodama USST

in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

17 Rezultati meritev pri cetrtem poskusu poravnavanja z metodama USST

in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

18 Rezultati meritev pri petem poskusu poravnavanja z metodama USST

in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

X

1 Uvod

Razvoj postopkov za zajemanje medicinskih posnetkov je prinesel veliko novosti na

podrocju medicinskega diagnosticiranja. S pomocjo zajetih slik delov cloveskega telesa

lahko eksperti lazje opazujejo strukturo in deformacije tkiv, olajsano pa jim je tudi

nacrtovanje operacij in radioterapij. Med najpomembnejse postopke za zajem medi-

cinskih posnetkov spadajo magnetna resonanca, racunalniska tomografija in ultrazvok.

V okviru te diplomske naloge se bomo posvetili medicinskim posnetkom, zajetim z

ultrazvokom.

Ultrazvocne preiskave igrajo na podrocju medicinske diagnostike zelo pomembno

vlogo. Z njimi zajemamo slike, na katerih lahko opazujemo vitalne organe in tkiva,

njihovo strukturo ter deformacije. Rezultat zajemanja slik z ultrazvocno napravo je

zaporedje digitaliziranih 2D slik ali pa digitaliziran 3D volumen. Diagnosticiranje z

ultrazvocno napravo je poceni in neskodljivo, pa tudi do rezultatov pregleda pridemo

v realnem casu.

Zajeti medicinski posnetki nosijo veliko informacij o stanju opazovanega organizma.

Nekatere izmed njih so ocitne na prvi pogled, do preostalih pa se nekoliko tezje do-

kopljemo. Zato je razvitih veliko razlicnih postopkov za obdelavo medicinskih po-

snetkov, ki so v veliko pomoc pri odkrivanju informacij, saj opravljajo naloge, ki jih

sicer opravljajo eksperti, ampak so zaradi prihranka casa avtomatizirane (avtomatsko

oznacevanje dolocenih tkiv). Lahko pa opravljajo tudi ostale kompleksnejse naloge, s

katerimi najdejo uporabne informacije (sledenje gibanja tkiv).

Ena najpomembnejsih operacij pri obdelovanju medicinskih posnetkov je poravnava

slik. Gre za postopek, pri katerem zelimo doseci, da se anatomske strukture, prikazane

na medicinskih posnetkih, nahajajo v istih legah. Eden izmed primerov, kjer upo-

rabljamo poravnavanje medicinskih posnetkov, je izlocanje vpliva razlicnega zornega

kota, ki nastane zaradi razlicnega polozaja naprave, s katero zajemamo posnetke. V

takih primerih se na zajetih slikah kazejo globalne spremembe (zasuki in premiki). Po-

ravnava slik je zelo pomembna tudi pri uporabi vecmodalnih ultrazvocnih posnetkov.

To so posnetki, zajeti s pomocjo razlicnih postopkov za zajemanje medicinskih slik.

Tako lahko sliko mozganov zajamemo z magnetno resonanco in jo zdruzimo s sliko

precnega prereza glave, zajetim z racunalnisko tomografijo. Da slika mozganov, do-

bljena z magnetno resonanco, pravilno prekrije sliko precnega prereza glave, dobljeno z

racunalnisko tomografijo, uporabimo poravnavo slik. V tem primeru lahko nastopajo

tako globalne, kakor tudi lokalne spremembe slik.

Mnogokrat pa pride do situacije, ko nas zanima razlika med dvema slikama ali

med dvema prerezoma volumna. V teh primerih niso vec pomembne globalne spre-

membe slike (premiki in zasuki), temvec lokalno omejene spremembe, katere predsta-

1

Uvod 2

vljajo deformacije tkiv. V takih primerih zelimo na neki nacin opazovati in spremljati

te deformacije. Take deformacije lahko spremljamo s pomocjo elasticnega poravnava-

nja ultrazvocnih posnetkov, saj rezultat tega postopka predstavlja polje vektorjev, s

katerim so opisane smeri gibanja posameznih delov tkiv.

1.1 Namen diplomske naloge

Namen te diplomske naloge je razviti postopek, ki bo s pomocjo elasticnega porav-

navanja ultrazvocnih posnetkov zaznal in prikazal spremembe na opazovanih tkivih.

Poravnavanje se izvaja s pomocjo optimizacijskega postopka, ki temelji na primerjavi

lokalno nespremenljivega povprecja pegastega suma med dvema posnetkoma. Rezultat

takega poravnavanja je polje vektorjev, iz katerega je jasno razvidno, kako se opazovana

slika razlikuje od primerjane. Na tak nacin lahko opazujemo, kaksne so bile deformacije

opazovanih tkiv. Na koncu zelimo z rezultati poravnavanj vecjega stevila posnetkov

ugotoviti, ali je razviti pristop primeren za poravnavanje ultrazvocnih posnetkov, torej

za opazovanje lokalnih deformacij tkiv oziroma v koliksni meri je omenjeni postopek

uspesen, robusten in ucinkovit.

1.2 Zgradba diplomske naloge

Na zacetku diplomske naloge so predstavljeni ultrazvocni posnetki ter njihove lastno-

sti. V tem poglavju je opisano tudi, kako te posnetke zajemamo. V nadaljevanju je

predstavljeno poravnavanje slik v splosnem. Izpostavljene so lastnosti ter vrste porav-

navanja slik. Posebej smo se posvetili splosni predstavitvi elasticnega poravnavanja

slik, saj ta vrsta poravnavanja predstavlja glavno temo te diplomske naloge. Po pred-

stavitvi elasticnega poravnavanja sledi opis orodij, ki smo jih potrebovali pri gradnji

algoritma za poravnavanje – B-zlepki ter optimizacijski algoritem L-BFGS-B. V na-

slednjem poglavju pa sledi opis algoritma za poravnavanje s pomocjo pegastega suma,

kjer je opisana celotna zasnova, gradnja ter potek algoritma. Po predstavitvi algoritma

za poravnavanje sledijo rezultati in ugotovitve, pridobljene pri poravnavanju vecjega

stevila raznolikih testnih primerov ultrazvocnih posnetkov. Na koncu so opisane se

mozne izboljsave algoritma, moznosti za nadaljnji razvoj algoritma ter sklepna beseda.

2 Ultrazvocni posnetki

2.1 Ultrazvok

Ultrazvok [6] je zvok, ki ga ljudje s sluhom ne zaznamo. Ljudje slisimo zvocno valovanje

v obmocju med 20 in 20000 Hz. Zvoku, katerega frekvence so nad tem obmocjem (visje

od 20000 Hz), pravimo ultrazvok.

Vemo, da zvok predstavlja mehansko vzdolzno valovanje, ki se siri v neki snovi in

v homogenem materialu potuje s konstantno hitrostjo. Hitrost je odvisna od vrste

materiala, skozi katerega zvok potuje (v zraku potuje priblizno s hitrostjo 330 m/s, v

vodi in cloveskem mehkem tkivu pa okoli 1540 m/s) [5]. To lastnost uspeno izkoriscamo

pri zajemanju ultrazvocnih posnetkov (podpoglavje 2.3).

Ultrazvok [6] se najvec uporablja v medicini (podpoglavje 2.2), kamor sodi podrocje

nasih raziskav. Uporablja pa se lahko tudi za dolocanje oddaljenosti objekta (sonar),

v industrijske namene (iskanje napak v materialu, merjenje debeline) ter za ciscenje

obcutljivih elementov (lece, nakit). Kot zanimivost povejmo, da ga uspesno uporabljajo

tudi nekatere zivali, kot na primer netopir, ki s pomocjo ultrazvoka doloca oddaljenost

objektov, ki se nahajajo pred njim.

2.2 Uporaba ultrazvoka v medicini

Uporaba ultrazvoka je najbolj razsirjena prav v medicini, predvsem na podrocju me-

dicinske diagnostike, ceprav se uporablja tudi v terapevtske namene. S pomocjo ul-

trazvoka lahko namrec ob uporabi vecje energije pri oddajanju valov grejemo tkivo. S

takim lokaliziranim gretjem tkiva skusamo na primer odstranjevati ciste in tumorje.

Ultrazvok lahko ob povecani energiji in z nekoliko nizjo frekvenco oddajanja zvoka

tkiva tudi unici. Tudi to se s pridom uporablja v medicini, kot primer pa navedimo

unicevanje ledvicnih kamnov ali pa ciscenje zob.

Zaradi podrocja nasega raziskovanja se bomo v tem podpoglavju posvetili pred-

vsem uporabi ultrazvoka na podrocju medicinske diagnostike. Ultrazvok se kot zelo

ucinkovit izkaze pri zajemu slik mehkih tkiv. Podrocja uporabe ultrazvoka v medicin-

ski diagnostiki so prikazana v preglednici 1 [2]. Ultrazvok se uporablja tudi za zajem

slik misic, zivcev in povrsja kosti, lahko pa se uporablja tudi kot pripomocek pri drugih

medicinskih posegih (biopsija).

2.3 Zajem ultrazvocnih posnetkov

Ultrazvocne posnetke zajemamo s posebno napravo, ki jo sestavljajo sonda, racunalnik

ter prikazovalnik (slika 1). S pomocjo te naprave pridemo do ultrazvocnega posnetka

3

Ultrazvocni posnetki 4

Podrocje uporabe Primer uporabeporodnistvo ultrazvocni posnetki zarodkaginekologija ultrazvocni posnetki jajcnikovkardiologija ultrazvocni posnetki srcaendokrinologija ultrazvocni posnetki zlez (scitnica)gastroenterologija ultrazvocni posnetki prebaviloftalmologija ultrazvocni posnetki ocesaintravaskularni ultrazvok ultrazvocni posnetki notranjosti zil

Preglednica 1: Podrocja uporabe ultrazvoka v medicinski diagnostiki.

v treh korakih - generiranja zvocnega valovanja, sprejema odbojev ter sestavljanja

posnetka [2].

Generiranje zvocnega valovanja

Sonda vsebuje piezoelektricne kristale, s pomocjo katerih se generira ultrazvok. Ce

skozi piezoelektricne kristale spustimo izmenicni tok, ta tok povzroci krcenje in sirjenje

teh kristalov, kar se odraza kot vibriranje piezoelektricnih kristalov. To vibriranje

predstavlja izvor ultrazvocnega valovanja. Frekvenca ultrazvoka, ki se uporablja v

medicinski diagnostiki, je v obmocju med 1 in 16 MHz. Izkaze se, da je izbira frekvence

zelo pomembna. Za zajem povrsinskih tkiv, med katere spadajo na primer misice

ali kite, uporabljamo visje frekvence (7-18 Mhz). Rezultat zajema posnetkov v tem

obmocju je visja povrsinska in globinska locljivost posnetkov. Globlje strukture, kot na

primer ledvice ali jetra, zajemamo z nizjimi frekvencami (1-6 MHz). S tem dosezemo

vecjo prodornost zvocnega valovanja, imajo pa zato zajeti posnetki nizjo povrsinsko in

globinsko locljivost.

Sprejem odbojev

Generirani ultrazvok, ki ga uravnava in fokusira racunalnik, potuje skozi tkivo in se

delno odbija od plasti, ki predstavljajo mejo med tkivi. Zvok se namrec delno odbija

povsod, kjer prihaja do spremembe gostote tkiv (npr. krvnicke v krvni plazmi). Nekaj

teh odbojev se tako vrne do sonde. Ta odbiti zvok povzroci vibracije piezoelektricnih

kristalov, ki se v sondi pretvorijo v elektricne impulze. Elektricni impulzi potujejo

naprej v racunalnik. Racunalnik nato te impulze obdela in jih pretvori v digitalni

posnetek.


Slika 1: Naprava za zajem ultrazvocnih posnetkov. Na levi strani je prikazana celotnanaprava, na desni pa sonda, s katero zajemamo ultrazvocne posnetke.

Sestavljanje posnetka

Racunalnik v ultrazvocni napravi mora poznati dva podatka, da lahko sestavi sliko, in

sicer:

a) cas, ki je pretekel med generiranjem zvoka ter sprejemom njegovega odmeva, ter

b) jakost tega odmeva.

Na podlagi teh dveh podatkov racunalnik doloci, kateri piksel na posnetku bo prizgal

(a) ter s kaksno intenziteto ga bo prikazal (b). Rezultat tega postopka je dvodimenzi-

onalna digitalizirana sivinska slika. Seveda se slike, generirane z razlicnimi napravami

ali postopki, lahko razlikujejo po dimenziji, locljivosti ali drugih lastnostih. Vec o tem

bomo spregovorili v podpoglavju 2.4.

Izvedba zajemanja ultrazvocnih posnetkov

Rekli smo, da ultrazvocne posnetke zajemamo s pomocjo sonde. V tem podpoglavju

bomo spoznali, na kaksen nacin lahko s pomocjo sonde zajemamo ultrazvocne posnetke


[1, 4, 5].

Na tem mestu poudarimo, da kot rezultat zajema slik s pomocjo ultrazvoka lahko

dobimo posnetke naslednjih dimenzij:

a) 2D posnetke, kjer sta obe dimenziji prostorski (ultrazvocni posnetek),

b) 3D posnetke, kjer sta dve dimenziji prostorski in ena casovna (realnocasovni

ultrazvok),

c) 3D posnetke, kjer so vse tri dimenzije prostorske (3D volumen),

d) 4D posnetke, kjer so tri dimenzije prostorske, ena pa casovna (realnocasovni 3D

ultrazvok).

Pri posnetkih, kjer je ena dimenzija casovna, gre za prikaz gibanja tkiv znotraj orga-

nizma (bitje srca, prikaz gibanja zarodka). Taki posnetki se zajemajo z dovolj visoko

frekvenco zaporednih zajemov prostorskih dimenzij.

Slika 2: Zajem ultrazvocnih posnetkov. Na levi strani je prikazan zajem 2D ul-trazvocnega posnetka, na desni pa je prikazan zajem 3D volumna. Puscice predstavljajosmer prebiranja ultrazvocnega zarka.

Sedaj pa si oglejmo zajem slik v smislu prostorskih dimenzij. Vemo, da sonda

generira ultrazvocno valovanje. Tako oddaja niz tako imenovanih pulzov ultrazvocnega

valovanja, ki ga lahko zaradi visoke frekvence oddajanja poimenujemo kar ultrazvocni

zarek. Zajem 2D ultrazvocnega posnetka se izvede s pomocjo prebiranja tega zarka. Pri

starejsih ultrazvocnih napravah se prebiranje zarka izvaja mehansko (rocno), in sicer s

pomocjo kroznega premikanja ali zibanja sonde. Pri novejsih napravah pa je oddajnik

ultrazvocnega valovanja realiziran kot 1D polje. Tako je prebiranje zarka izvedeno kar


elektronsko. Ta pristop zajema ultrazvocnih posnetkov je prikazan na levi strani slike

2. Vidimo, da je rezultat takega zajema 2D rezina tkiva v telesu.

3D volumen lahko najenostavneje pridobimo s pomocjo zajema sosednjih dvodi-

menzionalnih posnetkov (zaporednih rezin). Za tak zajem obstajajo naprave s posebno

sondo, ki omogoca z mehanskim premikanjem zajem zaporednih 2D posnetkov. Zaradi

pocasnosti taksnega mehanskega zajema je problem prikazati zaporedje volumnov v

smislu dodane casovne dimenzije. V ta namen so, predvsem zaradi hitrejsega zajema,

bile razvite sonde z oddajniki, ki so realizirani kot 2D polje. S tem je prebiranje ul-

trazvocnega zarka krmiljeno elektronsko. Pristop takega zajema je prikazan na desni

strani slike 2.

Na sliki 2 lahko opazimo, da pri 2D (3D) zajemu ne dobimo slik (volumnov) v

obliki pravokotnika (kvadra), kot bi najverjetneje marsikdo pricakoval. 2D posnetki

so tako podobni izseku kroznega kolobarja. V praksi si lahko namrec prebiranje ul-

trazvocnega zarka predstavljamo kot sledenje gibanju vrvice nihala. 3D volumni pa so

posebne piramidaste oblike, ki izgledajo kot izsek krogle z votlo sredico. Zaradi ome-

njenih znacilnosti obdelujemo ultrazvocne posnetke oziroma volumne raje s pomocjo

sfericnega koordinatnega prostora kot v kartezijskih koordinatah. Kljub temu smo

zaradi narave delovanja algoritma za poravnavanje posnetkov v okviru nasih raziskav

uporabili kartezicni koordinatni prostor.

2.4 Lastnosti ultrazvocnih posnetkov

Zajemanje slik z ultrazvokom prinasa stevilne prednosti, med katere spadajo zajem

slike v realnem casu, prenosljivost, neskodljivost postopka, sem pa spada tudi relativno

nizek strosek zajema slik [2]. Kljub vsem tem dobrim lastnostim pa se izkaze, da z

ultrazvokom dobimo posnetke, za katere je znacilna nizka locljivost ter slaba kvaliteta.

Ultrazvocni posnetki v primerjavi z ostalimi posnetki, ki se uporabljajo v medicinski

diagnostiki (npr. magnetna resonanca), namrec vsebujejo veliko suma. Za ultrazvocne

posnetke je znacilen pojav pegastega suma, ki je natancneje opisan v podpoglavju 2.5.

V podpoglavju 2.3 smo rekli, da na locljivost ultrazvocnih posnetkov vpliva fre-

kvenca, s katero ultrazvocna naprava zajema slike. To pa ni edini razlog, zaradi kate-

rega imajo ultrazvocni posnetki nizko locljivost [7]. Glavni razlog za nizko locljivost

ultrazvocnih posnetkov je koncna pasovna sirina signala, ki ga oddaja sonda ultrazvocne

naprave. Dva dodatna razloga pa sta tudi fazni zamik in spremenljivost hitrosti zvoka,

ki nastane zaradi nehomogenosti tkiv, skozi katera zvok potuje. Ta pojav se lahko

odraza tudi kot zmanjsan kontrast dobljenih ultrazvocnih posnetkov. Ce se preselimo

h konkretnim podatkom o locljivosti, povejmo, da imajo ultrazvocni posnetki locljivost

reda nekaj sto pikslov. V tej diplomski nalogi smo za poravnavanje uporabljali posnetke


z locljivostjo 150 x 120 pikslov.

Rezultat zajema z ultrazvocno napravo je sivinski posnetek. V nasem primeru

imamo opravka s posnetki, katerih intenziteta posameznih pikslov je zapisana z 8 biti,

kar pomeni, da lahko intenziteto vsakega piksla predstavimo z 256 nivoji sivine. Sicer

pa je mozno pridobljene ultrazvocne posnetke tudi dodatno obdelati in jih opremiti z

barvo, kar je na primer smiselno pri Dopplerjevem ultrazvoku (npr. opazovanje pretoka

krvi znotraj zil).

2.5 Pegasti sum

Pegasti sum [1, 3] je nakljucen in deterministicen vzorec, ki nastane zaradi interference

pri odbijanju zvocnih valov ultrazvoka. Nastanek pegastega suma si lahko ogledamo

na naslednjem preprostem primeru [1]. Vzemimo, da imamo dva izvora koherentnega

zvocnega valovanja, ki sta na sliki 3 prikazana kot majhni beli tocki na dnu slike.

Vidimo, da se amplitude odbitih valov sestevajo, ko se vrhovi valov prvega izvora

pokrijejo z vrhovi valov drugega valovanja. Analogno lahko to situacijo predstavimo

kot istocasni met dveh kamnov v stojeco vodo. Na sliki 3 se tako pojavi pegasti vzorec,

ki ga vidimo kot ovalni obroc okoli izvora zvocnega valovanja.

Slika 3: Preprost primer generiranja pegastega suma.

Sedaj upostevajmo lastnost nakljucja pojavitve pegastega suma in na podoben

nacin na spodnji del slike nakljucno postavimo vecje stevilo izvorov zvocnega valovanja.

Rezultat je prikazan na sliki 4. Taka situacija je zelo podobna tisti, ki jo opazimo ob

natancnejsem pregledu kateregakoli ultrazvocnega posnetka.

Pegasti sum ima pomembno uporabno vrednost, kajti uporabimo ga lahko za sle-

denje gibanju med dvema ultrazvocnima posnetkoma [5, 16]. To pa ravno predstavlja

lastnost, s pomocjo katere lahko pridemo do cilja te diplomske naloge, kjer hocemo

zaznati lokalne spremembe med dvema ultrazvocnima posnetkoma. Te spremembe na


Slika 4: Nakljucno generiranje pegastega suma.

slikah si lahko namrec predstavljamo kot manjse lokalne premike. Ker predvidevamo,

da sta sliki podobni, in vemo, da gre za elasticno poravnavo, lahko trdimo, da so

ti lokalni premiki posledica delovanja nekih sil. Te premike s pomocjo omenjenih sil

(deformacijo) lahko oznacimo kot gibanje regij na slikah, s cimer smo nas problem pred-

stavili na nekoliko drugacen nacin. Sledenje gibanju med ultrazvocnima posnetkoma

je mogoce zaradi naslednjih dveh dejstev [1]:

a) nakljucje vzorca pegastega suma zagotavlja, da ima vsaka regija na ultrazvocnem

posnetku svoj unikaten vzorec pegastega suma,

b) vzorec pegastega suma kljub gibanju (v nasem primeru deformacijam) ostaja

smiseln ter nespremenljiv, hkrati pa velja, da pegasti sum sledi gibanju (defor-

macijam).

Ti dve dejstvi se izkazeta kot kljucni pri zasnovi nasega algoritma za poravnavanje

ultrazvocnih posnetkov. Algoritem ultrazvocna posnetka namrec poravnava s pomocjo

lokalno nespremenljivega povprecja pegastega suma. Pegasti sum uporabimo, kot bomo

videli kasneje, ob ovrednotenju ocenitvene funkcije za primerjavo dveh slik. Omenjeno

ocenitveno funkcijo bomo spoznali pri predstavitvi algoritma, in sicer v podpoglavju

5.2.

2.6 Ultrazvocni posnetki jajcnikov

V okviru te diplomske naloge smo se ukvarjali pretezno s poravnavanjem ultrazvocnih

posnetkov jajcnikov. Jajcnik je del zenskih spolnih organov. Gre za zlezo, v kateri

nastajajo spolne zleze in hormoni. Najpomembnejsi sestavni del jajcnika so jajcni

mesicki (folikli), ki predstavljajo tudi podrocje nasega zanimanja pri poravnavanju

ultrazvocnih posnetkov jajcnikov.


Slika 5: Ultrazvocni posnetek jajcnika.

Slika 5 prikazuje ultrazvocni posnetek jajcnika. Jajcni mesicki so na sliki 5 pred-

stavljeni kot jasno razvidna ovalna crna obmocja. Da bi razumeli, zakaj jajcni mesicki

na ultrazvocnih posnetkih tako izstopajo, moramo razloziti pojem ehogenosti. Ehoge-

nost nam pove, v koliksni meri se ultrazvocni valovi odbijajo od opazovanega tkiva. Z

ehogenostjo lahko opisemo lastnost tkiva. Ehogenost tkiv je na ultrazvocnem posnetku

predstavljena kot intenziteta osvetlitve opazovanih tkiv. Poznamo dve skrajnosti eho-

genosti. Hiperehogenost predstavlja izredno visoko stopnjo ehogenosti tkiv in se na

ultrazvocnem posnetku kaze kot belo obmocje, saj se ultrazvocni valovi od opazova-

nega tkiva odbijajo. Lep primer takega obmocja na ultrazvocnih posnetkih so ledvicni

kamni. Drugo skrajnost pa predstavlja hipoehogenost, ki se na ultrazvocnem posnetku

zaradi tkiv, ki prepuscajo ultrazvocne valove, kaze kot crno obmocje. Primer takega

tkiva so tekocinske ciste. Tudi za jajcne mesicke je znacilna visoka stopnja hipoehoge-

nosti, zato so na ultrazvocnih posnetkih jajcnikov zelo jasno razvidni, kar na podrocju

medicinske diagnostike z ultrazvokom s pridom izkoriscajo.

Ob opazovanju razlicnih ultrazvocnih posnetkov jajcnikov nas zanimajo predvsem

spremembe (deformacije, rast) teh mesickov. Z opazovanjem velikega stevila ultrazvoc-

nih posnetkov jajcnikov smo namrec ugotovili, da so spremembe jajcnih mesickov zelo

lokalne. Taka situacija se zato izkaze kot zelo primerna za preverjanje delovanja nasega

algoritma za poravnavo.

3 Poravnavanje slik

Poravnavanje slik je ena izmed osnovnih operacij pri obdelavi medicinskih posnetkov.

S poravnavanjem medicinskih posnetkov zelimo doseci, da se opazovane anatomske

strukture na vec posnetkih prekrijejo v enakih legah. S poravnavnjem si lahko poma-

gamo, ce na primer zelimo spremljati razvoj tkiv, tako da spremljamo zaporedne slike

opazovanih tkiv. Pri takem spremljanju se namrec srecujemo s problemom razlicnega

zornega kota posnetka (polozaj sonde se pri vsakem pregledu razlikuje) ter problemom

razlicnega casa zajemanja (med zajemom mine vec dni, v tem casu se opazovano tkivo

lahko spremeni).

Pri poravnavanju slik gre za postopek prekrivanja dveh (ali vec) slik, ki prikazu-

jeta podobno sceno, posneti pa sta ob razlicnih casih, iz razlicnih perspektiv ali pa sta

posneti z razlicnimi senzorji. Postopek bo opazovano (testno) sliko s pomocjo geome-

trijskih preslikav poravnal tako, da se bo ujemala z referencno sliko [9].

Privzemimo, da imamo dve sliki, ki ju zelimo poravnati. Sliko Ir imenujmo refe-

rencna slika, sliko It pa testna slika. Poravnavanje slik je po definiciji proces dolocanja

preslikave, ki sliko It spremeni v sliko It′ tako, da dosezemo cim boljse medsebojno uje-

manje med poravnano sliko It′ in referencno sliko Ir [10]. Preprost primer poravnave

je prikazan na sliki 6.

Slika 6: Enostaven primer poravnave slik: Ir je referencna slika, It je testna slika, It′

je poravnana testna slika.

3.1 Postopki za poravnavo slik

Poznamo razlicne postopke za poravnavo slik [8, 10], ki se med seboj razlikujejo po

razlicnih lastnostih. Delitev in opis postopkov si bomo pogledali v nadaljevanju.

11

Poravnavanje slik 12

Razseznost

Poravnave lahko delimo glede na razseznost podatkov, s katerimi upravljamo. Ce

smo omejeni na prostorske dimenzije, sta najpogostejsi poravnavi dvodimenzionalna

(2D/2D), torej poravnava dvodimenzionalnih slik, ter tridimenzionalna (3D/3D), to-

rej poravnava tridimenzionalnih slik. Poznamo tudi poravnavo dvodimenzionalne na

tridimenzionalno sliko (2D/3D).

Kot dimenzijo pa lahko vkljucimo tudi cas. Tukaj imamo v mislih cas, ki pretece

med zajetjem poravnavanih slik. Ce se preselimo v svet medicine, se taka vrsta porav-

nave uporablja na primer pri rasti kosti pri otrocih (dolg interval med zajemom slik),

spremljanju rasti tumorja (srednje dolg interval), nadzoru delovanja srca (kratek in-

terval) ali pa opazovanju potovanja diagnosticne pilule po krvnem obtoku (zelo kratek

interval).

Oslonilna informacija

Vrste poravnav lahko locimo tudi glede na uporabo oslonilne informacije. Vrsta oslo-

nilne informacije pove, ali pri poravnavi uporabljamo zunanje oznake na posnetkih, ali

pa uporabljamo informacijo, ki je vsebovana v slikah. Pri prvi se uporabljajo zunanje

oznacbe (npr. znacke). Poravnave, ki uporabljajo informacijo, vsebovano v slikah, pa

delimo na poravnave, ki poravnavajo znacilne slikovne tocke, segmentirana obmocja ali

neobdelane sivinske posnetke.

Vrsta preslikave

Poravnavo lahko delimo glede na to, kaksno vrsto geometrijskih preslikav uporabljamo.

Geometrijska preslikava α slike I v sliko I ′ je dolocena z bijektivno preslikavo vsake

tocke (x, y) na sliki I v tocko (x′, y′) na sliki I ′[11]:

(x′, y′) = α(x, y). (1)

Geometrijska preslikava je lahko toga, afina, projekcijska ter krivocrtna. Vrste po-

ravnav glede na geometrijske preslikave so prikazane na sliki 7. Za togo poravnavo je

znacilno, da uporablja samo premik in zasuk slike. Ce poravnava vzporedne premice

preslika v vzporedne premice, potem govorimo o afini poravnavi. Poravnavi, ki premice

preslika v premice, pravimo projekcijska poravnava. Pri do sedaj nastetih poravnavah

so vse preslikave dolocene s parametri (preslikavo pri togi poravnavi lahko opisemo s

tremi parametri v dvodimenzionalnem in sestimi parametri v tridimenzionalnem pro-

storu).


Najbolj splosna poravnava je krivocrtna, ki lahko vsako premico preslika v krivu-

ljo. Tukaj govorimo o elasticni (netogi) poravnavi. Ker bomo elasticno poravnavo

uporabili pri izvedbi nasega algoritma za poravnavanje, jo bomo podrobneje opisali v

nadaljevanju tega poglavja.

Slika 7: Vrste poravnav slik glede na razlicne geometrijske preslikave.

Podrocje preslikave

Preslikava se imenuje globalna, ce vpliva na celotno sliko (slika 8), ter lokalna, ce so

za posamezna podpodrocja slike dolocene lastne preslikave, ki so med seboj neodvisne.

Ker pricakujemo, da bo rezultat lokalne poravnave zvezen, moramo nezveznost v na-

slednjem koraku odpraviti z interpolacijo ali glajenjem (slika 9). Izkaze se, da pri togih


in afinih preslikavah gre za globalno poravnavo, o lokalni poravnavi pa lahko govorimo

pri uporabi krivocrtne preslikave.

Slika 8: Globalna poravnava slike.

Slika 9: Lokalna poravnava slike.

Interakcija z uporabnikom

Pri razlicnih algoritmih za poravnavo slik se pojavljajo trije nivoji interakcije. Prva je

avtomatska, kjer uporabnik racunalniskemu sistemu posreduje kvecjemu informacije o

postopku za zajem slike. Pri interaktivnih metodah uporabnik sam izvede potrebne

postopke poravnave ob podpori sistema, ki uporabniku nudi vizualno ali stevilcno oceno

trenutne poravnave. Pri polavtomatskih metodah pa mora uporabnik bodisi poskrbeti

za inicializacijo parametrov (npr. s segmentacijo podatkov) bodisi krmiliti algoritem

(npr. sprejemati ali zavracati predlagane resitve, ki jih je predlagal algoritem).

Postopek optimizacije

Parametre, ki se uporabljajo za izracun poravnave, lahko izracunamo analiticno, lahko

pa jih poiscemo s pomocjo optimizacijskih postopkov, kar pomeni iskanje optimuma

ocenitvene funkcije, ki je definirana s parametri. Analiticni izracun uporabljamo, kadar

uporabljamo manjse stevilo podatkov. Optimizacijski postopki pa delujejo z vecjim

stevilom parametrov, katerih stevilo je odvisno od vrste preslikave.

Modalnost podatkov

Glede na modalnosti podatkov locimo stiri razrede poravnave medicinskih slik. Pri eno-

modalni poravnavi izvajamo poravnavo z enomodalnimi slikami, npr. ultrazvok (UZ),

magnetna resonanca (MR) in racunalniska tomografija (CT). Pri vecmodalni poravnavi

pa gre za poravnavo slik, ki vsebujejo dve razlicni modalnosti, npr. UZ–CT, UZ–MR ali

CT–MR. Pri poravnavi slike z modelom in poravnavi slike s pacientom je prisotna ena

slika, kateri je nato treba dolociti lego v koordinatnem sistemu opazovanega objekta (v

prvem primeru je objekt model, v drugem pa pacient).

3.2 Elasticno poravnavanje slik

Elasticno poravnavanje slik je postopek, ki temelji na fizikalnih zakonih deformabilnih

teles [10]. Poravnana slika je tako modelirana kot objekt, ki ga deformiramo s pomocjo

zunanjih sil. Te deformacije potekajo tako, da se opazovana deformirana slika cim bolj

prilega referencni sliki.

Privzemimo, da imamo dve sliki, ki ju zelimo poravnati, in sicer referencno sliko Ir

ter testno sliko It. Sliko It zelimo deformirati tako, da se bo cim bolj ujemala s sliko Ir.

Tako pridobljeno sliko imenujmo It′. V splosnem sta sliki dvodimenzionalna objekta,

predstavljena s piksli. Sliki sta predstavljeni z enotnim koordinatnim sistemom, v

katerem ima vsak piksel lego doloceno z vektorjem x = [x, y]T . Z deformacijo se vsak

piksel na tej sliki premakne za neki vektor u(x) = [ux(x), uy(x)]T (slika 10). Vsak

piksel na deformirani sliki je torej dolocen z naslednjo enacbo [10]:

x′ = x + u(x). (2)

Slika 10: Premik izbranega piksla x za vektor u(x).

15


Postopek elasticnega poravnavanja slik

Da dobimo sliko It′, sliko It deformiramo s preslikavo, ki jo predpisuje funkcija u(x).

Omenjeno funkcijo imenujemo funkcija premikov. Rezultat te funkcije v dvodimenzio-

nalnem prostoru predstavljata matriki ux in uy. Ti matriki se imenujeta polje premikov

(displacement field). Prva predstavlja premik za posamezne piksle v smeri x, druga

pa v smeri y. Na podlagi ujemanja referencne slike Ir ter deformirane slike It′ nato

dolocimo funkcijo zunanjih sil [10]. Te sile namrec vodijo k izboljsanju ujemanja slik,

kajti z njihovo pomocjo izracunamo novo preslikavo u(x). Postopek elasticne poravnave

je namrec iterativen in z delovanjem zunanjih sil rezultat konvergira proti optimalnemu

ujemanju slik.

Postopek elasticnega poravnavanja se izvaja s pomocjo algoritma za elasticno po-

ravnavanje. V nadaljevanju je predstavljena njegova zgradba.

Zgradba algoritma za elasticno poravnavanje

Algoritem za elasticno poravnavanje je v splosnem zgrajen iz treh sestavnih delov [12]:

a) mera podobnosti pove, kako dobro se dve sliki ujemata,

b) model preslikave (transformation model) pove, na kak nacin (s kaksno preslikavo)

predstavimo testno sliko, da bi dosegli njeno ujemanje z referencno sliko. Tako

preslikavo predstavlja mnozica numericnih parametrov (deformacijski parametri);

c) optimizacijski proces s spreminjanjem vrednosti parametrov modela preslikave

isce najboljse ujemanje referencne in testne slike, ki je doloceno glede na upora-

bljen kriterij mere podobnosti.

Sledi predstavitev posameznih sestavnih delov algoritma in pregled razlicnih po-

stopkov za elasticno poravnavanje slik.

3.3 Mere podobnosti

Ocenjevanje podobnosti med referencno in deformirano testno sliko predstavlja enega

izmed bistvenih korakov pri elasticnem poravnavanju posnetkov. Izbira mere podob-

nosti ima zelo velik vpliv na rezultate poravnavanja. Mocno je povezana z razlicnimi

lastnostmi slik, ki jih poravnavamo [10]. Med te spadajo velikost slik, prisotnost svetlo-

stnih nehomogenosti na slikah, svetlostno lezenje ter modalnost. Izbira ustrezne mere

podobnosti pa je odvisna tudi od samega postopka poravnavanja, kjer je potrebno

upostevati vpliv lokalnosti poravnave, proznosti modela deformacij, optimizacijske me-

tode in zahtevane natancnosti resitve.


Privzemimo, da Ir predstavlja referencno sliko, It predstavlja testno sliko, It′ pa

naj predstavlja poravnano testno sliko. Rekli smo, da s postopkom poravnavanja slik

iscemo tako transformacijo, ki vrne najboljsi rezultat poravnave slik It′ s sliko Ir.

Pricakujemo, da funkcija mere podobnosti, ki podaja odvisnost podobnosti primerjanih

slik od deformacijskih parametrov, pri tej transformaciji doseze globalni ekstrem [10].

Funkcije mere podobnosti pa imajo ob globalnem ekstremu se kup lokalnih ekstremov,

ki ne ustrezajo optimalni poravnavi, lahko se pa zgodi, da je rezultat v tem primeru celo

nepravilen. Izogibanje lokalnim ekstremom dosezemo s pravilno izbiro parametrov, ki

opisujejo delovanje optimizacijskega algoritma. Ali bomo kot ekstrem iskali maksimum

ali minimum funkcije mere podobnosti, pa zavisi od zacetnih parametrov deformacije.

Postopke za elasticno poravnavanje v smislu uporabe mere podobnosti lahko raz-

delimo na [12]:

a) geometrijske pristope in

b) pristope z upostevanjem intenzitete svetlosti.

Geometrijski pristopi na obeh opazovanih slikah zgradijo model s paroma eksplici-

tno dolocenimi anatomskimi elementi. Med te elemente ponavadi spadajo funkcionalno

pomembna slikovna obmocja, krivulje in slikovne tocke. S tem je ze definirana presli-

kava iz ene slike v drugo. Gre torej za slike, katerim dolocimo strukturne informacije.

Uporaba taksnih strukturnih informacij zagotavlja, da ima taksna preslikava biolosko

pravilnost.

Za nas bolj zanimivi pa so pristopi z upostevanjem intenzitete svetlosti. Pristopi

z upostevanjem intenzitete pri ocenjevanju podobnosti iscejo ujemanje vzorcev na pri-

merjanih slikah z uporabo matematicnih in statisticnih kriterijev. Omenjeni postopki

dolocajo mero podobnosti med referencno in poravnano testno sliko in s spreminjanjem

deformacijskih parametrov skusajo mero podobnosti maksimizirati. Predpostavlja se

namrec, da si bosta primerjani sliki ob pravilni poravnavi najbolj podobni. V nada-

ljevanju si bomo pogledali nekaj najbolj pogosto uporabljenih mer podobnosti, ki se

uporabljajo pri pristopih poravnavanja z upostevanjem intenzitete svetlosti [10, 12].

Vsota kvadratov razlik

Najenostavnejso mero podobnosti predstavlja vsota kvadratov razlik (sum of squared

differences). Zaradi majhne casovne zahtevnosti je pogosto uporabljena. Primerna je

za poravnavanje slik, ki so enako svetle in imajo enak kontrast. Predstavljena je z

naslednjo enacbo:

SSD =∑

x∈I

(Ir(x) − It′(x))2, (3)


kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x pa predstavlja

izbran piksel na sliki. Ponekod zasledimo tudi uporabo povprecja kvadratov razlik.

Povprecje kvadratov razlik predstavlja mero podobnosti, dobljeno z zmnozkom SSD

in faktorjem 1N

, kjer N predstavlja stevilo pikslov na slikah. Identicni sliki imata

koeficient SSD enak nic, v nasprotnem primeru pa velja, da manj kot sta si sliki

podobni, vecji je koeficient SSD.

Absolutna razlika

Tudi absolutna razlika (absolute difference) je zelo enostavna mera podobnosti, ki je

zelo podobna meri, katero predstavlja vsota razlik kvadratov. Edina razlika med njima

je v nelinearnosti, ki je uporabljena pri vsoti razlik kvadratov. V tem primeru absolutna

vrednost nadomesca kvadriranje. Tudi ta metoda je primerna za slike, ki so enako svetle

in imajo enak kontrast. Absolutna razlika je predstavljena z naslednjo enacbo:

AD =∑

x∈I

|Ir(x) − It′(x)|, (4)


izbran piksel na sliki. Tudi v tem primeru ponekod zasledimo uporabo povprecne

absolutne razlike. Povprecno absolutno razliko dobimo, ce koeficient AD delimo z N ,

ki predstavlja stevilo pikslov na opazovanih slikah. Tudi pri absolutni razliki velja,

da imata identicni sliki koeficient AD enak 0, v nasprotnem primeru pa ob padanju

podobnosti koeficient AD raste.

Standardni odklon razlike med slikama

Standardni odklon razlike med slikama (standard deviation of image difference) oce-

njuje razprsenost odstopanj intenzitet svetlosti istoleznih pikslov. Omenjena mera

podobnosti je predstavljena z naslednjo enacbo:

SDI =

√

1

N

∑

x∈I

(Ir(x) − It′(x) − (Ir − It′))2, (5)

kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x predstavlja izbran

piksel na sliki, Ir − It′ pa predstavlja povprecno vrednost razlik intenzitet svetlosti med

slikama Ir in It′. Ta mera podobnosti je obcutljiva na konrast, ne pa tudi na razlicne

svetlosti pri slikah. Tudi pri tej meri podobnosti velja, da imata identicni sliki koeficient

SDI enak 0, v nasprotnem primeru pa ob padanju podobnosti koeficient SDI raste.


Standardni odklon histograma razlike med slikama

Mera standardnega odklona histograma razlike med slikama (standard deviation of

image difference histogram) je povsem podobna meri standardnega odklona razlike med

slikama. Razlika med njima je le v nacinu izracuna. Standardni odklon histograma

razlik med slikama je dolocen z naslednjo enacbo:

SDI =

√√√√

iMAX∑

i=−iMAX

i2Ni(Ir − It′), (6)

kjer Ni(Ir−It′) predstavlja stevilo parov istoleznih pikslov z razliko med intenzitetami

i.

Deterministicna sprememba predznaka

Deterministicna sprememba predznaka (deterministic sign change) je mera podobnosti,

kjer opazujemo stevilo sprememb predznaka razlike med slikama, kateremu je pristet

dodatni periodicni vzorec s periodo 2 in amplitudo p [10]. To mero podobnosti dejansko

predstavlja delez istoleznih pikslov, za katere je razlika intenzitet manjsa od p. Tako

nam v bistvu pove, koliksen delez slike se na histogramu razlike med slikama nahaja

na podrocju od −p do p.

Korelacijski koeficient

Korelacijski koeficient (correlation coefficient) je ena izmed mer podobnosti, ki se naj-

bolj pogosto uporabljajo. Izhaja iz teorije obdelave signalov. Pri uporabi te mere

podrobnosti domnevamo, da imata poravnavani sliki linearno odvisne nivoje inten-

zivnosti in da so podrocja zanimanja v celoti prikazana na slikah. Slabost te mere

podobnosti je zaradi povecane racunske zahtevnosti nekoliko vecja casovna zahtevnost.

Korelacijski koeficient se izracuna s pomocjo naslednje enacbe:

CC =

∑

x∈I(Ir(x) − Ir)(It′(x) − It′)√

∑

x∈I(Ir(x) − Ir)2∑

x∈I(It′(x) − It′)2

, (7)

kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x predstavlja izbran

piksel na sliki, Ir in It′ pa predstavljata povprecni svetlosti referencne in transformirane

testne slike.


Korelacijsko razmerje

Pri korelacijskem razmerju (correlation ratio) gre za zelo podoben princip, kot je upo-

rabljen pri korelacijskem koeficientu. Pri uporabi korelacijskega razmerja domnevamo,

da med slikama obstajajo funkcionalne odvisnosti. Korelacijsko razmerje je doloceno z

naslednjo enacbo:

η = 1 −1

Nσ2

∑

i

Niσ2i , (8)

kjer je

σ2 =1

N

∑

x∈I

It′(x)2 − m2, m =1

N

∑

x∈I

It′(x) (9)

in

σ2i =

1

Ni

∑

x∈Ir(x)=i

It′(x)2 − m2i , mi =

1

Ni

∑

x∈Ir(x)=i

It′(x). (10)


izbran piksel na sliki. Tudi za to mero podobnosti je znacilna nekoliko vecja racunska

in casovna zahtevnost. Je pa ta mera podobnosti, podobno kot korelacijski koeficient,

neobcutljiva na razlike v svetlosti in kontrastu slik.

Poravnave, ki temeljijo na meri podobnosti z upostevanjem intenzitet svetlosti slik,

iscejo ustrezno ujemanje vzorcev na poravnavanih slikah. Z razliko od geometrijskega

pristopa tukaj ne uporabljamo poznavanja anatomije in dolocanja zanimivih regij, am-

pak na sliko gledamo kot celoto. Obstajajo pa tudi ze robustnejsi postopki, nekaksni

hibridni algoritmi, ki poravnavajo slike s pomocjo geometrijskega pristopa in tudi pri-

stopa z upostevanjem intenzitet svetlosti slik in skusajo izkoristiti prednosti obeh pri-

stopov.

Zaradi zasnove algoritma, ki ga bomo predstavili v okviru te diplomske naloge,

so zaradi primerjave za nas najbolj zanimive mere podobnosti, ki temeljijo na opazo-

vanju celotne slike, zato smo jih v tem podpoglavju nekoliko podrobneje predstavili.

Pri algoritmu, ki smo ga zgradili v okviru te diplomske naloge, smo namrec uporabili

prav posebno mero podobnosti. Mero podobnosti bomo v nadaljevanju poimenovali

kar ocenitvena funkcija. Omenjena ocenitvena funkcija temelji na lokalno nespremen-

ljivi povprecni vrednosti svetlosti pegastega suma. Pegasti sum smo spoznali v pod-

poglavju 2.5, analiticna izpeljava uporabljene ocenitvene funkcije pa je prikazana v

podpoglavju 5.2. Domnevali smo, da bi uporaba omenjene ocenitvene funkcije prinesla

kar nekaj prednosti, predvsem pri ucinkovitosti poravnavanja, zato smo v sklopu rezul-

tatov poskusov poravnavanja v podpoglavju 6.12 primerjali ucinkovitost poravnavanja

z omenjeno ocenitveno funkcijo ter ocenitveno funkcijo vsote kvadratov razlik (SSD).


3.4 Model preslikave

Model preslikave definira nacin predstavitve deformacije testne slike, ki jo skusamo

poravnati z referencno sliko [12]. Opisuje tip in stevilo mogocih deformacij. Prvo

pomembno lastnost modela preslikave predstavlja nacin, kako z deformacijo relativno

priblizati testno sliko k referencni, tako da bi dosegli cim boljse ujemanje, drugo po-

membno lastnost pa predstavlja uporaba interpolacije, s pomocjo katere lahko eno-

stavno opisemo deformacijski model. Postopke za elasticno poravnavanje lahko glede

na model preslikave (deformacije) delimo na naslednji nacin [13]:

a) modeli preslikave z uporabo prosto oblikovanih deformacij (free form deformati-

ons) in

b) modeli preslikave z uporabo bazicnih funkcij (basis functions).

Pri prosto oblikovanih deformacijah gre za model preslikave, kjer deformacijo opise-

mo s pomocjo vektorskega polja premikov, ki je enakih dimenzij kot sta poravnavani

sliki. Poljubno izbranemu pikslu na sliki pripada istolezni element vektorskega polja,

ki predstavlja novo lokacijo izbranega piksla. Ker se nahajamo v dvodimenzionalnem

prostoru, je vsak piksel predstavljen z dvema prostostnima stopnjama. Pri prosto

oblikovanih deformacijah je zahtevana diskretna in eksplicitna regularizacija modela,

interpolacija in odvajanje pa morata biti izvedena numericno.

Modele preslikave z uporabo bazicnih funkcij lahko delimo glede na podrocje defor-

macij:

a) globalne deformacije, ki so lahko izvedene z uporabo polinomov, Gaussove funk-

cije, “thin-plate” zlepki itd., ter

b) lokalne deformacije, ki so lahko izvedene z uporabo B-zlepkov, valckov, itd.

Za postopke poravnavanja, ki uporabljajo bazicne funkcije, je znacilno, da je stevilo

prostostnih stopenj doloceno z parametrizacijo. Za te postopke je zaradi zveznosti

znacilna lokalna gladkost resitve. Zveznost je namrec ena izmed pomembnejsih lastnosti

bazicnih funkcij. Interpolacija in odvajanje sta v primeru uporabe bazicnih funkcij

izvedena analiticno. V tem primeru gre torej za analiticni model preslikave.

Predstavitev modela z zlepki je ena najpomembnejsih in najpogosteje uporablje-

nih modelov preslikav pri postopkih za elasticno poravnavanje slik. Uporaba zlepkov

v vseh mogocih oblikah elasticnega poravnavanja se uporablja ze dobrih 15 let. Za

postopke poravnavanja slik, ki pri poravnavanju uporabljajo zlepke, je znacilno, da

preslikavo opisemo z mnozico deformacijskih parametrov (v smislu zlepkov deformacij-

skim parametrom pravimo kontrolne tocke). Deformacijo, ki jo opisujejo deformacijski

parametri, pa izracunamo s pomocjo bazicne funkcije zlepkov.


V nadaljevanju sledi pregled najpopularnejsih postopkov za netogo poravnavanje

slik glede na model preslikave [14].

Ujemanje blokov

Postopek, imenovan ujemanje blokov je en izmed pristopov za netogo poravnavo slik.

Pri poravnavanju na opazovani sliki polozimo mrezo kontrolnih tock, katere predsta-

vljajo sredisca manjsih oken, imenovanih bloki. S pomocjo teh blokov, opazovani sliki

lokaliziramo. Lokalizacijo slike nato prevedemo na problem maksimizacije kriterija

lokalne podobnosti. Predpostavljamo namrec, da je mnozica blokov na eni sliki pred-

stavljena z bijektivno preslikavo blokov na drugi sliki. Z drugimi besedami povedano

je zaradi deformacij na slikah prislo do premika nekaterih blokov, ki pa seveda niso po-

polnoma enaki, zato moramo upostevati kriterij lokalne podobnosti. Nas cilj je odkriti

te premike blokov in na podlagi teh premikov zgraditi polji vektorjev premikov, s cimer

bomo opisali deformacijsko funkcijo. Ker so premiki blokov na poravnani sliki precej

ostro vidni, nad poravnano sliko izvedemo konvolucijo z uporabo Gaussove funkcije z

namenom, da dosezemo glajenje slike.

Postopek poravnavanja z uporabo “thin-plate” zlepkov

Eden izmed postopkov za poravnavanje, ki za svoje delovanje uporabljajo zlepke, pred-

stavlja postopek, realiziran s pomocjo modela, ki uporablja tako imenovane “thin-

plate” zlepke. V tem primeru gre za postopke, za katere je znacilna globalna deforma-

cija slike. Pri modelu preslikave z omenjenimi zlepki si lahko sliko predstavljamo kot

tanko kovinsko plosco, kar je razvidno ze iz imena. Deformacija slike se namrec odraza

podobno, kot da bi skusali deformirati (pregibati, zvijati) tanko kovinsko plosco. Tudi

v tem primeru deformacijo predstavimo s kontrolnimi tockami. Vsaka kontrolna tocka

ima globalni vpliv na celotno transformacijo. Ce, recimo, samo za malenkost spreme-

nimo polozaj ene izmed njih, se posledicno spremenijo vse tocke v deformirani sliki.

To se izkaze kot slabost pri uporabi tega postopka, saj omejuje modeliranje komple-

ksnejsih in lokalnih deformacij, izkaze pa se tudi, da ob povecanju stevila kontrolnih

tock strmo naraste cas racunanja pri spremembi posamezne kontrolne tocke.

Postopek poravnavanja z uporabo valcne transformacije

Valcki so matematicne funkcije, s pomocjo katerih neko funkcijo oziroma zvezni signal

predstavimo kot frekvencne komponente. Posamezna frekvencna komponenta je pred-

stavljena z locljivostjo, ki je odvisna od obsega te komponente. Pri valcni transformaciji

gre torej pravzaprav za dekompozicijo signala na frekvencne komponente.


Enostavnejsi primer poravnavanja s pomocjo valcne transformacije predstavlja upo-

raba standardne diskretne valcne transformacije [15], kjer s pomocjo valcne dekompozi-

cije dobimo stiri interpolirane podpasovne slike (subband images), imenovane LL, LH,

HL in HH. V nasprotju s preostalimi tremi slikami, ki vsebujejo razlicne znacilnosti,

kot so robovi, raje uporabimo sliko LL, na kateri se nahajajo predvsem informacije, ki

nas najbolj zanimajo, to so anatomske strukture, vrednosti intenzitet, ipd.

Prednosti valcne transformacije so, da se po dekompoziciji ohranijo anatomske la-

stnosti, prikazane na medicinskih slikah, prednost pa je tudi v tem, da uporaba valckov

ne zamegli slike pri multiresolucijskem poravnavanju. Multiresolucijsko poravnava-

nje je postopek poravnavanja, kjer poravnavanje tece v vec nivojih, od najnizjega do

najvisjega, kjer posamezni nivo predstavlja locljivost poravnave.

Kljub vsemu pa se izkaze, da utegne biti postopek za poravnavanje z uporabo

valckov manj ucinkovit od postopkov za poravnavanje, ki uporabljajo B-zlepke (pred-

vsem v smislu casovne zahtevnosti) [17].

Postopek poravnavanja z uporabo B-zlepkov

Pristop k poravnavanju z uporabo B-zlepkov je eden najpogosteje uporabljanih pri

postopkih za elasticno poravnavanje. V nasprotju z “thin-plate” zlepki je za B-zlepke

znacilno, da so definirani v okolici kontrolnih tock. V kolikor spremenimo eno izmed

vrednosti kontrolnih tock, ta sprememba vpliva samo na deformacijo v okolici spreme-

njene tocke in ne na celotno sliko, kot pri “thin-plate” zlepkih. Pri B-zlepkih gre torej

za postopek, za katerega je znacilna lokalna deformacija slike.

Prednosti postopkov poravnavanja, ki uporabljajo B-zlepke, so njihova splosna pri-

mernost za poravnavanje razlicnih tipov medicinskih slik, jasnost rezultatov in racunska

ucinkovitost. Njihova glavna slabost pa je, da za ucinkovito poravnavanje v dolocenih

primerih potrebuje posebne mere podobnosti, ki preprecujejo zvijanje oziroma vr-

tincenje deformacijskega polja. V teh primerih je take mere zelo tezko uveljaviti pri

poravnavanju z nizko locljivostjo (gostejso mrezo deformacijskih parametrov).

B-zlepke smo zaradi njihovih pozitivnih lastnosti uporabili tudi pri postopku za

elasticno poravnavanje, ki je bil zgrajen v okviru te diplomske naloge. B-zlepki so

podrobneje opisani v podpoglavju 4.1, v poglavju 5 pa je predstavljena njihova uporaba

v okviru razvitega postopka za poravnavanje.

3.5 Optimizacijski postopek

S pomocjo postopka optimizacije [12] postopek za poravnavanje slik s pomocjo spremi-

njanja deformacije (recimo vrednosti kontrolnih tock) postopoma povecuje podobnost


poravnavanih slik. Dober optimizacijski postopek zanesljivo in hitro najde najboljso

mozno deformacijo. Izbira dobrega optimizacijskega postopka zahteva dobro poznava-

nje problema poravnavanja, njegove omejitve in dobro poznavanje numericne analize.

Pri netogi (elasticni) poravnavi se izbira ali zasnova novega optimizacijskega postopka

izkaze za tezavno nalogo, kajti bolj kot je model preslikave fleksibilen, vec deformacij-

skih parametrov je potrebnih za njegov opis. S stalisca optimizacije to pomeni, da se

poveca cas za iskanje ustrezne resitve, vecja verjetnost pa je tudi, da bomo pri optimi-

zaciji padli v lokalni minimum in tako kot rezultat poravnave dobili sliko, ki bo sicer

ustrezna, vendar pa ne bo predstavljala najboljse mozne resitve.

Obstaja veliko optimizacijskih postopkov, s pomocjo katerih lahko izvajamo porav-

navo slik. Kot smo ze omenili, je izbira najucinkovitejsega optimizacijskega postopka

ena izmed tezjih korakov pri zasnovi postopka za elasticno poravnavanje slik. Za posto-

pek, ki smo ga zgradili v okviru te diplomske naloge, smo glede na priporocilo avtorjev

v [16] izbrali optimizacijski postopek, imenovan L-BFGS-B. Omenjen optimizacijski

postopek je natancneje predstavljen v sekciji 4.2.

4 Orodja, potrebna za izvedbo algoritma za ela-

sticno poravnavanje slik

V podpoglavju 3.2 smo spoznali, da je algoritem za elasticno poravnavanje slik zgrajen

iz treh delov. Algoritem za elasticno poravnavanje ima tako doloceno ocenitveno funk-

cijo, model preslikave in optimizacijski algoritem. Rekli smo tudi, da algoritem, ki smo

ga razvili v okviru te diplomske naloge, podobnost poravnavanih slik ocenjuje z oce-

nitveno funkcijo, ki temelji na nespremenljivi povprecni vrednosti svetlosti pegastega

suma. Model preslikave tega algoritma je dolocen z B-zlepki, za optimizacijo pa bomo

uporabili optimizacijski algoritem L-BFGS-B. To poglavje je namenjeno natancnejsi

predstavitvi orodij, ki smo jih potrebovali za izvedbo algoritma za elasticno poravna-

vanje. Da bi lahko model preslikave predstavili z B-zlepki, moramo najprej B-zlepke

podrobneje predstaviti. Prav tako moramo podrobneje predstaviti tudi optimizacij-

ski algoritem L-BFGS-B, ce zelimo izvajati ucinkovito optimizacijo, ki predstavlja zelo

pomemben korak pri elasticnem poravnavanju slik.

4.1 B-zlepki

Beseda zlepek (spline) v angleskem jeziku pomeni dolg fleksibilni kovinski trak, ki se

uporablja pri izdelavi ladijskih in letalskih elementov. Tak trak je mogoce zvijati in

tako interpolirati zelene oblike [19]. Ce to analogijo prenesemo v matematicni model,

lahko zlepke uporabimo za opis krivulj ali pa z njihovo pomocjo opravimo interpolacijo,

v nasem primeru interpolacijo slike (poglavje 4.1.1).

Zlepki so po definiciji spojeni polinomi, sestavljeni iz kosckov (polinomov), ki so

med seboj gladko povezani [20]. Sticisca teh polinomov se imenujejo vozlisca (knots).

Za zlepek stopnje n velja, da je vsak njegov odsek opisan s polinomom stopnje n, kar

nas napelje k razmisljanju, da potrebujemo n + 1 koeficientov za opis posameznega

odseka. Vendar moramo upostevati se dodadno omejitev zaradi gladkosti. Ta omejitev

nam v vozliscih zagotavlja zveznost zlepkov ter njihovih odvodov vse do reda n − 1,

tako da imamo v praksi v vsakem odseku zgolj eno prosto stopnjo.

Za resitev nasega problema popolnoma zadostuje, ce uporabimo zlepke z unifor-

mnimi vozlisci in enotno razdaljo med njimi. Ob upostevanju teh dveh lastnosti lahko

B-zlepke (predpona B pomeni basis) opisemo z naslednjo enacbo [20]:

s(x) =∑

k∈Z

b(k)βn(x − k), (11)

kjer so b(k) kontrolne tocke B-zlepkov, βn(x) pa je bazicna funkcija zlepkov stopnje n.

25

Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 26

B-zlepki, ki jih bomo uporabili, so simetricne funkcije, ki imajo obliko zvona. B-zlepke

stopnje n dobimo s pomocjo konvolucije pulza β0:

βn(x) = β0 ∗ β0 ∗ . . . ∗ β0

︸︷︷︸

n+1

(x), (12)

kjer je pulz β0 predstavljen z naslednjo enacbo:

β0(x) =

1, −12

< x < 12

12, |x| = 1

2

0, sicer

, (13)

njegov graf pa je prikazan na sliki 11.

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−0.5

0

0.5

1

1.5

x

β0 (x)

Slika 11: Bazicna funkcija β0(x).

B-zlepki so preprosti za uporabo. Tako lahko odvod izracunamo z naslednjo enacbo:

dβn(x)

dx= βn−1(x +

1

2) − βn−1(x −

1

2). (14)

Izracun odvoda tako zmanjsa stopnjo B-zlepkov za 1. Na podoben nacin lahko

izracunamo tudi integral.

∫ x

−∞

βn(x)dx =∞∑

k=0

βn+1(x −1

2− k). (15)


Izkaze se, da so v tej druzini zlepkov najbolj priljubljeni kubicni zlepki, verjetno

prav zaradi njihove lastnosti minimalne ukrivljenosti. Pogosto se uporabljajo pri viso-

kokvalitetni interpolaciji. In ravno kubicni zlepki so uporabljeni tudi v nasem algoritmu

za elasticno poravnavo, saj lahko diskretno sliko z njihovo pomocjo enostavno obrav-

navamo kot zvezno sliko. Funkcijo β3 predstavimo z naslednjo enacbo:

β3(x) =

23− |x|2 + |x|3

2, 0 ≤ |x| < 1

(2−|x|)3

6, 1 ≤ |x| < 2

0, 2 ≤ |x|

, (16)

graf te funkcije pa je prikazan na sliki 12.

−2.5 −2 −1.5 −1 −0.5 0 0.5 1 1.5 2 2.50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

x

β3 (x)

Slika 12: Bazicna funkcija β3(x).

Sedaj se pa preselimo iz enodimenzionalnega sveta in si oglejmo, kako s pomocjo

B-zlepkov predstavimo poljubno sliko.

4.1.1 Interpolacija slike

B-zlepke se da zelo enostavno razsiriti v visje dimenzije, in sicer z uporabo tenzor-

skega produkta bazicnih funkcij [20]. V splosnem lahko model B-zlepkov predstavimo

v n-dimenzionalnem prostoru, vendar se bomo tukaj zaradi podrocja nase uporabe

(obdelava slik) omejili na dvodimenzionalen prostor. V enacbo (11) lahko enostavno

vpeljemo dodatno dimenzijo (vpeljemo tenzorski produkt bazicnih funkcij). Enacba se


glasi takole:

f(x, y) =

(k1+K−1)∑

k=k1

(l1+K−1)∑

l=l1

b(k, l)β3(x − k)β3(y − l), (17)

kjer smo zaradi hitrejsega racunanja postavili omejitve pri vsotah, tako da se sestevajo

samo nenicelni elementi. V nasem primeru so koeficienti, ki dolocajo mejo, enaki

k1 = ⌈x − n+12⌉, l1 = ⌈y − n+1

2⌉ ter K = n + 1, kjer n predstavlja stopnjo B-zlepkov.

Tenzorski produkt dveh bazicnih funkcij kubicnih B-zlepkov je prikazan na sliki 13.

−2

−1

0

1

2

−2

−1

0

1

2

0

0.1

0.2

0.3

0.4

0.5

xy

β3 (x)β

3 (y)

Slika 13: Tenzorski produkt dveh bazicnih funkcij β3.

Poglejmo si, kako poteka interpolacija slike v nasem algoritmu. Privzemimo, da

imamo sivinsko sliko. Najprej je treba dolociti kontrolne tocke b(x, y). Teh je na-

tanko toliko, kolikor je pikslov na sliki. Torej pikslu (i, j) na sliki pripada natanko

ena kontrolna tocka b(i, j). Vrednost vsake kontrolne tocke je odvisna od intenzitete

istoleznega piksla. V enacbo (17) vstavimo pozicijo piksla (x, y), rezultat funkcije

f(x, y) pa predstavlja intenziteta tega piksla.

Z uporabo te enacbe in kontrolnih tock b lahko diskretno sliko opisemo kot zvezno.

Tako ima interpolirana slika v bistvu neskoncno locljivost, saj lahko za koordinato x in

y enacbe (17) vnesemo kakrsnikoli realni stevili, saj je pri poravnavi smisel, da nismo

omejeni na diskretne vrednosti pikslov (vzorcenje). Ce interpolirano sliko skusamo

povecati, ugotovimo, da povecana slika zaradi zveznih lastnosti kubicnih B-zlepkov

ostaja gladka (slika 14).


Slika 14: Stirikratna povecava ultrazvocnega posnetka dimenzije 121 x 103 pikslov.Na levi sliki je prikazana povecava s skaliranjem pikslov, na desni pa povecana slika,dobljena s pomocjo interpolacije.

4.2 Optimizacijski algoritem L-BFGS-B

Za optimizacijski postopek, ki ga je potrebno izbrati pri realizaciji algoritma za ela-

sticno poravnavanje, smo v nasem primeru izbrali optimizacijski postopek L-BFGS-B.

L-BFGS-B [21] je algoritem z omejeno porabo pomnilnika, katerega namen je resevanje

zahtevnih nelinearnih optimizacijskih problemov. Lahko resuje probleme z omejitvami

pri spremenljivkah, kakor tudi probleme brez omejitev. Ena prednosti te vrste op-

timizacijskega algoritma je, da za optimizacijo ni potreben izracun Hessove matrike.

Tako je zelo primeren za resevanje problemov, kjer je Hessovo matriko tezko izracunati,

izkaze se pa tudi pri resevanju zelo zgoscenih optimizacijskih problemov. Uporaba algo-

ritma za resevanje nasega problema je natancneje opisana v poglavju 5, v tem poglavju

bomo omenjeni optimizacijski algoritem predstavili v bolj splosni luci.

Kratica BFGS predstavlja postopek, na katerem temelji obravnavan algoritem.

Predstavlja zacetnice priimkov avtorjev optimizacijskega postopka (Broyden, Fletcher,

Goldfarb, Shanno), ki je izpeljan iz Newtonovega optimizacijskega postopka. Newtonov

optimizacijski postopek je eden izmed postopkov, ki delujejo po principu vzpenjanja

na hrib (hill climbing), ki isce stacionarno tocko ocenitvene funkcije, kjer je njen gra-

dient enak 0. Prva crka v kratici pove, da ima algoritem sposobnost omejitve porabe

pomnilnika (limited memory algorithm), zadnja crka v kratici pa pove, da lahko iskanje

optimuma omejimo s pomocjo mej (boundary).

Naloga optimizacijskega algoritma L-BFGS-B je minimizirati nelinearno funkcijo z


n spremenljivkami:

min f(x), (18)

kjer je x vektor, ki vsebuje n spremenljivk:

x = [x1, x2, . . . , xn]T . (19)

Vektor s spremenljivkami je lahko tudi omejen:

l ≤ x ≤ u, (20)

kjer vektorja l in u predstavljata vektorja s spodnjimi in zgornjimi mejami za posame-

zne spremenljivke v vektorju spremenljivk x.

V nadaljevanju je na kratko razlozen postopek delovanja algoritma L-BFGS-B [21].

Algoritem deluje iterativno. Na vsakem koraku iteracije se izracuna aproksimacija

Hessove matrike. Ta je v racunalniku poenostavljena zaradi omejitve pomnilnika in

je uporabljena za predstavitev ocenitvene funkcije f kot modela kvadratne funkcije

(oblika ax2 + bx + c). V naslednjem koraku se doloci smer iskanja, katero izracunamo

z dvostopenjskim pristopom. V prvi stopnji se s pomocjo projekcije gradienta doloci

nabor aktivnih spremenljivk, nato se v odvisnosti od prostih spremenljivk doloci pri-

blizek za minimizacijo ocenitvene funkcije, zapisane v kvadratni obliki. Iskalna smer

je tako definirana kot vektor, ki kaze iz trenutne iteracije proti pravkar izracunanemu

priblizku. V drugi stopnji se nato izvede linearno iskanje ob upostevanju izracunane

iskalne smeri. Ko je norma gradienta g dovolj majhna, se trenutna iteracija ustavi.

Optimum funkcije je najden po vec iteracijah, ko je absolutna vrednost razlik med

predhodno in trenutno iteracijo manjsa od konstante ε.

Prednosti optimizacijskega algoritma L-BFGS-B so:

a) napisana programska koda je enostavna za uporabo, algoritmu ni treba posredo-

vati niti Hessove matrike niti strukture ocenitvene funkcije,

b) pomnilniske omejitve algoritma nastavi uporabnik (kot parameter),

c) cena ene iteracije je relativno nizka in je popolnoma neodvisna od lastnosti oce-

nitvene funkcije. Ravno iz tega razloga je ta algoritem primeren za resevanje

problemov, kjer je Hessovo matriko tezko izracunati.

Ta algoritem pa ima tudi nekaj slabosti:

a) algoritem konvergira relativno pocasi proti resitvi, za zagotavljanje konvergence

pri tezjih primerih pride do velikega stevila ovrednotenj funkcij,


b) pri problemih, ki so zelo obcutljivi na majhne spremembe, je lahko dobljena

resitev nenatancna,

c) algoritem nima znanja o strukturi problema, zato je ne more uporabiti za po-

spesitev iskanja optimuma.

Algoritem L-BFGS-B [21] je napisan v programskem jeziku fortran 77, kjer je upo-

rabljena dvojna natancnost. Ker je algoritem za elasticno poravnavo slik napisan v

matlabu, smo kot most med fortranom 77 in matlabom uporabili vmesnik L-BFGS-B

za matlab [22]. S pomocjo tega vmesnika klicemo rutino, ki vrne optimiziran problem

na naslednji nacin:

x = lbfgsb(x0,l,u,’f’,’g’,auxdata,’callback’,maxiter,m,factr,pgtol)

.

V nadaljevanju so opisani parametri, ki jih mora uporabnik posredovati optimiza-

cijskemu algoritmu. Ob tem moramo poudariti, da bomo v nadaljevanju izraz matrika

obravnavali kot v matlabu, kar pomeni, da je matrika lahko tudi skalar oziroma vektor.

x predsatvlja matriko (lahko tudi polje matrik), ki vsebuje resitev optimizacijskega

problema. Je popolnoma enake dimenzije, kot parametri x0, l in u.

x0 je matrika (polje matrik), ki predstavlja zacetni priblizek resitve.

l predstavlja matriko (polje matrik) s spodnjimi mejami za posamezne spremenljivke.

Dimenzije mora imeti popolnoma enake kot x0.

u predstavlja matriko (polje matrik) z zgornjimi mejami za posamezne spremenljivke.

Dimenzije mora imeti popolnoma enake kot x0.

’f ’ predstavlja rutino, ki izracuna vrednost ocenitvene funkcije v trenutni tocki. Ta

rutina mora imeti natanko toliko vhodov, kot je dimenzija x0. Izhod mora biti

skalar, ki predstavlja vrednost ocenitvene funkcije, ovrednotene v trenutni tocki.

’g’ predstalja rutino, ki izracuna gradient ocenitvene funkcije v trenutni tocki. Vhod

ima popolnoma enak kot rutina ’f ’, kot rezultat pa mora vrniti natanko toliko

izhodov, kolikor je bilo vhodov.

auxdata predstavlja polje dodatnih parametrov, ki jih potrebujeta za izracun rutini

’f ’ in ’g’.

’callback’ je funkcija, ki je uporabnisko prirejena za izpis informacij ob vsaki iteraciji

optimizacijskega algoritma.


maxiter predstavlja maksimalno stevilo iteracij, ki se lahko izvede.

m je konstanta, ki predstavlja maksimalno stevilo korekcij. Te korekcije se uporabljajo

v matriki z omejitvijo pomnilnika.

factr je konstanta, ki mora biti manjsa od 0 in predstavlja natacnost resitve. Pove, za

kaksno vrednost se morata razlikovati sosednji iteraciji, da se optimizacija konca.

pgtol je konstanta, ki mora biti manjsa od 0. Z njo dolocimo, kdaj se bo koncala

trenutna iteracija, in sicer v odvisnosti od gradienta. To se bo zgodilo, ko bo

najvecja projekcija komponent gradienta manjsa od vrednosti pgtol.

5 Algoritem za elasticno poravnavanje s pomocjo

pegastega suma

Sedaj ko smo opremljeni s potrebnimi orodji, se lahko preselimo k izvedbi algoritma

za elasticno poravnavanje ultrazvocnih posnetkov.

5.1 Zasnova problema

Vzemimo, da imamo dve sliki, ki ju obravnavamo kot dva dvodimenzionalna diskretna

signala. Imenujmo ju fr(x) in ft(x). Prva oznaka naj predstavlja referencno sliko,

druga pa testno sliko. Pri tem je x ∈ I ⊂ Z2, I pa predstavlja dvodimenzionalni

diskretni interval, ki vsebuje mnozico vseh koordinat pikslov na sliki. Velja tudi, da je

testna slika geometrijsko deformirana razlicica referencne slike. To relacijo [18] opisemo

z enacbo (21):

fωt = f c

t (u(x)), (21)

kjer fωt predstavlja deformirano testno sliko, f c

t predstavlja zvezno predstavitev testne

slike, u(x) pa predstavlja deformacijsko funkcijo. To deformacijsko funkcijo bomo

poimenovali polje premika (displacement field). To poimenovanje smo izbrali zato, ker

vsak element na poziciji (i, j) tega polja predstavlja premik istoleznega piksla (i, j)

na sliki, ki jo bomo deformirali. Nas cilj je najti tako deformacijsko funkcijo (polje

premika), ki bo testno sliko deformirala tako, da se bo cim bolj prilegala referencni

sliki. Pricakujemo, da sliki fr(x) in ft(x) ne bosta popolnoma identicni, kajti to ni

mogoce zaradi suma, pa tudi prilagajanje slike definiramo z naslednjo minimizacijo

[18]:

u = arg minu∈U

E(fr, ft(u(x)), (22)

kjer U predstavlja prostor vseh deformacijskih funkcij u, E predstavlja kriterijsko funk-

cijo, ki jo bomo minimizirali, fr predstavlja intenzitete pikslov na referencni sliki ter

ft intenzitete pikslov na testni sliki. Na sliki 15 je prikazan diagram poteka za ta

algoritem.

5.2 Ocenitvena funkcija

Za ocenitev razlike med referencno in deformirano testno sliko bi lahko izbirali med

razlicnimi ocenitvenimi funkcijami. Temeljna zahteva je, da ima izbrana ocenitvena

funkcija E minimum takrat, ko sta sliki popolnoma poravnani. V nasem primeru z

ocenitveno funkcijo E iscemo najboljse prileganje slik s pomocjo primerjave povprecne

svetlosti pegastega suma.

33

Algoritem za elasticno poravnavanje s pomocjo pegastega suma 34

Vemo, da je nas cilj poiskati oceno polja premika u, ki ga bomo dobili s pomocjo

maksimizacije funkcije pogojne gostote verjetnosti [16]:

u = arg maxu

p(fr|ft,u). (23)

Ker sta referencna in testna slika pridobljeni z enakim postopkom za zajem slike, lahko

funkcijo p(fr|ft,u) izracunamo na naslednji nacin [16]:

p(fr|ft,u) =∏

x∈I

(fr(x)|fωt (x)), (24)

kjer fωt (x) predstavlja intenziteto piksla na lokaciji x zvezno opisane testne slike, katero

dobimo s pomocjo enacbe (21), fr(x) pa predstavlja intenziteto piksla na poziciji x

referencne slike.

Avtorji v [16] izhajajo iz enacbe (24) ter z uporabo dekorelacije pegastega suma

pridejo do trditve, da je funkcijo p(fr|ft,u) moc zapisati na naslednji nacin:

p(ft|fr,u) =∏

x∈I

2 exp(2(fωt (x) − fr(x)))

(exp(2(fωt (x) − fr(x))) + 1)2

. (25)

S pomocjo te enacbe lahko dolocimo premik med dvema slikama, in sicer tako, da

poiscemo maksimum te funkcije. Avtorji v [16] so enacbo (25) s pomocjo normalizirane

negativne verjetnostne funkcije (likelihood) izpeljali ocenitveno funkcijo E, ki se glasi

takole:

E = Λ(u) ≡1

N

∑

x∈I

(ln(exp(2r(x)) + 1) − r(x)), (26)

kjer je r(x) = fωt (x) − fr(x), N pa predstavlja stevilo vseh pikslov na sliki. Maksimi-

zacija enacbe (25) predstavlja iskanje minimuma zastavljenega problema in se glasi:

u = arg minu

Λ(u). (27)

5.3 Deformacijski model

Nas cilj je izracunati ustrezno deformacijsko funkcijo u(x). Imamo opravka z defor-

macijskimi funkcijami, za katere velja preslikava R2 → R

2. Izmed druzine vseh takih

deformacijskih funkcij iz prostora U se bomo sedaj omejili na funkcije, ki jih lahko

opisemo s koncnim stevilom parametrov c. Te parametre bomo poimenovali defor-

macijski parametri. Na ta nacin smo problem iskanja deformacijske funkcije bistveno

poenostavili in ga lahko predstavimo kot dvodimenzionalni minimizacijski problem.

Z uvedbo deformacijskih parametrov lahko deformacijski model zapisemo kot splosni


linearni model na naslednji nacin [18]:

u(x) = x +∑

k∈Z2

ckϕk(x), (28)

kjer ϕk predstavljajo bazicne funkcije. Nas deformacijski model bomo opisali s pomocjo

B-zlepkov [16, 18]. Kot bazicne funkcije bi lahko uporabili na primer tudi polinome,

harmonicne funkcije ali valcke, vendar se za optimalno resitev izkazejo prav B-zlepki

[18]. S pomocjo B-zlepkov deformacijski model opisemo takole [16, 17]:

u(x) = x +∑

k∈Z2

ckβ3(

x

h− k), (29)

kjer ck = (ck,x, ck,y) predstavlja deformacijske parametre, h = (hx, hy) pa predstavlja

razdaljo v pikslih med dvema vozliscema (v smeri x in y). S tem smo preko slike, ki jo

bomo deformirali, polozili mrezo deformacijskih parametrov. V okolici teh parametrov

delujejo sile, ki deformirajo sliko v njihovi bliznji okolici. Manjsa razdalja parametrov

h prinese vecje stevilo deformacijskih parametrov ter posledicno finejso pokritost slike.

Na tem mestu je potrebno poudariti, da morata biti parametra hx in hy celostevilska.

Uporabnik ju posreduje kot vhodni argument pred zagonom algorimta.

Izkaze se, da ima deformacijski model s pomocjo B-zlepkov zelo dobre lastnosti

aproksimacije in je relativno hiter za izracun (podpoglavje 6).

5.4 Optimizacija

Resitev minimizacije ocenitvene funkcije E, enacba (26), predstavlja polje premikov

u(x). Optimalno polje premikov dobimo s pomocjo optimizacijskega algoritma, ki z

iterativnim postopkom prilagaja vrednosti deformacijskih parametrov, dokler ne najde

minimuma ocenitvene funkcije E [16]. Z enacbo to lahko zapisemo takole:

c = arg minc

E, (30)

kjer c predstavlja deformacijske parametre.

Za optimizacijo nasega problema uporabimo optimizacijski algoritem L-BFGS-B

(sekcija 4.2). Optimizacijski algoritem na vhodu prejme inicializirano polje deforma-

cijskih parametrov ck, rutino za izracun ocenitvene funkcije E ter rutino za izracun

gradienta omenjene funkcije. Kot rezultat vrne modificirano polje deformacijskih pa-

rametrov, s pomocjo katerega izracunamo optimizirano polje premikov u(x).

Ker moramo izracunati gradient ocenitvene funkcije, moramo poznati tudi njen prvi


odvod, ki se v eksplicitni obliki glasi [16]:

∂E

∂ck,m

=1

N

∑

x∈Z2

exp(2r(x)) − 1

exp(2r(x)) + 1

∂f ct (d)

∂xm

∣∣∣∣d=u(x)

∂um(x)

∂ck,m

, (31)

kjer velja:∂f c

t (d)

∂x=

∑

k∈I

bkβ′3(ux − kx)β

3(uy − ky), (32)

∂f ct (d)

∂y=

∑

k∈I

bkβ′3(uy − ky)β

3(ux − kx), (33)

∂um(x)

∂ck,m

= β3(x

h− k), (34)

kjer je m ∈ {x, y}. Ker algoritem L-BFGS-B za optimizacijo problema ne potrebuje

Hessove matrike, potrebujemo samo enacbe za izracun prvega odvoda. Enacbe za

izracun drugega odvoda niso potrebne.

5.5 Potek algoritma

Potek algoritma za poravnavo ultrazvocnih posnetkov je prikazan na sliki 15. Algori-

tem na vhodu prejme testno in referencno sliko. Na zacetku se opravi normalizacija slik

(intentzitete pikslov se preslikajo v obmocje med 0 in 1) ter inicializacija deformacij-

skih parametrov, ki jih postavimo na 0 (to v praksi pomeni, da slika ni deformirana).

Naslednji korak deformira testno sliko glede na postavljene zacetne vrednosti defor-

macijskih parametrov. S pomocjo ocenitvene funkcije oceni razliko med slikama, nato

pa s pomocjo optimizacije v trenutni iteraciji izracuna nove vrednosti deformacijskih

parametrov. S pomocjo teh vrednosti nato izracuna novo deformacijsko funkcijo (v

nasem primeru polje premikov), s katero ponovno deformira testno sliko. Postopek

konvergira proti minimumu in je koncan, ko je razlika vrednosti ocenitvene funkcije

med sosednjima iteracijama manjsa od ε, ki je doloceno eksperimentalno.

Potek algoritma lahko na enostaven nacin predstavimo s pomocjo psevdokoda na

sliki 16.


Slika 15: Potek algoritma za elasticno poravnavo ultrazvocnih posnetkov.


procedure PoravnavanjeSlik(Ir,It,hx,hy);

{Vhod:}{Ir ... referencna slika}{It ... testna slika}{hx, hy ... razdalji med vozlisci}{Izhod:}{I ... poravnana testna slika}{Ostale uporabljene spremenljivke:}{Cx, Cy ... polji deformacijskih parametrov}{b ... polje interpolacijskih koeficientov interpolirane testne slike}{U ... polje premikov}{λ ... vrednost ocenitvene funkcije}{dCx, dCy ... polji z izracunanim gradientom ocenitvene funkcije}{k ... korak iteracije}{ε ... pogoj za konec optimizacijskega algoritma}

normalizacija(&Ir, &It);

inicializacija(&Cx, &Cy);

b = interpolacijaKubicniBzlepki(It);

while |λk+1 - λk| ≥ ε doλ = ovrednotiOcenitvenoFunkcijoE(Cx, Cy, Ir, It, b, hx, hy);

[dCx, dCy] = izracunajGradientE(Cx, Cy, Ir, It, b, hx, hy);

modificirajVrednostiDeformacijskihParametrov(&Cx, &Cy, λ, dCx,

dCy);

U = izracunPoljaPremikov(Cx, Cy, hx, hy);

deformirajTestnoSliko(Cx, Cy, b, U, hx, hy);

end whileU = izracunPoljaPremikov(Cx, Cy, hx, hy);

I = izracunPoravnaneTestneSlike(b, U);

return I;

Slika 16: Psevdokod algoritma za elasticno poravnavanje slik. Zanka while predstavljadelovanje optimizacijskega algoritma L-BFGS-B.


5.6 Izvedba algoritma

Algoritem za poravnavanje ultrazvocnih posnetkov je napisan v matlabu. Napisan je v

matlabovem skriptnem jeziku (v nadaljevanju ga bomo poimenovali kar skript) z ime-

nom ImageRegistration, s pomocjo katere algoritem v okolju matlab tudi zaganjamo.

Na sliki 17 je prikazana struktura za izvedbo algoritma.

Slika 17: Struktura za izvedbo algoritma za elasticno poravnavanje ultrazvocnih po-snetkov.

Skript cbanal uporabljamo za izracun interpolacijskih koeficientov testne slike.

Najpomembnejsi del algoritma pa predstavlja skript L-BFGS-B, s pomocjo katerega

zazenemo optimizacijski algoritem L-BFGS-B (podpoglavje 4.2, [22]). Klic tega algo-

ritma si, predvsem zaradi uporabljenih parametrov, velja ogledati podrobneje:

[cx cy] = L-BFGS-B({cx cy}, {spm spm}, {zgm zgm},...

’ObjectiveFunc’, ’GradientFunc’, auxdata, ’genericcallback’,...

’maxiter’,300,’m’,15,’factr’,1e-5,’pgtol’,1e-5);

Izhod iz tega klica pomenita polji deformacijskih parametrov, s pomocjo katerega

dobimo deformacijsko funkcijo, s katero deformiramo testno sliko, tako da dobimo

poravnano testno sliko. Optimizacijskemu algoritmu posljemo zacetne vrednosti de-

formacijskih parametrov, ki so postavljene na nic. Polji spm in zgm pomenita interval

iskalnega prostora za posamezne deformacijske parametre. V nasem primeru smo vre-

dnosti spodnjih mej postavili na -Inf, vrednosti zgornjih mej pa na Inf, saj se je ob


poravnavanju razlicnih ultrazvocnih posnetkov izkazalo, da se vrednosti deformacijskih

parametrov pri razlicnih parih slik spreminjajo povsem razlicno in tako ne moremo

napovedati, v katero obmocje bodo padle posamezne vrednosti teh parametrov. S tako

postavitvijo mej puscamo odprt cel iskalni prostor, s tem pa zagotovimo robustnost

algoritma in maksimiziramo verjetnost, da bo algoritem nasel najboljso resitev. Po-

dali smo tudi maksimalno dopustno stevilo iteracij, ki znasa 300. Parameter m smo

glede na nasvete avtorjev algoritma [21] nastavili na 15, vendar spreminjanje te vre-

dnosti ni prineslo nobenih sprememb pri casu izvajanja algoritma, kakor tudi ne pri

rezultatu poravnavanja. Zadnja dva parametra pomenita natancnost. Dolocili smo ju

povsem eksperimentalno, in sicer smo ju spreminjali pri poravnavanju vecjega stevila

ultrazvocnih posnetkov. Vrednosti sta se izkazali kot najboljsi, ki sta zato tudi stalno

izbrani in uporabnik nanju nima vpliva.

Vemo, da se programska koda, zapisana v matlabu, interpretira. Posledica tega je

strahovito pocasno izvajanje obcutljivih delov programske kode, med katere spadata

izracun ocenitvene funkcije ter gradienta ocenitvene funkcije. Te odseke kode smo

odkrili s pomocjo matlabovega profilirnika. Zanje smo uporabili MEX [23]. MEX je

kratica za Matlab Executable in predstavlja orodje, s pomocjo katerega lahko funkcije,

zapisane v nekem drugem programskem jeziku, povezemo z matlabom. V nasem pri-

meru smo uporabili programski jezik C. S pomocjo programskega jezika C smo tako

napisali tezke dele kode, nato pa jih prevedli s pomocjo orodja MEX in prevajalnika za

programski jezik C (GCC). Na tak nacin prevedeno funkcijo, ki je napisana v program-

skem jeziku C, lahko nato enostavno klicemo iz matlaba. Rezultat je opazno hitrejse

izvajanje algoritma. Cas racunanja se je tako zmanjsal tudi za faktor 5 in celo vec

(odvisno od tezavnosti problema).

6 Rezultati

Glavni cilj te diplomske naloge je bil zgraditi postopek za elasticno poravnavo ul-

trazvocnih posnetkov. Rekli smo, da je naloga tega postopka odkrivanje lokalnih spre-

memb na opazovanih posnetkih. S poskusi smo se zeleli prepricati, ali razviti pristop

deluje pravilno, v kaksni meri se izkaze za uspesnega in robustnega, predvsem pa smo

se zeleli prepricati, ali je razviti pristop primeren za ugotavljanje lokalnih sprememb

na opazovanih ultrazvocnih posnetkih. V tem poglavju bomo najprej razlozili potek

preizkusanja algoritma, na kaksen nacin bomo ocenjevali rezultate ter na kaksen nacin

jih bomo predstavili. V nadaljevanju pa sledi prikaz rezultatov, ki smo jih dobili pri

stevilnih poskusih poravnavanja ultrazvocnih posnetkov z razlicnimi znacilnostmi.

6.1 Potek preizkusanja

Algoritem za elasticno poravnavanje smo v glavnem preverjali z ultrazvocnimi posnetki,

ki prikazujejo jajcnike (podpoglavje 2.6). Pri poravnavi teh posnetkov smo hoteli

zaznati spremembe (deformacije) jajcnih mesickov, za katere je na podlagi opazovanja

vec posnetkov ocitno, da so zelo lokalne, kar se izkaze kot zelo primerna situacija za

preverjanje in ocenjevanje delovanja algoritma za poravnavanje. V nasem primeru

smo zaznavali spremembe mesickov na sosednjih rezinah istega volumna (3D posnetka

jajcnika). Te rezine predstavljajo sivinske slike locljivosti 150 x 120 pikslov. Razmik

med opazovanima rezinama znotraj volumna smo eksperimentalno spreminjali in tako

spremljali odziv ter uspesnost algoritma pri poravnavanju izbranih dveh slik.

6.2 Ocenjevanje uspesnosti poravnavanja

Po vsakem poravnavanju posnetkov moramo rezultat poravnavanja na neki nacin oce-

niti. Za ocenitev uspesnosti poravnavanja smo dolocili mero, katero izpeljemo iz po-

dobnosti slik, ki ju primerjamo. Kot vemo, mora biti deformirana testna slika cim

bolj podobna referencni sliki. Zato lahko trdimo, da podobnost oziroma razliko med

opazovanima slikama pomeni kar rezultat ocenitvene funkcije in jo dobimo kot:

µE = E(fr, fωt ), (35)

kjer fr predstavlja referencno sliko, fωt pa poravnano testno sliko. Cim manjsa je

razlika med slikama, tem manjsi je tudi rezultat ocenitvene funkcije. Dolocili smo tudi

minimalno mozno vrednost te funkcije, katero predstavlja konstanta, ki smo jo oznacili

z µmin. To konstanto smo dolocili s pomocjo razlike med dvema popolnoma enakima

41

Rezultati 42

slikama, in sicer:

µmin = E(I, I), (36)

kjer je I poljubna slika. Vrednost µmin je enaka, ne glede na to, kaksno sliko I posre-

dujemo ocenitveni funkciji E in na 10 decimalk natancno znasa µmin = 0, 6931471806.

Taksna natancnost je potrebna zaradi izracuna posebnega koeficienta, ki ga bomo po-

imenovali koeficient podobnosti. Koeficient podobnosti ima namrec zelo ozek interval

zaloge vrednosti funkcije, s pomocjo katere ga izracunamo. Izracunamo ga na naslednji

nacin:

µ =µmin

µE

, (37)

kjer je µ koeficient podobnosti, privzet kot referencna vrednost pri oceni razlike med

slikama. Njegova maksimalna vrednost je 1. To pomeni, da sta sliki popolnoma enaki.

Pri tem je treba poudariti, da moramo dobljeno vrednost koeficienta µ opazovati vsaj

na 4 decimalke natancno, saj so razlike koeficienta pri relativno podobnih slikah zelo

majhne.

Kljub vsemu se izkaze, da taka numericna ocenitev ni zadostno zagotovilo, da bomo

s poravnanimi slikami kljub dobri numericni oceni zadovljni. Zato je treba upostevati

se subjektivno vizualno oceno; torej moramo z vizualnim primerjanjem dveh slik ugoto-

viti, ali je poravnava bila uspesna. Na enak nacin smo ocenjevali razliko med slikama

pred vsakim zagonom algoritma. S tem smo lazje ocenili uspesnost ter robustnost

algoritma.

6.3 Vpliv izbire parametrov

Algoritmu za poravnavanje posredujemo tudi parameter h, ki pomeni razdaljo med vo-

zlisci na mrezi v polju deformacijskih parametrov. Od te mreze je odvisna natancnost

poravnave. Cim gostejsa je mreza, tem finejsa je poravnava in obratno. Pri tem mo-

ramo upostevati, da finejsa mreza potrebuje vec iteracij algoritma, da najde optimalno

resitev. Zato moramo parameter h izbrati tako, da bomo dosegli najboljso ucinkovitost

(sprejemljivo poravnavo v cim krajsem casu). Za povsem ucinkovito poravnavo mo-

ramo omenjeni parameter izbrati tako, da bomo z mrezo pokrili vse spremembe med

obema slikama. Vpliv in ucinkovitost izbire parametra h bomo opisali za vsak poskus

poravnave posebej.

Poudariti je treba, da navedemo parameter h posebej za smer x ter smer y, zato smo

ga zapisali kot vektor. S tem lahko dolocimo razlicno vodoravno in navpicno natancnost

mreze, s katero pokrijemo sliko. To je uporabno za posnetke, kjer je locljivost sprememb

na sliki v eni smeri manjsa od druge, zato lahko v tej smeri vozlisca postavimo redkeje,

kar nam prinese lep prihranek casa pri poravnavanju. Vendar smo v sklopu nasih

Rezultati 43

poskusov obravnavali zgolj posnetke, pri katerih so deformacije enakomerne po celi

povrsini, zato smo uporabljali uniformno mrezo, kjer je hx = hy. Zato v nadaljevanju

parametra h ne bomo vec zapisovali kot vektor. Ce bo na primer zapisano h = 8, to

pomeni, da je hx = hy = 8.

6.4 Prikaz rezultatov poravnavanja

Rekli smo, da bomo uspesnost vsakega poskusa poravnave ovrednotili na dva nacina.

Prikaz numericne ocene ni problematicen, saj za oceno ucinkovitosti poravnavanja

uporabimo koeficient podobnosti, cas, ki ga je algoritem porabil, da je nasel optimalno

poravnavo, in stevilo iteracij optimizacijskega algoritma.

Slika 18: Mreza (deformacijsko polje), s pomocjo katere prikazemo deformacije naporavnani sliki. Na levi strani je prikazana izvorna, nedeformirana mreza, na desni pamreza, deformirana s pomocjo deformacijske funkcije.

Glede na to, da numericna ocena poravnanosti obicajno ni zadostna, je treba po-

dati tudi vizualno oceno. Za vsak poskus poravnavanja bomo tako prikazali referencno,

testno ter poravnano testno sliko. S temi tremi posnetki je rezultat poravnavanja ze

dobro viden, vendar zelimo opazovati tudi spremembe, ki so nastale na primerjanih sli-

kah. To pa iz taksnega prikaza ni razvidno. Za prikaz deformacij na slikah uporabimo

sliko navadne mreze (crne ekvidistancne vzporednice v vodoravni in navpicni smeri).

Mrezo prikazuje slika 18 (levo). To sliko mreze po opravljenem poravnavanju slik defor-

miramo s pomocjo deformacijske funkcije, ki smo jo dobili kot rezultat poravnavanja.

Na tako deformirani sliki so jasno razvidne sile, ki so delovale na testno sliko. Te sile

pa opisujejo spremembe, ki so nastale na testni sliki v primerjavi z referencno. Mrezo

opisuje deformacijsko polje, zato bomo ta izraz uporabljali tudi v nadaljevanju pri pri-

kazovanju rezultatov. Primer deformirane mreze (deformacijskega polja) je prikazan

na sliki 18 (desno).

Rezultati 44

6.5 Konfiguracija racunalniskega sistema

Preden se preselimo k rezultatom poskusov poravnavanja, moramo predstaviti se racu-

nalniski sistem, s pomocjo katerega smo izvajali poskuse. Algoritem za elasticno po-

ravnavanje ultrazvocnih posnetkov je tekel na racunalniku z enojedrnim procesorjem

AMD Athlon 3500+ s 3 GB pomnilnika. Na tem racunalniku tece operacijski sistem

Ubuntu Linux verzije 8.04. Algoritem poganjamo znotraj matlaba za unix, v okviru

katerega je bil algoritem tudi realiziran.

Rezultati 45

6.6 Poravnavanje enostavnih geometrijskih likov

Kljub temu, da je nas algoritem namenjen za poravnavanje ultrazvocnih posnetkov, smo

najprej z velikim zanimanjem skusali poravnati slike, na katerih so prikazani enostavni

geometrijski liki. Glede na trditev, da bo algoritem najbolje deloval pri poravnavi

posnetkov z lokalnimi spremembami, smo izbrali temu primerna lika. Tako smo za

poravnavanje izbrali sliko, na kateri je prikazan krog, in sliko, na kateri je prikazana

sesterokraka zvezda. Sliki imata enak premer in sta dimenzije 80 x 80 pikslov.

Ir It

h = 30

h = 20

h = 10

Slika 19: Poravnava zvezde s krogom pri parametrih h = 30, h = 20 in h = 10.

Rezultati 46

Najprej smo poskusali zvezdo poravnati s krogom. Sliki omenjenih likov sta pri-

kazani na sliki 19. Pred zagonom algoritma smo pricakovali, da se bodo vboceni koti

zvezde izbocili tako, da bodo zapolnili vbocen beli prostor. Rezultat poravnavanja je

za razlicne izbire parametra h prikazan na sliki 19.

V prvi vrstici slike 19 je na levi strani prikazana referencna slika (krog), na desni

pa testna slika (zvezda). Nato sledijo tri vrstice. V vsaki vrstici je prikazan rezultat

poravnavanja pri razlicnih vrednostih parametra h. V drugi vrstici je tako prikazan

rezultat poravnavanja pri h = 30. Preko slik smo s to vrednostjo namrec polozili zelo

grobo mrezo in algoritem je tako zelo hitro opravil svojo nalogo, rezultat pa, kot vidimo

na sliki, ni nic kaj blizu pricakovanega. Pri izbiri parametra h = 20 pa vidimo, da je

oblika poravnave slike ze veliko blize krogu. V zadnjem poskusu, pri parametru h = 10,

pa vidimo, da je poravnana slika popolnoma enaka kot referencna. Po opazovanju

deformacijskega polja zadnjega poskusa lahko trdimo, da so nasa pricakovanja glede

elasticnega zapolnjevanja belega prostora v okolici zvezde izpolnjena.

h Stevilo iteracij Cas izvajanja [s] µ

30 39 60 0,978720 54 120 0,992710 14 160 0,9994

Preglednica 2: Rezultati meritev pri poravnavanju zvezde s krogom.

V preglednici 2 smo zbrali numericne rezultate meritev ob izvajanju algoritma, s

katerim smo poravnavali zvezdo s krogom. Prisli smo do ugotovitve, da stevilo itera-

cij optimizacijskega algoritma ni odvisno od tega, kako podrobno gremo v resevanje

problema, ampak od delovanja samega optimizacijskega algoritma. Opazimo tudi, da

je za zadnjo resitev poravnavanja, ki smo jo tudi sprejeli kot ugodno resitev, algori-

tem porabil 160 sekund. Sicer pa tudi koeficient podobnosti µ potrjuje, da je resitev

sprejemljiva, saj je njegova vrednost zelo blizu 1.

Izvedli smo se en poskus poravnavanja posnetkov enostavnih likov, pri cemer pa

smo vlogi referencne in testne slike zamenjali. Tako referencno sliko sedaj predstavlja

zvezda, testno sliko pa krog. Rezultat je prikazan na sliki 20. Ocitno je, da je obratna

poravnava veliko tezavnejsa, kot smo pricakovali. Ta sklep potrjujejo tudi numericni

rezultati meritev, ki so zbrani v preglednici 3.

Vidimo, da v tem primeru poravnavanje pri vrednosti parametra h = 10 ne da

dovolj dobre resitve. Problem namrec povzrocajo konice zvezde, ki jih zelimo doseci.

Konica je namrec predstavljena z majhnim stevilom pikslov, kar pomeni, da mora biti

mreza deformacijskih parametrov tako natancna, da lahko deformacijske sile izobliku-

jejo konico. Kljub izbiri parametra h = 5 pa vidimo, da so konice zvezde se vedno tope,

Rezultati 47

Ir It

h = 30

h = 20

h = 10

h = 5

Slika 20: Poravnava kroga z zvezdo pri parametrih h = 30, h = 20, h = 10 in h = 5.

vendar smo s tako resitvijo zadovoljni. Vsako nadaljnje manjsanje vrednosti parametra

h bi povzrocilo dolgo racunanje, saj je ze pri trenutni najboljsi resitvi trajalo kar 20

Rezultati 48


30 15 20 0,961320 34 80 0,982510 41 450 0,99655 33 1200 0,9983

Preglednica 3: Rezultati meritev pri poravnavanju kroga z zvezdo.

minut. Rezultat poravnave pri h = 5 je pa tako dovolj blizu optimalni resitvi, kar

potrjuje tudi vrednost koeficienta podobnosti. Kasneje bomo ugotovili, da ima kljub

vsemu ta algoritem veliko rezerve glede natancnosti poravnavanja, saj tako natancnih

sprememb v splosnem pri ultrazvocnih posnetkih ni treba zaznavati.

6.7 Potrjevanje algoritma

Preden predstavimo rezultate pri poravnavanju ultrazvocnih posnetkov, bomo algori-

tem validirali. Z validacijo bomo dokazali pravilno delovanje algoritma. Pri validaciji

gre v nasem primeru za postopek, pri katerem moramo izbrano sliko najprej deformi-

rati z neko poljubno izbrano deformacijsko funkcijo. To sliko oznacimo kot testno sliko.

Zatem skusamo poravnati z nedeformirano izvorno sliko, ki jo oznacimo za referencno.

S poravnavo testne in referencne slike smo v bistvu prisli do deformacijske funkcije.

V naslednji fazi skusamo deformirano testno sliko ponovno poravnati s prvotno testno

sliko. V kolikor algoritem deluje pravilno, bi rezultat te poravnave morala biti slika,

ki je identicna prvotni testni sliki. Rezultat validacije je prikazan na sliki 21. V prvi

vrstici na levi strani slike je predstavljena zacetna testna slika, na desni pa referencna

slika, s pomocjo katere smo dobili deformacijsko funkcijo. V drugi vrstici je na levi pri-

kazana deformirana testna slika, njeno pripadajoce deformacijsko polje pa je prikazano

na desni. Rezultat ponovnega poravnavanja z izvorno testno sliko je prikazan na levi

sliki v tretji vrstici, na njeni desni pa njeno pripadajoce deformacijsko polje.

Za potrditev pravilnosti delovanja algoritma morata biti izpolnjena dva pogoja.

Prvi pogoj je, da morata biti izvorna testna slika (slika 21, prva vrstica, levo) ter nova,

nazadnje poravnana testna slika (slika 21, tretja vrstica, levo) popolnoma enaki. Drugi

pogoj pa je, da so si istolezni koeficienti polj premikov, dobljenih pri obeh poravnavah,

nasprotni. Oznacimo prvo polje premikov z u1(x), drugo pa z u2(x). Ce algoritem

deluje pravilno, mora veljati naslednje:

u1(x) + u2(x) = 0, (38)

kjer 0 predstavlja nicelno matriko, ki je enakih dimenzij, kot sta u1(x) in u2(x). Zaradi

Rezultati 49

Slika 21: Rezultat potrjevanja algoritma za elasticno poravnavanje ultrazvocnih po-snetkov. V prvi vrstici sta prikazani zacetna testna slika in referencna slika, s pomocjokatere dobimo deformacijsko funkcijo. V drugi vrstici je prikazana deformirana testnaslika in njeno deformacijsko polje, v tretji vrstici pa je prikazan rezultat ponovnegaporavnavanja z izvorno testno sliko s pripadajocim deformacijskim poljem.

lazje predstave smo polji premikov prikazali kot deformacijsko polje na sliki 21. Na

deformacijskem polju (slika 21, druga in tretja vrstica, desno) mora biti razvidno, da

sile delujejo ravno v nasprotnih smereh. Delovanje sil v nasprotnih smereh je na sliki

lepo razvidno s pomocjo mreze; vbocenost krivulje na eni sliki je enaka izbocenosti

krivulje na isti lokaciji na drugi sliki in obratno.

Sedaj moramo ugotoviti, ali sile na prikazanem primeru res delujejo nasprotno. Ob

primerjavi obeh deformacijskih polj smo preverili tudi, ali smo kot rezultat enacbe (38)

Rezultati 50

res dobili nicelno matriko. Ce dobro opazujemo sliki obeh deformacijskih polj, vidimo,

da sliki po primerjavi nista popolnoma taki, kot bi pricakovali. Tak je primer vrtinca na

prvem deformacijskem polju, ki ga na drugem ni. Rezultat enacbe (38) pa je matrika,

ki je zelo blizu nicelne matrike, vseeno pa je kar nekaj elementov te matrike razlicnih

od nic (tudi na prej opisanem obmocju vrtinca).

Tudi sliki, ki ju primerjamo, nista popolnoma enaki. Prvi vzrok je v izbiri referencne

in testne slike, ki imata na nekaj obmocjih dolocene znacilnosti, ki se ne nahajajo na

obeh slikah (recimo jajcni mesicki, ki se nahajajo samo na eni sliki). Rezultat take

poravnave je deformacijska funkcija, ki dolocene dele poravnane slike nekoliko popaci.

Ta napaka ostane, zato so tudi pri ponovni poravnavi z izvorno testno sliko vidne

dolocene manjse razlike. Drugi vzrok pa tici v izbiri parametra h, ki je v nasem primeru

enak h = 8. Kot bomo videli kasneje, se ta vrednost namrec izkaze kot optimalna

za poravnavanje nasega tipa ultrazvocnih posnetkov. Poravnavanje s to vrednostjo

parametra h namrec spregleda manjse spremembe, zaradi cesar so na posnetkih in

deformacijskih poljih opazne tudi manjse razlike.

Vendar lahko ob upostevanju teh lastnosti recemo, da smo potrdili pravilno delova-

nje algoritma. Vidimo, da sta opazovani testni sliki kljub vsem prej nastetim stranskim

dejavnikom namrec prakticno enaki. Povejmo se, da smo validacijo opravili tudi z po-

dobnimi posnetki manjsih dimenzij pri izbiri parametra h = 1. Pridobljeni rezultati so

potrdili delovanje algoritma. Vendar smo v okviru te diplomske naloge raje prikazali

validacijo s primeri ultrazvocnih posnetkov, kakrsni nastopajo v realnih situacijah. Na

tak nacin smo na najprimernejsi nacin pokazali, da algoritem res deluje.

6.8 Poravnavanje lokalno spremenjenih ultrazvocnih posnet-

kov

Po opravljeni validaciji algoritma za elasticno poravnavanje pa se selimo k poskusom

poravnavanja ultrazvocnih posnetkov, kakrsni se pojavljajo v realnosti. Najprej smo se

lotili situacije, za katero smo predvidevali, da je nas algoritem najprimernejsi, hkrati pa

je tudi najpogostejsa pri nasem tipu posnetkov. Govorimo o poravnavanju ultrazvocnih

posnetkov, med katerimi nastopajo lokalne spremembe.

Za zacetek smo se lotili poravnavanja manjsega izseka ultrazvocnega posnetka di-

menzije 50 x 50 pikslov. Na obeh slikah so prikazani trije jajcni mesicki z manjsimi

lokalnimi spremembami. Omenjeni sliki smo poravnavali dvakrat. Prvic z vrednostjo

parametra h = 10, drugic pa z vrednostjo parametra h = 5. Rezultat je prikazan na

sliki 22.

V prvi vrstici na sliki 22 sta prikazani referencna na levi in testna slika na desni.

Druga vrstica prikazuje rezultat poravnavanja pri izbiri parametra h = 10, tretja vrstica

Rezultati 51

Ir It

h = 10

h = 5

Slika 22: Poravnavanje manjsega izseka iz ultrazvocnega posnetka (50 x 50 pikslov). Vprvi vrstici je na levi prikazana referencna slika in na desni testna slika. V drugi vrsticije prikazan rezultat poravnavanja pri izbiri parametra h = 10, v tretji vrstici pa prih = 5.

pa rezultat poravnavanja pri h = 5. Sedaj poglejmo se numericne rezultate meritve

poravnavanja, ki so prikazane v preglednici 4.


10 20 20 0,99405 19 60 0,9960

Preglednica 4: Rezultati meritev pri poravnavanju izseka iz ultrazvocnega posnetka.

Pri pregledu rezultatov takoj opazimo, da je poravnavanje manjsih posnetkov uspesno

tudi pri gosteje postavljeni mrezi deformacijskih parametrov h = 10, pri vrednosti pa-

rametra h = 5 pa je rezultat se boljsi. Nase ugotovitve sta potrdila tudi koeficienta

podobnosti, ki sta bila ze pri prvem poskusu poravnavanja zelo blizu 1, pri drugem pa

sta bila se blizje.

V naslednjem koraku smo poskusili poravnati ultrazvocna posnetka, ki predstavljata

rezini ultrazvocnega volumna, razmik med njima pa znasa dve rezini. Na teh dveh

Rezultati 52

posnetkih so lepo vidne enakomerno porazdeljene blage lokalne spremembe. Sklepali

smo, da bo to idealen primer za poravnavo s pomocjo nasega algoritma za elasticno

poravnavanje. Omenjena posnetka in rezultat poravnavanja pri razlicnih parametrih h

so prikazani na sliki 23.

Na levi strani prve vrstice je prikazana referencna, na desni pa testna slika. Prika-

zani sliki smo poravnavali z izbiro treh razlicnih vrednosti parametra h. Na sliki 23 je

v drugi vrstici prikazan rezultat poravnavanja pri vrednosti parametra h = 32, v tretji

vrstici pri h = 16, v cetrti pa pri h = 8. Numericni rezultati meritev so prikazani v

preglednici 5.


32 10 120 0,99122916 8 400 0,9928488 12 2160 0,994764

Preglednica 5: Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z blagimilokalnimi spremembami.

Po natancnem opazovanju referencne in poravnane testne slike lahko trdimo, da je

rezultat poravnavanja bil uspesen, in sicer pri izbiri parametra h = 8. Vidimo, da so se

jajcni mesicki lepo pokrili in da so na deformacijskem polju lepo in pravilno prikazane

lokalne deformacije. Ponovno se je izkazalo, da je za dobro poravnavo treba pametno

izbrati parameter h. V tem primeru se izkaze, da je izbira h = 8 najprimernejsa in da

je tako mreza deformacijskih parametrov dovolj fina, da pokrije vse glavne spremembe.

Opazijo se sicer se dolocene manjse razlike med opazovanima posnetkoma, vendar te

razlike ne ovirajo odkrivanja ustreznih lokalnih sprememb jajcnih mesickov. Tudi ko-

eficient podobnosti je dovolj blizu 1, kar potrjuje podobnost opazovanih slik. Vidimo

pa, da se je cas racunanja pri zmanjsevanju parametra h skokovito povecal. Vsako

nadaljnje zmanjsevanje parametra h bi bilo nesmiselno, saj bi to vodilo v povecanje

casa racunanja, rezultat poravnavanja pa zagotovo ne bi bil veliko boljsi, saj sta opa-

zovana posnetka prakticno enaka, kar pomeni, da je izbira parametra h = 8 dala dober

rezultat.

V naslednjem poskusu smo poravnavali ultrazvocna posnetka, ki imata zanimive

znacilnosti (slika 24). Na posnetku je namrec vecje stevilo jajcnih mesickov, ki so zelo

blizu skupaj. Za neketare izmed njih je znacilno, da se manjsajo, drugi se pa vecajo,

hkrati pa je opazno, da so mesicki, ki se povecujejo oziroma zmanjsujejo, na omenjenih

posnetkih celo sosednji. Zaradi takih lastnosti smo sklepali, da bo poravnavanje teh

posnetkov tezavnejse, hkrati pa se bo izkazalo, ali je nas algoritem dovolj ucinkovit, da

uspe poravnati posnetke z omenjenimi lastnostmi.

Rezultati 53

Ir It

h = 32

h = 16

h = 8

Slika 23: Rezultat poravnavanja ultrazvocnih posnetkov z blagimi lokalnimi spremem-bami. V prvi vrstici sta prikazani referencna in testna slika, v drugi vrstici rezultatporavnavanja pri parametru h = 32, v tretji vrstici pri h = 16 in v cetrti vrstici prih = 8.

Rezultati 54

Ir It

h = 16

h = 8

Slika 24: Rezultat poravnavanja ultrazvocnih posnetkov z raznolikimi lokalnimi spre-membami jajcnih mesickov. V prvi vrstici sta prikazani referencna in testna slika, vdrugi vrstici je prikazan rezultat poravnavanja pri izbiri parametra h = 16, v drugi papri h = 8.

V prvi vrstici slike 24 je na levi prikazana referencna slika, na desni pa testna

slika. Omenjeni par posnetkov smo poravnavali pri vrednosti parametra h = 16 in

h = 8. V drugi vrstici slike 24 vidimo, da je ze uporaba gostejse mreze deformacijskih

parametrov dala zelo dober rezultat, saj se na deformacijski mrezi lepo vidijo smeri

Rezultati 55

rasti oziroma krcenja mesickov. Ce pa pogledamo tretjo vrstico slike 24, lahko brez

zadrzkov trdimo, da rezultat poravnavanja omenjenih posnetkov skoraj ne bi mogel

biti boljsi. Referencna in poravnana testna slika sta skoraj enaki, jajcni mesicki so

prakticno popolnoma poravnani, po drugi strani pa je dosezen tudi nas cilj ugotoviti

smeri sprememb, ki so lepo vidne na deformacijski mrezi. V preglednici 6 si oglejmo

se rezultate meritev.


16 14 590 0,9923408 14 2500 0,994142

Preglednica 6: Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z raznolikimilokalnimi spremembami.

Ce dobljene rezultate primerjamo s predhodnim poskusom, lahko opazimo, da je

algoritem za poravnavanje pri tem poskusu porabil nekoliko vec casa, kar potrjuje

dejstvo, da gre za nekoliko tezji primer. Kljub temu pa se izkaze, da so koeficienti

podobnosti v tem primeru celo boljsi. Tako lahko recemo, da je algoritem za poravna-

vanje zelo uspesen tudi pri posnetkih z lastnostmi, ki smo jih predstavili pri trenutnem

poskusu.

Odziv algoritma pri medsebojno bolj oddaljenih rezinah ultrazvocnega vo-

lumna

Pri tem poskusu nas je zanimal odziv algoritma pri poravnavanju rezin, ki v ul-

trazvocnem volumnu niso sosednje. Za sosednje rezine volumna so namrec znacilne

manjse lokalne spremembe, ki pa se ob povecevanju razmika med rezinami vecajo.

Zanimalo nas je, kako se bo ob takem spreminjanju razmika odzval nas algoritem za

poravnavanje. Pri tem moramo poudariti, da nas na tem mestu ne zanima sam re-

zultat poravnavanja. Poskuse poravnavanja rezin, ki so zelo blizu skupaj ali pa zelo

dalec narazen, bomo namrec obravnavali posebej v podpoglavjih 6.9 in 6.10. V tem

primeru bomo v bistvu ocenjevali zmogljivost algoritma pri poravnavanju posnetkov,

dobljenih s pomocjo razlicnih razmikov med rezinami znotraj ultrazvocnega volumna.

Cim manjsi je razmik med rezinami volumna, tem bolj so si posnetki podobni in obra-

tno. Sklepali smo, da bo algoritem za poravnavanje podobnih posnetkov porabil manj,

za poravnavanje razlicnih posnetkov pa vec casa. Zato nas je v tem primeru zanimalo

predvsem casovno trajanje algoritma.

Opravili smo pet poskusov poravnavanja. Referencna slika je bila v vseh petih

poskusih enaka. Parameter h je bil pri vseh poskusih postavljen na 8.

Rezultati 56

Razmik med rezinami Stevilo iteracij Cas izvajanja [s] µ

1 3 990 0,9971302 4 1010 0,9949463 7 1470 0,9944505 9 1800 0,9937758 7 1420 0,98965310 15 3080 0,991323

Preglednica 7: Rezultati meritev pri poravnavanju ultrazvocnih posnetkov, dobljenihs spreminjanjem razmika med rezinami ultrazvocnega volumna.

V preglednici 7 so prikazani rezultati meritev pri poravnavanju ultrazvocnih po-

snetkov, ki smo jih dobili s pomocjo spreminjanja razmika med dvema rezinama ul-

trazvocnega volumna. Za lazjo predstavo so rezultati meritev prikazani tudi na dveh

grafih, ki ju kaze slika 25.

1 2 3 4 5 6 7 8 9 10500

1000

1500

2000

2500

3000

3500

Cas

por

avna

vanj

a re

zin

[s]

Razmik med rezinama1 2 3 4 5 6 7 8 9 10

0.989

0.99

0.991

0.992

0.993

0.994

0.995

0.996

0.997

0.998

0.999

Koe

ficie

nt p

odob

nost

i µ

Razmik med rezinama

Slika 25: Grafa, ki prikazujeta cas poravnavanja (levo) in koeficient podobnosti priporavnavanju (desno) v odvisnosti od razmika med rezinama ultrazvocnega volumna.

Ce pogledamo levi graf na sliki 25, vidimo, da se z vecanjem razmika med rezinama

cas, ki ga algoritem porabi za poravnavanje, povecuje. To dejstvo tako potrjuje nasa

pricakovanja in je posledica tega, da so si rezine z vecjo medsebojno razdaljo manj

podobne, torej imajo vecje stevilo lokalnih sprememb, kar pomeni, da bo algoritem po-

rabil vec casa, da bo nasel ustrezno deformacijsko funkcijo. Po drugi strani pa lahko na

desnem grafu opazimo, da koeficient podobnosti ob povecevanju razmika med opazova-

nima rezinama pada. Tudi to je posledica povecevanja lokalnih sprememb pri vecanju

razmika med rezinama. Vendar lahko potrdimo, da so vrednosti na desnem grafu, ki

prikazuje koeficiente podobnosti, dovolj blizu 1, kar potrjuje uspesnost poravnavanja v

vseh prikazanih primerih. Za razumevanje prikazanih rezultatov je dovolj, ce predsta-

vimo samo deformacijska polja poravnavanj pri posameznih razmikih med rezinama.

Rezultati 57

Ta so prikazana na sliki 26.

(a) d = 1 (b) d = 2 (c) d = 3

(d) d = 5 (e) d = 8 (f) d = 10

Slika 26: Deformacijska polja, dobljena kot rezultat poravnavanja rezin ultrazvocnegavolumna z razlicnimi razmiki. Parameter d predstavlja razmik med opazovanima rezi-nama.

Motena obmocja na poravnanih slikah

Opazimo lahko, da se na nekaterih delih poravnanega ultrazvocnega posnetka poja-

vljajo nenavadna motena obmocja. Ta motena obmocja lahko nastanejo iz vec razlo-

gov. Lahko nastanejo takrat, ko deformacijska funkcija skusa zelo majhna obmocja na

sliki raztegniti v velika obmocja. Na ultrazvocnih posnetkih jajcnikov se to zgodi v

situaciji, ko je na referencni sliki prikazan vecji mesicek, na testni sliki pa je ta zelo

majhen ali pa ga sploh ni. Takrat deformacijska funkcija skusa majhno crno (ali celo

sivo obmocje) na testni sliki raztegniti preko celotnega mesicka na referencni sliki, kar

se odraza kot zamegljen predel tistega obmocja slike. Velja pa tudi obratno, ko defor-

macijska funkcija zeli skriti mesicek na testni sliki, ki ga na referencni sliki ni. Primer

te situacije je prikazan na sliki 27. Na tej sliki je v sredini obmocje, ki je obkrozeno z

rdeco kroznico. Vidimo, da poravnava pri izbranem parametru h ni uspela popolnoma

zakriti mesicka, okoli tega mesicka pa se lepo vidi posledica deformacijskih sil, ki so

delovale v tem obmocju.

Na podoben nacin pride do pojava podobnih obmocij tudi pri zelo tezkih deformaci-

jah (vrtinci). To se bo najbolj opazilo pri poskusu poravnavanja zasukanih posnetkov,

Rezultati 58

Slika 27: Prikaz skrivanja mesicka pri poravnavanju dveh ultrazvocnih posnetkov. Nalevi je prikazana referencna slika, na desni testna slika, na sredini pa poravnana testnaslika.

kot bomo videli kasneje. V teh primerih so lahko taka obmocja na slikah dokaj ve-

lika. Take situacije lahko v splosnem predstavimo s primerom iz narave. Kdor je imel

opravka s kakrsnimikoli zelo tankimi elasticnimi predmeti (npr. elasticna rokavica),

ve, da postane barva tega predmeta pri zelo mocnem raztegovanju na mestu, kjer je

natezna sila najvecja, svetlejsa. Na podoben nacin nastajajo posebni vzorci na nasih

poravnanih posnetkih.

Se en razlog za pojav motenih obmocij pa je lahko opis deformacijske funkcije s

pomocjo interpolacije z B-zlepki. Velik vpliv na to ima redkejsa mreza deformacijskih

parametrov. Poudariti je treba se eno pomembno lastnost interpolacije slike z B-zlepki,

ki lahko deluje tudi kot nizko sito. Na sliki 28 je prikazan primer interpolacije slike, kjer

smo kontrolne tocke B-zlepkov postavili na vsak cetrti piksel. Slika ima locljivost 150

x 120 pikslov, kar pomeni, da je slika opisana z 18000 piksli. Polje kontrolnih tock B-

zlepkov interpolirane slike pa je veliko 37 x 30, kar pomeni, da je ta slika opisana s 1110

kontrolnimi tockami. Vidimo, da je glavna znacilnost interpolirane slike zamegljenost,

ki je zelo podobna prej omenjenim motenim obmocjem na slikah.

Po stevilnih opravljenih poskusih lahko trdimo, da je algoritem zelo primeren za

poravnavanje ultrazvocnih posnetkov, za katere so znacilne blage lokalne transforma-

cije. Vendar pa se utegne zgoditi, da pari ultrazvocnih posnetkov, ki jih poravnavamo,

nimajo vedno idealnih lastnosti (v nasem primeru so to lokalne deformacije). Zato

v naslednjih podpoglavjih sledijo rezultati poskusov poravnavanja z razlicnimi pari

ultrazvocnih posnetkov s posebnimi lastnostmi.

6.9 Poravnavanje ultrazvocnih posnetkov z zelo majhnimi lo-

kalnimi spremembami

Pogosto pride do situacije, ko se referencna in testna slika zelo malo razlikujeta. Taki

primeri se v praksi lahko pogosto pojavijo, predvsem takrat, ko med zaporednima

Rezultati 59

Slika 28: Interpolacija posnetka, kjer smo postavili pri interpolaciji kontrolne tocke B-zlepkov na vsak cetrti piksel posnetka. Levo je prikazan original, desno pa interpoliranaslika.

ultrazvocnima pregledoma ne mine veliko casa. Takrat so deformacije tkiva res mi-

nimalne. Tako situacijo lahko predstavimo tudi z opazovanjem sosednjih rezin ul-

trazvocnega volumna. Opazovani posnetki bodo v obeh primerih imeli podobne la-

stnosti.

Opravili smo tri poskuse poravnavanja posnetkov z opisanimi lastnostmi. Domne-

vali smo, da bo zaradi podobnosti posnetkov vrednost ocenitvene funkcije blizu opti-

malni poravnavi in da utegne optimizacijski algoritem morda prehitro koncati optimi-

zacijo. Zaradi tega smo morali upostevati lastnosti parametra h, za katerega smo ze

povedali, da doloca, kako natancno naj bo dolocena deformacijska funkcija. Sklepali

smo, da bi izbira tega parametra utegnila biti kljucna za ucinkovitost algoritma za

poravnavanje pri posnetkih z zelo majhnimi lokalnimi spremembami.

Na sliki 29 je prikazan prvi poskus poravnavanja posnetkov z zelo majhnimi lokal-

nimi spremembami. V prvem stolpcu je zgoraj prikazana referencna, spodaj pa testna

slika. Opazimo lahko, da ima opazovani jajcnik vecje stevilo mesickov, med katerimi

so razlike zelo majhne. Takoj je jasno, da ima izbira parametra h se kako pomemben

vpliv. V drugem in tretjem stolpcu sta prikazana rezultata poravnavanja pri h = 16

in h = 8. Omeniti moramo, da smo isti par posnetkov poravnavali tudi pri h = 32,

vendar se je izkazalo, da je narava opazovanega problema taksna, da visoke vredno-

sti parametra h niso dale zadovoljivih rezultatov, zato bomo v tej sekciji prikazovali

rezultate poravnavanja za nizje vrednosti parametra h.

Ce dobro pogledamo rezultate poravnave, vidimo, da je poravnavanje bilo uspesno.

Ze poravnava pri h = 16 je zelo lepo nakazala smeri deformacij, pri h = 8 pa je rezultat

nekoliko boljsi, vendar se bistveno ne razlikuje. S pomocjo preglednice 8 poglejmo, kaj

Rezultati 60

h = 16 h = 8

Slika 29: Prvi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spremembami.V prvem stolpcu je na vrhu prikazana referencna, spodaj pa testna slika. Drugi stolpecprikazuje rezultat poravnavanja pri izbiri parametra h = 16, tretji stolpec pa pri h = 8.

pravijo numericni rezultati meritev.


32 16 100 0,99306616 13 300 0,9944058 8 720 0,995165

Preglednica 8: Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih posnet-kov z zelo majhnimi lokalnimi spremembami.

Po pregledu rezultatov meritev se prepricamo, da je ta poskus v primerjavi s pred-

hodnimi poravnavami pri vseh vrednostih parametra h bistveno hitrejsi, pa tudi ko-

eficienti podobnosti so veliko blizje 1. Glede na te rezultate lahko recemo, da je bilo

poravnavanje v tem primeru dokaj ucinkovito.

Drugi poskus poravnavanja je prikazan na sliki 30. Ze po pregledu referencnega in

testnega posnetka (prva vrstica slike) vidimo, da so spremembe med njima zelo majhne

in lokalne. Tudi ti sliki predstavljata sosednji rezini v ultrazvocnem volumnu. Zato smo

Rezultati 61

Ir It

h = 8

h = 4

Slika 30: Drugi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spremem-bami. V prvi vrstici sta prikazani referencna in testna slika, v drugi vrstici je prikazanrezultat poravnavanja pri vrednosti parametra h = 8, v tretji vrstici pa pri h = 4.

ju poravnavali pri h = 8 in h = 4. Ce pogledamo se rezultate meritev v preglednici 9,

vidimo, da je ta poskus za nas algoritem predstavljal tezko nalogo, kar lahko sklepamo

predvsem po casu poravnavanja pri h = 4. Poravnava je v tem primeru namrec trajala

kar dobro poldrugo uro.

Kljub dlje casa trajajocemu poravnavanju pa rezultat poravnave, ce opazujemo

jajcne mesicke na poravnavnih slikah, ni najboljsi. Kljub vsemu pa so na deformacijskih

poljih lepo razvidne in pravilno nakazane smeri deformacije, kar je tudi nas cilj, zato

Rezultati 62


8 7 1140 0,9944054 9 5910 0,995165

Preglednica 9: Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-snetkov z zelo majhnimi lokalnimi spremembami.

smatramo, da je algoritem svojo nalogo vendarle opravil.

V tretjem poskusu smo poravnavali posnetka, ki sta na prvi pogled enaka, na nekaj

manjsih mestih pa se vendarle razlikujeta. Zanimal nas je predvsem odziv algoritma.

Pricakovali smo, da bo zaradi velike podobnosti med posnetkoma poravnavanje se

hitrejse kot v dosedanjih poskusih, koeficient podobnosti pa utegne imeti visoke vre-

dnosti.

Rezultate poravnavanja kaze slika 31. V prvem stolpcu sta prikazani referencna slika

(zgoraj) in testna slika (spodaj). Vidimo, da sliki resnicno na prvi pogled izgledata

enaki. V drugem in tretjem stoplcu sta prikazana rezultata poravnavanja za h = 8 in

h = 4.

Vidimo, da je tudi v tej situaciji za ucinkovito poravnavo bila potrebna dokaj gosta

mreza deformacijskih parametrov. Razlike so res minimalne in so lepo razvidne na

deformacijskih mrezah. Sedaj pa si poglejmo se rezultate meritev, ki so prikazani v

preglednici 10.

Opazimo lahko, da je algoritem v tem primeru kocnal poravnavno zelo hitro, koe-

ficienta podobnosti pa sta zelo visoka in zelo blizu 1, tako da sta se potrdila obe nasi

pricakovanji.

Se enkrat se je izkazalo, da algoritem za poravnavo posnetkov z zelo majhnimi lokal-

nimi spremembami potrebuje manj casa. Treba pa je poudariti, da je treba za pokritje

vseh teh majhnih sprememb (reda nekaj pikslov) nastaviti ustrezno nizko vrednost pa-

rametra h in s tem na testno sliko poloziti dovolj fino mrezo deformacijskih parametrov.

Algoritem namrec pri redko postavljeni mrezi majhne spremembe spregleda.


8 3 340 0,9975384 5 1700 0,997993

Preglednica 10: Rezultati meritev pri tretjem poskusu poravnavanja ultrazvocnih po-snetkov z zelo majhnimi lokalnimi spremembami.

Rezultati 63

h = 8 h = 4

Slika 31: Tretji poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spremem-bami. V prvem stolpcu je zgoraj predstavljena referencna, spodaj pa testna slika.Drugi stolpec predstavlja rezultate poravnavanja pri parametru h = 8, tretji stolpecpa pri h = 4.

6.10 Poravnavanje ultrazvocnih posnetkov z vecjimi spremem-

bami

Pri naslednjih poskusih pa smo se preselili v drugo skrajnost. Lotili smo se poravnava-

nja ultrazvocnih posnetkov z vecjimi spremembami. Ultrazvocne posnetke takega tipa

dobimo z zajemom slik istega dela cloveskega telesa, kjer je med zaporednim pregledom

z ultrazvocno napravo minilo veliko casa, lahko pa vzamemo dve rezini ultrazvocnega

volumna z vecjim medsebojnim razmikom (ponavadi pet ali vec rezin). Zanimalo nas

je, kako se bo odzval algoritem pri poravnavanju posnetkov, na katerih nastopajo vecje

spremembe. Glede na dosedanje poskuse smo pred zacetkom poravnavanja domnevali,

da se utegne cas poravnavanja z algoritmom povecati, zmanjsal pa se bo koeficient

podobnosti. Zanimalo nas je, ali bo algoritem nasel deformacijsko funkcijo, ki bo kljub

manjsi podobnosti opazovanih slik prikazala pravilne smeri deformacij.

Opravili smo dva poskusa poravnavanja ultrazvocnih posnetkov jajcnikov z ome-

Rezultati 64

njenimi lastnostmi. Prvi poskus poravnavanja je prikazan na sliki 32. V prvem stolpcu

zgoraj je prikazana referencna, spodaj pa testna slika. Omenjeni sliki predstavljata re-

zini ultrazvocnega volumna z razmikom, ki znasa 8 rezin. Poravnavali smo pri h = 16

(drugi stolpec) in h = 8 (tretji stolpec). Ze pri primejavi testne in referencne slike

ugotovimo, da so jajcni mesicki na posnetkih postavljeni popolnoma drugace.

h = 16 h = 8

Slika 32: Prvi poskus poravnavanja posnetkov z vecjimi spremembami. V prvemstolpcu sta prikazani referencna slika (zgoraj) in testna slika (spodaj). Drugi stolpecprikazuje rezultat poravnavanja pri h = 16, tretji stolpec pa pri h = 8.

Rezultat poravnavanja nazorno kaze, v katero smer je sla poravnava. Algoritem

skusa istolezne mesicke, ki so razlicno postavljeni, delno poravnati ali pa jih obravnava

kot skupino, kar je lepo razvidno v obeh zgornjih skupinah mesickov na poravnanih

posnetkih. Ta ugotovitev je povsem razumljiva, saj je algoritem namenjen za lokalno

poravnavo, zato isce predvsem lokalne spremembe. Ce na poravnano skupino mesickov

gledamo kot na en sam mesicek, vidimo, da je poravnavanje uspelo, kar je razvidno tudi

iz deformacijskih polj, prikazanih na sliki 32. Sedaj si poglejmo se rezultate numericnih

meritev, ki so prikazani v preglednici 11.

V preglednici 11 lahko vidimo, da sta nasi domnevi o daljsem casu poravnavanja in

Rezultati 65


32 9 50 0,98524316 26 480 0,9899978 18 1800 0,991957

Preglednica 11: Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih po-snetkov z velikimi spremembami.

manjsem koeficientu podobnosti potrjeni, s tem da cas poravnavanja ni bistveno daljsi

kot pri dosedanjih poravnavah.

V nadaljevanju smo opravili poskus poravnavanja ultrazvocnih posnetkov, kjer je

na referencni in testni sliki skupen samo en jajcni mesicek. Omenjeni sliki predstavljata

rezini ultrazvocnega volumna z medsebojnim razmikom 10 rezin. Omenjeni rezini sta

bili izbrani nacrtno, in sicer tako, da bi bile razlike med testno in referencno sliko cim

vecje, hkrati pa je razvidno, da gre za isti opazovani objekt (v nasem primeru jajcnik).

Omenjen par posnetkov smo poravnavali pri vrednosti parametra h = 8. Rezultat

poravnavanja je prikazan na sliki 33. V zgornji vrstici je najprej prikazana referencna

slika, sledi testna slika. V drugi vrstici je najprej prikazana poravnavana testna slika,

sledi pa se njeno pripadajoce deformacijsko polje.

Odziv algoritma je tudi pri tem poravnavanju podoben kot pri prejsnjem poskusu.

Ce pogledamo rezultate meritev, prikazane v preglednici 12, opazimo, da so dobljeni

rezultati zelo podobni tistim v prejsnjem poskusu, ki so prikazani v preglednici 11.

Tako lahko sklepamo, da bo cas trajanja in ucinkovitost poravnave pri takih tipih

posnetkov vedno v okviru rezultatov, prikazanih v preglednicah 11 in 12.


8 25 1700 0,992080

Preglednica 12: Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-snetkov z velikimi spremembami.

Kljub uspesnemu poravnavanju posnetkov z vecjimi razlikami pa je vprasljiva upo-

rabnost dobljene deformacijske funkcije in pripadajocega polja premikov. Ce opazu-

jemo deformacijska polja, predstavljena pri poskusih v tem podpoglavju, opazimo, da

so zelo deformirana in zato zelo nepregledna. Vendar je treba poudariti, da smo obrav-

navali tipe posnetkov, pri katerih celo na podlagi se tako podrobnega opazovanja tezko

ugotovimo ali pa sploh ne moremo ugotoviti smeri deformacij (razen morda ekspertov).

Zato tega tudi ne smemo pricakovati od nasega algoritma, ki je namenjen predvsem

za lokalne poravnave. Z napovedovanjem takih tipov sprememb na ultrazvocnih po-

snetkih, ki so prikazani v tem podpoglavju, se ukvarjajo druga podrocja racunalnistva,

tako da odkrivanje takih sprememb ni predmet te diplomske naloge. V tej sekciji

Rezultati 66

Ir It

h = 8

Slika 33: Drugi poskus poravnavanja posnetkov z vecjimi spremembami. V prvi vrsticije na levi prikazana referencna, na desni pa testna slika. V drugi vrstici je prikazanrezultat poravnavanja pri h = 8.

smo s poskusi predvsem zeleli preveriti delovanje nasega algoritma in ali so rezultati

poravnavanja smiselni.

6.11 Poravnavanje togo preslikanih ultrazvocnih posnetkov

Za posnetke, ki jih poravnavamo, je znacilno, da je eden izmed njih nekoliko zasukan

ali pa premaknjen. Ta pojav ustreza togim preslikavam. V praksi pride pri pregledih z

ultrazvokom velikokrat do takih situacij, saj pri vec pregledih nikoli ne moremo dolociti

natancne lege sonde, zato je lahko ena slika nekoliko zasukana ali pa premaknjena v

primerjavi z drugo. Zato se nam je zdelo zelo pomembno, da preverimo delovanje

algoritma za elasticno poravnavanje s primeri posnetkov, za katere je znacilna toga

preslikava. Predvsem nas je zanimal rezultat pri zasuku. Upali smo namrec, da bo

Rezultati 67

algoritem za poravnavanje odporen na toge preslikave.

Izbrali smo ultrazvocni posnetek in ga oznacili kot referencno sliko. To sliko smo za-

sukali za dolocen kot. Zasukano sliko smo oznacili kot testno sliko. Pricakovali smo, da

bo rezultat poravnave testna slika, ki bo identicna referencni sliki. Tako smo za zacetek

skusali poravnati posnetek, ki smo ga zasukali za 180 stopinj. Po zagonu algoritma

smo zaradi trajanja poravnave in nepricakovano velikega stevila iteracij sklepali, da

je poravnavanje zasukanih posnetkov za nas algoritem zelo tezka naloga. Vseeno smo

upali na ugoden rezultat, vendar smo takoj po pregledu poravnanega ultrazvocnega

posnetka ugotovili, da se nasa pricakovanja niso izpolnila. Ker slika pove vec kot be-

sede, si oglejmo rezultat omenjenega poravnavanja, ki je prikazan na sliki 34. V zgornji

vrstici sta prikazani najprej referencna in nato testna slika, v spodnji vrstici pa rezultat

poravnavanja in pripadajoce deformacijsko polje.

Ir It

Rezultat poravnavanja posnetkov

Slika 34: Poravnavanje enakih ultrazvocnih posnetkov, ki sta drug proti drugemu za-sukana za 180 stopinj.

Vse, kar lahko opazimo na poravnani sliki in deformacijskem polju, je kup vrtincev.

Tako ugotovimo, da je poravnava v okviru algoritma sicer smiselna, vendar je rezultat

poravnavanja zasukanih posnetkov popolnoma neuporaben.

Rezultati 68

V nadaljevanju smo skusali ugotoviti, zakaj poravnavanje zasukanih posnetkov daje

taksne rezultate. Zaradi lazjega razumevanja bomo situacijo elasticnega poravnavanja

v grobem opisali z enostavnim fizikalnim eksperimentom. Predstavljajmo si, da imamo

zelo tanko elasticno krpo, ki jo razgrnemo cez podlago. Ta krpa predstavlja testno

sliko. Sedaj to krpo prebodimo z mnozico igel, ki naj bodo enako razmaknjene. Vse

igle zapicimo v podlago. Te igle naj predstavljajo mrezo deformacijskih parametrov.

Sedaj lahko deformiramo krpo tako, da izberemo eno izmed igel, jo rahlo dvignemo

(pazimo, da krpa ostane prebodena) in jo zapicimo v podlago na neko drugo, bliznjo

lokacijo. Premik igle je omogocen samo v njeni manjsi okolici (tako kot deformacijski

parameter deluje na okoliske piksle). Krpa se bo v okolici igle ponekod skrcila, na

drugod pa raztegnila. Sedaj lahko vse igle na podoben nacin premikamo in s tem

dolocimo deformacijsko funkcijo. Ce po teh pravilih skusamo zasukati sliko za, recimo,

180 stopinj, ze po nekaj poskusih opazimo, da je to nalogo nemogoce uspesno izvesti.

Ce se potrudimo po najboljsih moceh, bomo kot rezultat dobili elasticno krpo z velikim

stevilom vrtincem. Na tem mestu samo se dodajmo, da se s pomocjo tega fizikalnega

eksperimenta vidi, kje je najvecja moc algoritma za elasticno poravnavanje in zakaj

pri poravnavanju ultrazvocnih posnetkov z lokalnimi spremembami dobimo tako dobre

rezultate.

Kljub vsemu pa smo zeleli ugotoviti, ali je nas algoritem sploh odporen na zasuk,

in ce je, do kaksne mere je odporen. Zato smo referencno sliko zasukali za razlicne

kote, zacensi z najmanjsimi koti. Nato smo kote povecevali, sliki poravnavali in ugota-

vljali, kje je meja, kjer se zacnejo nesmiselni rezultati. Vse posnetke smo poravnavali

pri vrednosti parametra h = 16. Stopinje zasuka pri posamezni poravnavi in ustrezni

numericni rezultati so prikazani v preglednici 13. Ker koeficient podobnosti pri ome-

njenih poskusih poravnavanja ne kaze nobene smiselne informacije, ga v tej preglednici

namerno nismo prikazali.

Kot zasuka [◦] Stevilo iteracij Cas izvajanja [s]1 15 5405 19 82010 24 106020 35 148045 46 2040180 54 2200

Preglednica 13: Rezultati meritev poravnavanja zasukanih posnetkov pri razlicnih ko-tih.

V primerjavi z numericnimi rezultati poravnavanja predhodnih posnetkov lahko

takoj opazimo, da se je povecalo stevilo iteracij, prav tako pa se je zelo podaljsal cas

Rezultati 69

poravnavanja pri velikih kotih. Se pomembnejsa pa je ugotovitev, da casi poravnavanja

mocno narascajo v odvisnosti od velikosti kota. Sedaj pa si oglejmo posnetke, ki smo

jih dobili kot rezultat poravnavanja. Prikazani so na sliki 35. Rezultati poravnavanja

pri razlicnih kotih so prikazani v posameznih vrsticah kot trojice, kjer prva slika pomeni

zasukano referencno sliko, sledi poravnana zasukana referencna slika, na koncu pa se

pripadajoce deformacijsko polje.

Iz prikazanih posnetkov na sliki 35 lahko ugotovimo, da so se sprejemljivi rezultati

poravnavanja pri zasukih slik do 10 stopinj. Tako je pri poravnavanju pri zasuku za

1 in 5 stopinj poravnana slika se povsem identicna referencni sliki. Pri poravnavanju

z zasukom 10 stopinj, ki je zadnja meja, ki daje sprejemljive rezultate, pa so ze vidni

vrtinci, ceprav so podrocja opazovanja se vedno poravnana v skladu z referencno sliko.

Pri nadaljnjih poskusih (20, 45 in 180 stopinj) pa pride do tezkih deformacij in vrtincev,

ki ob povecevanju kota zasuka postajajo mocnejsi, slike pa tako popacijo, da postanejo

neuporabne.

Ob poravnavanju posnetkov, ki se razlikujejo zaradi toge preslikave, moramo po-

udariti se eno stvar. Tudi ce bi rezultati poravnavanja teh posnetkov bili uspesni ali

pa bi jih razglasili za uspesne (zasuk do 10 stopinj), se moramo zavedati, da dobljena

deformacijska funkcija povzroci velike premike. Spomniti se moramo namrec nasega

cilja, kjer zelimo odkrivati lokalne spremembe na slikah. Dognali pa smo, da ze pri

poravnavi identicne slike, in to ze pri zasuku za 5 stopinj, dobimo deformacijsko polje,

ki ze nakazuje relativno mocne deformacije (slika 35, prva vrstica), povrh vsega pa so se

neustrezne. Glede na to, da sta sliki identicni, bi pricakovali, da bi deformacijsko polje

moralo biti zasukano za ustrezen kot, kar pa se ni zgodilo. Nas algoritem obravnavano

situacijo namrec jemlje kot sliki z lokalnimi spremembami in jih ne obravnava kot sliki

z zasukom oziroma premikom. Zato pri taksnih situacijah sam nikakor ne more doseci

zelenega cilja, to je odkriti lokalne spremembe na opazovanih ultrazvocnih posnetkih.

Cilj je pa mozno doseci tako, da pred elasticnim poravnavanjem opazovani sliki najprej

poravnamo s pomocjo toge poravnave. Se vec, izkaze se, da zaporedno poravnavanje

z omenjenima postopkoma daje najucinkovitejse rezultate, veliko boljse, kot ce bi sliki

poravnavali z omenjenima postopkoma posamezno. V praksi se pogosto pojavljajo pri-

meri zasukanih posnetkov, zato je priporocljivo, da pred uporabo elasticne poravnave

te posnetke poravnamo s togo poravnavo.

6.12 Poravnavanje s pomocjo ocenitvene funkcije SSD

V naslednjem zaporedju poskusov smo skusali ugotoviti, kaksne rezultate daje nas

algoritem za poravnavanje v primerjavi z algoritmom, ki ima drugacno ocenitveno

funkcijo. Kot alternativno ocenitveno funkcijo smo uporabili vsoto kvadratov razlik

Rezultati 70

1◦

5◦

10◦

20◦

45◦

Slika 35: Poravnava zasukanih ultrazvocnih posnetkov pri razlicnih kotih. Poravnavaza posamezni kot je predstavljena v posamezni vrstici. Prvi stolpec prikazuje testne(zasukane referencne) slike, drugi stolpec prikazuje poravnane testne slike, zadnji stol-pec pa njihova deformacijska polja.

Rezultati 71

med dvema slikama [17]. V tuji literaturi je omenjena funkcija predstavljena s kratico

SSD (sum of squared differences). Zaradi krajsega zapisovanja bomo v nadaljevanju

algoritem, ki za poravnavanje ultrazvocnih posnetkov uporablja ocenitveno funkcijo

SSD, imenovali metoda SSD, nas algoritem, ki smo ga obravnavali doslej in ki poravnava

ultrazvocne posnetke s pomocjo pegastega suma, pa bomo imenovali metoda USST

(ultrasound speckle tracing) [16].

Ocenitvena funkcija SSD je predstavljena z naslednjo enacbo:

ESSD =1

N

∑

x∈I

(fωt (x) − fr(x))2, (39)

kjer N predstavlja stevilo pikslov na slikah, fωt (x) predstavlja deformirano testno sliko

in fr(x) predstavlja referencno sliko.

Ob spremembi ocenitvene funkcije je potrebno ustrezno spremeniti izracun gradi-

enta te funkcije, kjer je potrebno malce spremeniti obstojeco enacbo za izracun prvega

odvoda. Enacba za izracun prvega odvoda ocenitvene funkcije SSD se tako glasi:

∂ESSD

∂ck,m

=1

N

∑

x∈Z2

2(fωt (x) − fr(x))

∂f ct (d)

∂xm

∣∣∣∣d=u(x)

∂um(x)

∂ck,m

. (40)

V smislu implementacije algoritma uporabimo kar obstojec algoritem za poravna-

vanje s spremembami na mestih, ki jih opisujeta enacba (39) in (40). Ostale dele kode

pustimo nespremenjene. S tem bomo dosegli, da bo na rezultate poskusov poravnava-

nja vplivala izkljucno sprememba ocenitvene funkcije.

Da bi ugotovili vpliv razlicnih ocenitvenih funkcij na poravnavanje, smo poskuse

poravnavanja izvajali na ultrazvocnih posnetkih, ki smo jih ze poravnavali v trenutnem

poglavju. Dobljene rezultate poravnavanja s pomocjo obeh postopkov smo primerjali

in skusali oceniti, kateri postopek daje boljse rezultate. Tudi v teh poskusih smo

poravnavali ultrazvocne posnetke z razlicnimi znacilnostmi.

Rezultate meritev bomo prikazovali na podoben nacin, kot smo jih prikazovali do-

slej. Vendar je na tem mestu potrebno omeniti, da ocenitvena funkcija SSD vraca

drugacne vrednosti kot ocenitvena funkcija E. Rezultate ocenitvene funkcije ESSD

bomo skusali predstaviti s koeficientom podobnosti µ. Glede na to, da pri funkciji

SSD gre za vsoto kvadratov razlik, velja, da cim bolj podobni sta si sliki, tem bolj

je rezultat ocenitvene funkcije ESSD blizje vrednosti 0. Rezultat ocenitvene funkcije

ESSD pri poravnavanju dveh enakih slik je tako enak 0. Na podlagi te trditve lahko

postavimo enacbo za izracun koeficienta podobnosti, ki se glasi:

µSSD = 1 − ESSD(fr, fωt ), (41)

Rezultati 72

kjer fr predstavlja referencno, fωt pa poravnano testno sliko. Koeficient podobnosti

µSSD bo pri bolj podobnih slikah blizje vrednosti 1, kar velja tudi za koeficient po-

dobnosti µ. S pomocjo obeh koeficientov lahko tako enostavno primerjamo ocenjeno

podobnost opazovanih slik.

Poravnavanje lokalno spremenjenih ultrazvocnih posnetkov

Najprej smo se lotili poravnavanja ultrazvocnih posnetkov z manjsimi lokalnimi spre-

membami, ki so v praksi najpogostejsi. Prvi poskus je bil izveden pri treh razlicnih

vrednostih parametra h, in sicer pri h = 32, h = 16 ter h = 8. Na sliki 36 lahko

primerjamo rezultate poravnavanja, dobljenih pri uporabi metod SSD in USST.

V prvi vrstici sta prikazani najprej referencna in nato se testna slika. Po vrsticah

so prikazani rezultati poravnavanja pri parametrih h = 32, h = 16 in h = 8 (od zgoraj

navzdol). Zaradi lazje primerjave se v prvem stolpcu nahajajo testne slike poravnane z

metodo USST, v tretjem stolpcu se nahajajo njihova pripadajoca deformacijska polja,

v drugem stolpcu vidimo testne slike, poravnane z metodo SSD in v zadnjem stolpcu

njihova pripadajoca deformacijska polja. Tak nacin prikaza bomo v tem podpoglavju

uporabljali pri vseh prikazih rezultatov poravnavanja.

Preden podamo komentar primerjave rezultatov poravnavanja, si oglejmo se rezul-

tate meritev, dobljenih pri omenjenih poskusih, ki so prikazani v preglednici 14.

h k kSSD t [s] tSSD [s] µ µSSD

32 12 13 135 150 0,990701 0,98920916 12 22 490 920 0,992933 0,9925628 7 11 1380 1960 0,994157 0,993961

Preglednica 14: Rezultati meritev pri prvem poskusu poravnavanja z metodama USSTin SSD.

V preglednici 14 oznaka k predstavlja stevilo iteracij, potrebnih za poravnavanje

posnetkov ob uporabi metode USST, oznaka kSSD predstavlja stevilo iteracij, potrebnih

za poravnavanje posnetkov ob uporabi metode SSD, oznaka t predstavlja cas, potreben

za poravnavanje ultrazvocnih posnetkov ob uporabi metode USST, oznaka tSSD pa

predstavlja cas, potreben za poravnavanje ultrazvocnih posnetkov ob uporabi metode

SSD. Oznaki µ in µSSD predstavljata koeficienta podobnosti ob uporabi metode USST

oziroma SSD. Te oznake bomo pri prikazovanju meritev uporabljali tudi v nadaljevanju.

Na sliki 37 so rezultati meritev pri poravnavanju prikazani s pomocjo grafov. Na

levi je prikazan cas poravnave v odvisnosti od izbire parametra h, na desni pa koeficient

podobnosti pri razlicni izbiri parametra h. Z grafom modre barve je prikazan rezultat

poravnavanja z metodo USST, z rdecim grafom pa rezultat poravnavanja z metodo

Rezultati 73

Ir It

h = 32

h = 16

h = 8

Slika 36: Primerjava rezultatov pri prvem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.

SSD.

Ce najprej pogledamo rezultate poravnavanja na sliki 36 in primerjamo rezultate

obeh poravnav, lahko opazimo, da so rezultati poravnavanja pri izbiri parametra h =

32 pri uporabi obeh ocenitvenih funkcij enaki. Poravnava je v obeh primerih prevec

groba in zato so rezultati dalec od pricakovanega. Tudi koeficienta podobnosti sta

Rezultati 74

5 10 15 20 25 30 350

200

400

600

800

1000

1200

1400

1600

1800

2000

h

Cas

por

avna

vanj

a [s

]

5 10 15 20 25 30 350.989

0.99

0.991

0.992

0.993

0.994

0.995

0.996

h

Koe

ficie

nt p

odob

nost

i µ

Slika 37: Grafa, ki prikazujeta rezultate meritev pri prvem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.

v obeh primerih po pricakovanju zelo nizka. Pri izbiri parametra h = 16 pa lahko

pridemo do nekaterih novih spoznanj. Vidimo lahko, da so smeri deformacij v obeh

primerih pravilno nakazane, rezultat poravnave pa je pri uporabi metode SSD nekoliko

natancnejsi kot pri uporabi metode USST, ceprav koeficienta podobnosti kazeta, da

je posnetek, poravnan z metodo USST, nekoliko bolj podoben referencni sliki, vendar

zaradi majhnih razlik med vrednostmi koeficientov ta ocena v tem primeru ni najboljse

merilo. Da pa bi lahko dokoncno ocenili, kateri postopek ima boljsi ucinek, pa si

oglejmo case poravnavanja. Poravnavanje z metodo SSD je trajalo kar 430 sekund dlje

od poravnavanja z metodo USST. Tudi stevilo iteracij optimizacijskega algoritma je pri

metodi SSD nekoliko vecje. Res bi lahko trdili, da je rezultat poravnavanja s pomocjo

metode SSD nekoliko natancnejsi, vendar so tudi na poravnanem posnetku z metodo

USST jasno razvidne smeri deformacij, zato lahko ob upostevanju casov poranavanja s

pomocjo obeh metod trdimo, da je poravnavanje z metodo USST v tem primeru vseeno

ucinkovitejse. Nato smo sli se korak dlje in vrednost parametra h postavili na 8. Na

sliki 36 (spodnja vrstica) lahko opazimo, da smo kot rezultat poravnavanja pri obeh

metodah dobili poravnana posnetka, ki se razlikujeta le za malenkosti. Temu primerno

sta si tudi dobljena koeficienta podobnosti precej blizu. Torej bo spet odlocilen cas

poravnavanja. Poravnavanje je tudi v tem primeru trajalo dlje in to kar za 560 sekund.

Tudi v tem primeru lahko brez zadrzkov trdimo, da je poravnavanje z metodo USST

ucinkovitejse. To potrjujeta tudi grafa, ki sta prikazana na sliki 37. Opazimo lahko,

da je pri prikazu casa poravnavanja rdeca crta (metoda SSD) vedno nad modro crto

(metoda USST), na grafu, ki prikazuje koeficiente podobnosti, pa je rdeca crta pod

modro, kar pomeni, da se je v obeh primerih bolj izkazala metoda USST.

Rezultati 75

Ir It

h = 32

h = 16

h = 8

Slika 38: Primerjava rezultatov pri drugem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.

Tudi v drugem poskusu smo poravnavali ultrazvocne posnetke z lokalnimi spre-

membami, ki pa so nekoliko kompleksnejsi za poravnavanje, saj so spremembe jajcnih

mesickov na posnetkih zelo raznolike. Tudi v tem primeru smo zeleli preveriti in primer-

jati ucinkovitost poravnavanja s pomocjo metod USST in SSD. Rezultat poravnavanja

z obema metodama je prikazan na sliki 38.

Rezultati 76

Poravnavanje z obema metodama smo opravili pri izbiri parametra h = 32, h = 16

in h = 8. Ce dobro pogledamo rezultate poravnavanja obeh metod na sliki 38, lahko ta-

koj opazimo, da so v tem primeru pri vrednostih obeh parametrov posnetki, poravnani

z metodo USST zelo podobni posnetkom, poravnanih z metodo SSD. Ce poravnane

posnetke in njihova pripadajoca deformacijska polja pregledamo natancneje, pa lahko

opazimo, da je poravnava posneteka z uporabo metode SSD nekoliko agresivnejsa kot

pri poravnavi z metodo USST, kar se kaze kot mocnejse deformacije. Opazimo lahko

tudi, da sta oba posnetka, poravnana s pomocjo metode SSD, zaradi tega nekoliko

bolj popacena, kot posnetka poravnana z metodo USST. To bomo metodi SSD steli

kot slabost. Na podlagi tega lahko na primeru poravnave pri h = 8 opazimo, da so

deformacije pri uporabi metode USST na deformacijskem polju lepse prikazane kot pri

uporabi metode SSD, kjer je deformacijsko polje bolj popaceno.


32 16 14 190 165 0,988972 0,9860616 14 16 590 760 0,992340 0,9918538 14 17 2510 3060 0,994142 0,993557

Preglednica 15: Rezultati meritev pri drugem poskusu poravnavanja z metodama USSTin SSD.

Sedaj si oglejmo se rezultate meritev pri poravnavanju posnetkov z obema meto-

dama, ki so prikazani v preglednici 15. Koeficienta podobnosti imata pri obeh metodah

v obeh primerih podobne vrednosti, kar je bilo pricakovano. Spet pa je vrednost ko-

eficienta pri metodi USST nekoliko visja. Glede casa poravnavanja pa se je ponovno

izkazala metoda USST. Pri uporabi metode SSD je pri izbiri parametra h = 16 porav-

navanje trajalo 170 sekund dlje, pri uporabi parametra h = 8 pa kar 550 sekund dlje.

Casi poravnavanja in koeficienti podobnosti so graficno prikazani na sliki 39. Tudi v

tem primeru lahko zasledimo, da je na levem grafu, ki prikazuje case poravnavanja

pri razlicnih izbirah parametra h, modra crta (metoda USST) vedno pod rdeco, ravno

obratno pa je na desnem grafu, ki prikazuje koeficiente podobnosti poravnanih posnet-

kov v odvisnosti od izbire parametra h, kar pomeni, da je se je tudi v tem poskusu

poravnavanja metoda USST izkazala kot ucinkovitejsa.

Poravnavanje ultrazvocnih posnetkov z zelo majhnimi lokalnimi spremem-

bami

V tretjem poskusu smo s pomocjo metode USST in SSD poravnavali ultrazvocne po-

snetke z zelo majhnimi lokalnimi spremembami. Gre za posnetke, kjer se nahajajo

spremembe na majhnih obmocjih, velikosti reda nekaj pikslov. S poskusi smo po-

Rezultati 77

5 10 15 20 25 30 350

500

1000

1500

2000

2500

3000

3500

h

Cas

por

avna

vanj

a [s

]

5 10 15 20 25 30 350.986

0.987

0.988

0.989

0.99

0.991

0.992

0.993

0.994

0.995

0.996

h

Koe

ficie

nt p

odob

nost

i µ

Slika 39: Grafa, ki prikazujeta rezultate meritev pri drugem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.

skusali ugotoviti, katera izmed primerjanih metod je ucinkovitejsa pri poravnavanju

takega tipa ultrazvocnih posnetkov.

Tretji poskus poravnavanja, kjer smo poravnavali posnetke z zelo majhnimi lokal-

nimi spremembami, je prikazan na sliki 40. Posnetke smo poravnavali pri izbiri para-

metrov h = 16 in h = 8. Na podlagi opazovanja posnetkov se ponovno izkaze, da so si

posnetki, poravnani s pomocjo metode USST in SSD, zelo podobni, le da je posnetek,

poravnan z metodo SSD, nekoliko bolj deformiran. Z razliko od prejsnjih poskusov

bomo mocnejse deformacije, dobljene pri poravnavanju z metodo SSD, tej metodi steli

kot pozitivno lastnost. Poravnavamo namrec posnetke, ki imajo zelo majhne lokalne

spremembe, ki so ponavadi tezko opazne, metode za poravnavanje pa jih tezko zaznajo.

Metoda SSD pa deformacije ocitno bolj poudari, kar lahko opazimo, ce primerjamo obe

deformacijski mrezi v tretji vrstici slike 40 (h = 8), zato bomo v tem primeru to metodi

SSD steli v prednost. Da bomo lahko dokoncno ocenili in primerjali ucinkovitost metod

USST in SSD, pa si poglejmo rezultate meritev, ki so prikazani v preglednici 16.


32 10 9 120 130 0,993949 0,99279316 8 12 460 550 0,994458 0,9937718 4 7 1000 1420 0,994946 0,994682

Preglednica 16: Rezultati meritev pri tretjem poskusu poravnavanja z metodama USSTin SSD.

Spet se izkaze, da metoda SSD izvede vec iteracij optimizacijskega algoritma kot

metoda USST, pa tudi cas poravnavanja je pri metodi USST manjsi kot pri metodi

Rezultati 78

Ir It

h = 32

h = 16

h = 8

Slika 40: Primerjava rezultatov pri tretjem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.

SSD. Metoda USST pri izbiri parametra h = 16 najde ustrezno poravnavo 90 sekund

hitreje kot metoda SSD, pri izbiri parametra h = 8 pa 420 sekund hitreje. Koeficienti

podobnosti so pricakovano zelo blizu skupaj, ceprav so koeficienti, dobljeni pri porav-

navanju z metodo USST za malenkost vecji. Meritve so prikazane tudi graficno na sliki

41, kjer so na levem grafu prikazani casi poravnavanja, na desni pa koeficienti podobno-

Rezultati 79

sti, dobljeni pri poravnavanju. Modra crta predstavlja rezultate meritev poravnavanja

z metodo USST, rdeca pa rezultate meritev poravnavanja z metodo SSD. Rezultati

so priblizno taksni, kot smo jih bili navajeni do sedaj, vendar bi v tem primeru kljub

nekoliko pocasnejsemu delovanju dali prednost metodi SSD, ki nekoliko bolj poudari

tiste minimalne razlike.

5 10 15 20 25 30 350

500

1000

1500

h

Cas

por

avna

vanj

a [s

]

5 10 15 20 25 30 350.9925

0.993

0.9935

0.994

0.9945

0.995

h

Koe

ficie

nt p

odob

nost

i µ

Slika 41: Grafa, ki prikazujeta rezultate meritev pri tretjem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.

V nadaljevanju smo opravili poskus poravnavanja na posnetkih, kjer so lokalne

razlike zelo minimalne in se pojavljajo le na nekaj manjsih obmocjih na slikah. Z

drugimi besedami povedano je slika, katero poravnavamo, zelo podobna referencni

sliki. Opravili smo poskuse poravnavanja pri vrednostih parametra h = 32, h = 16,

h = 8 ter h = 4.

Na sliki 42 je predstavljen rezultat poravnavanja omenjenih ultrazvocnih posnet-

kov. Opazimo lahko, da so poravnani posnetki ter deformacijska polja, ce primerjamo

rezultate poravnavanja z obema metodama, prakticno enaki. Morda so za malenkost

deformacije bolj poudarjene pri posnetkih, poravnanih z metodo SSD, vendar je ta

razlika zanemarljivo majhna. Temu primerno blizu skupaj so tudi koeficienti podob-

nosti, prikazani v preglednici 17. Torej bomo boljso metodo dolocili na podlagi casa

poravnavanja posnetkov.

Tudi casi poravnavanja posnetkov s pomocjo obeh metod so prikazani v preglednici

17. V pomoc nam je lahko tudi graf, prikazan na sliki 43, kjer modra crta predstavlja

meritve rezultatov poravnavanja z metodo USST, rdeca crta pa predstavlja meritve re-

zultatov poravnavanja s pomocjo metode SSD. Opazimo lahko, da je bilo poravnavanje

v tem primeru z metodo USST ponovno veliko hitrejse. Glede na to, da so poravnani

posnetki, dobljeni z obema metodama, prakticno enaki, lahko brez zadrzkov trdimo,

Rezultati 80

Ir It

h = 16

h = 8

h = 4

Slika 42: Primerjava rezultatov pri cetrtem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.

Rezultati 81


32 4 5 25 20 0,997397 0,99636916 6 7 110 120 0,997538 0,9967078 3 7 340 760 0,997700 0,997084 5 5 1690 1960 0,997993 0,997317

Preglednica 17: Rezultati meritev pri cetrtem poskusu poravnavanja z metodamaUSST in SSD.

da je poravnavanje s pomocjo metode USST ucinkovitejse.

0 5 10 15 20 25 30 350

200

400

600

800

1000

1200

1400

1600

1800

2000

h

Cas

por

avna

vanj

a [s

]

0 5 10 15 20 25 30 350.9962

0.9964

0.9966

0.9968

0.997

0.9972

0.9974

0.9976

0.9978

0.998

0.9982

h

Koe

ficie

nt p

odob

nost

i µ

Slika 43: Grafa, ki prikazujeta rezultate meritev pri cetrtem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.

Rezultati 82

Poravnavanje ultrazvocnih posnetkov z vecjimi lokalnimi spremembami

Za konec smo opravili se poskus poravnavanja ultrazvocnih posnetkov, za katere so

znacilne vecje lokalne spremembe. Kot smo ze omenili, je podobnost med referencnim in

testnim posnetkom zelo majhna. Tudi v tem primeru smo skusali primerjati ucinkovitost

metod USST in SSD. Omenjene ultrazvocne posnetke smo poravnavali pri vrednosti

parametra h = 32, h = 16 in h = 8. Rezultat poravnavanja omenjenih posnetkov je na

sliki 44.

V tem primeru pa vidimo, da pri primerjanju poravnavanja z obema metodama

rezultati niso vec podobni, ampak se je vsaka metoda odzvala drugace. Na podlagi

opazovanja slik je zelo tezko oceniti, katera izmed metod je dala boljse rezultate, saj

si posnetki, ki smo jih poravnavali, niso prevec podobni. Lahko pa recemo, da je

rezultat poravnavanja v obeh primerih smiseln glede na okoliscine. Glede na koeficiente

podobnosti, ki so prikazani v preglednici 18 in na sliki 45 (desni graf), lahko recemo,

da je poravnava s pomocjo metode SSD dala celo boljse rezultate.


32 9 20 50 80 0,985243 0,98140916 26 37 480 580 0,989997 0,9885788 18 27 1820 1680 0,991957 0,992113

Preglednica 18: Rezultati meritev pri petem poskusu poravnavanja z metodama USSTin SSD.

Ce si pogledamo case poravnav, lahko opazimo, da so nekje v podobnem okviru,

kar je razvidno tudi na sliki 45 (levi graf). Pri finejsi mrezi deformacijskih parametrov

je v tem primeru bila metoda SSD celo hitrejsa. Torej lahko trdimo, da se pri po-

ravnavanju manj podobnih posnetkov na podlagi trenutnega poskusa malenkost bolje

izkaze metoda SSD. Vendar pa v praksi taksnih posnetkov, med katerimi ni vsaj nekaj

podobnih obmocij, ponavadi ne poravnavamo.

Po opravljenem zaporedju poskusov, s katerimi smo primerjali poravnavanje dveh

razlicnih metod (USST in SSD), smo prisli do zakljucka, da je metoda USST, razvita

v okviru te diplomske naloge, ucinkovitejsa kot metoda SSD. Ucinkovitost se kaze

predvsem v casu poravnavanja posnetkov, ki je v povprecju precej manjsi kot pri metodi

SSD. Res je, da so rezultati poravnavanja dokaj podobni, vendar smo ugotovili, da

metoda USST poravnano sliko deformira manj agresivno kot metoda SSD, kar omogoca

lazje opazovanje smeri deformacij na primerjanih slikah.

Rezultati 83

Ir It

h = 32

h = 16

h = 8

Slika 44: Primerjava rezultatov pri petem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.

Rezultati 84

5 10 15 20 25 30 350

200

400

600

800

1000

1200

1400

1600

1800

2000

h

Cas

por

avna

vanj

a [s

]

5 10 15 20 25 30 350.98

0.985

0.99

0.995

h

Koe

ficie

nt p

odob

nost

i µ

Slika 45: Grafa, ki prikazujeta rezultate meritev pri petem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.

7 Sklep

V tej diplomski nalogi smo predstavili problem poravnavanja ultrazvocnih slik ter pre-

izkusili algoritem za elasticno poravnavanje ultrazvocnih posnetkov. S preizkusanjem

algoritma smo prisli do zanimivih sklepov.

Izkaze se, da algoritem daje najboljse rezultate pri poravnavanju ultrazvocnih po-

snetkov z blagimi lokalnimi spremembami, za katere lahko recemo, da pri poravnavi z

relativno redko mrezo postavljenih deformacijskih parametrov pridemo do dobrih re-

zultatov. Algoritem je uspesen tudi pri deformacijah, ki so malce tezje narave, vendar

takrat za optimalno poravnavo potrebuje vec iteracij in posledicno tudi vec casa.

Nekaj vec tezav povzrocajo posnetki z deformacijami, ki se pojavljajo na zelo majh-

nih obmocjih (reda nekaj pikslov). Algoritem zaradi sirine obmocja pri redko posta-

vljeni mrezi deformacijskih parametrov te spremembe spregleda. Zato uporabimo go-

stejso mrezo deformacijskih parametrov, in sicer tako gosto, da z njimi pokrijemo vse te

majhne spremembe, kar pa vodi v povecanje stevila iteracij algoritma. Izkaze se tudi,

da je v dolocenih takih primerih ucinkovitost algoritma slaba, saj kljub podaljsanemu

casu racunanja ne dobimo veliko boljsih rezultatov. Velike tezave pa zaradi same na-

rave algoritma povzrocajo posnetki z globalnimi in togimi spremembami (zasuki in

premiki). V takih primerih je za optimalno poravnavo treba sliko najprej poravnati

s togim poravnavanjem, zatem pa z opisanim algoritmom opravimo se fino (lokalno)

poravnavo.

Algoritem se ob pravi izbiri gostote mreze deformacijskih parametrov pri poravnavi

ultrazvocnih posnetkov izkaze kot zelo ucinkovit. Glede robustnosti se tezave sicer po-

javljajo pri slikah z globalnimi (togimi) spremembami, kar pa odpravimo s predhodnim

poravnavanjem s katerim izmed alternativnih postopkov za poravnavanje slik.

Na koncu lahko na podlagi opravljenih poskusov vsekakor brez zadrzkov ugotovimo,

da so opisani poskusi potrdili primernost razvitih postopkov za odkrivanje lokalnih

sprememb na ultrazvocnih posnetkih.

7.1 Moznost nadaljnjih raziskav

Kljub uspesnemu delovanju algoritma pa se vedno obstaja kopica moznosti za nadaljne

raziskave. Ena izmed teh je izboljsanje zmogljivosti algoritma, s cimer bi skusali mi-

nimizirati cas, ki ga algoritem porabi za poravnavanje posnetkov. Dve izmed taksnih

moznosti, ki jih navajajo avtorji v [17], so vnaprejsnji izracun kontrolnih tock B-zlepkov

ter izracun gradienta ocenitvene funkcije z uporabo konvolucije.

Zaradi primernosti matematicnega modela lahko algoritem, ki sedaj deluje na 2D

posnetkih, brez tezav razsirimo v algoritem, ki ga lahko uporabimo za poravnavanje

85

Sklep 86

3D ultrazvocnih volumnov. Nas algoritem za elasticno poravnavanje se da v splosnem

razsiriti celo na n dimenzij. Prvi koraki raziskav, kjer bi uporabili nas algoritem za po-

ravnavanje 3D ultrazvocnih volumnov, so ze bili storjeni. Ugotovili smo, da razsiritev

matematicnega modela za eno dimenzijo ne bo predstavljala vecjih tezav, problemi

bodo nastali pri izbiri optimizacijske funkcije, saj je iskalni prostor pri poravnavanju

3D ultrazvocnih posnetkov zelo sirok. Ugotovili smo tudi, da je optimizacijska funk-

cija, uporabljena pri nasem algoritmu za poravnavanje, v taki obliki neprimerna za

poravnavanje 3D posnetkov, saj lahko deluje le z 2D matrikami. Zato smo prisiljeni v

izbiro druge optimizacijske funkcije, ki bo to omogocala, hkrati pa bo morala biti tudi

ustrezno ucinkovita.

Nastete moznosti vsekakor predstavljajo lep izziv za nadaljnje raziskave in nad-

gradnjo obstojecega algoritma. Da bi dosegli maksimalno zmogljivost in uporabnost

postopka za poravnavanje ultrazvocnih posnetkov (kasneje tudi volumnov), se bomo v

okviru podiplomskega studija omenjenih raziskav vsekakor lotili.

Literatura

[1] A. Støylen, Basic ultrasound for clinicians,

http://folk.ntnu.no/stoylen/strainrate/Ultrasound/, 5.7.2008

[2] Wikipedia, Medical ultrasonography,

http://en.wikipedia.org/wiki/Medical ultrasonography, 5.7.2008

[3] M. E. Anderson, G. E. Trahey, A seminar on k-space applied to medical ultraso-

und,

http://dukemil.egr.duke.edu/Ultrasound/k-space/bme265.html, 5.7.2008

[4] N. Dahiya, The Basics of 3D/4D Ultrasound,

http://www.gehealthcare.com/usen/ultrasound/education/products/cme 3d4d.html,

5.7.2008

[5] B. Stern, The Basic Concepts of Diagnostic Ultrasound,

http://www.yale.edu/ynhti/curriculum/units/1983/7/83.07.05.x.html, 5.7.2008

[6] Wikipedia, Ultrasound, http://en.wikipedia.org/wiki/Ultrasound, 5.7.2008

[7] U. R. Abeyratne, A. P. Petropulu, J. M. Reid, Higher Order Spectra Based Decon-

volution of Ultrasound Images, IEEE Transactions on Ultrasonics, Ferroelectrics

and Frequency Control, 42, (1995), 6, str. 1064-1075

[8] J. B. A. Maintz, M. A. Viergever, A Survey of Medical Image Registration, Medical

Image Analysis, 2, (1998), 1, str. 1-37

[9] B. Zitova, J. Flusser, Image registration methods: a survey, Image and Vision

Computing, 21, (2003), 1, str. 977-1000

[10] P. Rogelj, Elasticna poravnava slik razlicnih modalnosti, magistrsko delo, Univerza

v Ljubljani, Fakulteta za elektrotehniko, 2001

[11] B. Likar, Registration and Restoration of Medical Images, samozal. B. Likar, 2000

[12] W. R. Crum, T. Hartkens, D. L. G. Hill, Non-rigid image registration: theory and

practice, The British Journal of Radiology, 74, (2004), 1, str. 140-153

[13] F. Maes, A. Colligron, D. Vandermaelen, G. Marchal, P. Saetens, Multimodality

Image Registration by Maximization of Mutual Information, IEEE Transactions

on Medical Imaging, 16, (1997), 2, str. 187-198

87

[14] C. Fookes, A. Maeder, Comparison of Popular Non-Rigid Image Registration Te-

chniques and a New Hybrid Mutual Information-Based Fluid Algorithm,

http://www.aprs.org.au/wdic2003/CDROM/57.pdf, 8.8.2008

[15] J. Wu, A. C. S. Chung, Multimodal Brain Image Registration Based on Wavelet

Transform Using SAD and MI,

www.cse.ust.hk/˜achung/miar04 wu chung.pdf, 8.8.2008

[16] Y. Yue, J. W. Clark, D. W. Khoury, Speckle Tracking in Intracardiac Echocar-

diography for the Assessment of Myocardial Deformation, IEEE Transactions on

Biomedical Engineering (v tisku)

[17] J. Kybic, M. Unser, Fast Parametric Elastic Image Registration, IEEE Transac-

tions on Image Processing, 12, (2003), 11, str. 1427-1442

[18] J. Kybic, Elastic Image Registration using Parametric Deformation Model, dok-

torsko delo, Ecole Polytechnique Federale de Lausanne, 2001

[19] N. Guid, Racunalniska grafika, Fakulteta za elektrotehniko, racunalnistvo in in-

formatiko Maribor, 2001

[20] M. Unser, Splines: A Perfect Fit for Signal and Image Processing, IEEE Signal

Processing Magazine, 16, (1999), 6, str. 22-38

[21] C. Zhu, R. H. Byrd, J. Nocedal, L-BFGS-B – FORTRAN routines for large scale

bound constrained optimization, ACM Transactions on Mathematical Software,

23, (1997), 4, str. 550-560

[22] P. Carbonetto, A MATLAB interface for L-BFGS-B,

http://www.cs.ubc.ca/˜pcarbo/lbfgsb-for-matlab.html, 10.4.2008

[23] MathWorks, MEX-files Guide,

http://www.mathworks.com/support/tech-notes/1600/1605.html, 10.4.2008

88

Documents

ELASTICNO PORAVNAVANJE ULTRAZVOˇ CNIHˇ POSNETKOV · temelji na ﬁzikalnih zakonih deformabilnih teles in pri katerem slika predstavlja objekt, ki ga deformiramo s pomoˇcjo zunanjih