Embed Size (px)
Citation preview
Archiwum Fotogrametrii, Kartografii i Teledetekcji, Vol. 18, 2008
ISBN 978-83-61576-08-2
409
WYKORZYSTANIE SIECI NEURONOWYCH W PROCESACH
FOTOGRAMETRYCZNYCH
APPLICATION OF NEURAL NETWORKS TO PHOTOGRAMMETRIC
PROCESSES
S awomir Mikrut1, Zbigniew Mikrut2
1 Katedra Geoinformacji, Fotogrametrii i Teledetekcji rodowiska, AGH w Krakowie 2 Katedra Automatyki, AGH w Krakowie
S OWA KLUCZOWE: sztuczne sieci neuronowe, spasowanie obrazów, fotogrametria cyfrowa
STRESZCZENIE: W niniejszym artykule poruszono problem wykorzystania sztucznych sieci
neuronowych (SSN) w geoinformatyce obrazowej, ze szczególnym uwzgl dnieniem procesów
fotogrametrycznych. Przedstawiono wyniki przegl du literatury wiatowej oraz zaprezentowano
rezultaty bada prowadzonych w ramach projektu dotycz cego u ycia sieci do spasowania
fotogrametrycznych zdj lotniczych. W oparciu o literatur , przeanalizowano wyniki prac
wykorzystuj cych sieci neuronowe do: klasyfikacji obrazów wielospektralnych, wydobywania
cech, kalibracji kamer oraz spasowania obrazów. Zaprezentowano równie wyniki w asnych
eksperymentów, bazuj cych na idei wykorzystania sieci opieraj cej si na wyborze specjalnej
reprezentacji, która nast pnie jest wykorzystywana do spasowania obrazów fotogrametrycznych
dla dwóch wybranych typów terenu. W badaniach wykorzystano sieci impulsuj ce ICM
(Intersecting Cortical Model), b d ce jedn z wersji sieci PCNN (Pulse Coupled Neural Network),
przy pomocy których wygenerowano tzw. podpisy obrazów (signatures), czyli
kilkudziesi cioelementowe wektory, opisuj ce struktur fragmentu obrazu. Wyniki bada
cz ciowo potwierdzaj s uszno przyj tych za o e , mimo wyst puj cych problemów
zwi zanych ze specyfik obrazów fotogrametrycznych.
1. WST P
Rozwój sztucznych sieci neuronowych (SSN) zosta zapocz tkowany w latach
czterdziestych badaniami nad matematycznym opisem komórki nerwowej oraz
powi zaniem go z przetwarzaniem informacji przez komórk . Za pocz tek przyjmuje si
rok 1943 zwi zany z opracowaniem matematycznego modelu sztucznego neuronu przez
MsCullocha i Pittsa (Korbicz et al, 1994). Jednak intensywne badania nad SSN
przypad y na lata osiemdziesi te z racji rozpowszechniania si komputerów i u atwienia
procesów obliczeniowych, towarzysz cych sieciom. Istotnym osi gni ciem by o
opracowanie przez Hopfielda w 1982 r. sieci ze sprz eniem zwrotnym, któr
wykorzystano do rozwi zywania zada optymalizacyjnych (np. problem komiwoja era)
oraz odtwarzania obrazów z ich fragmentów.
SSN nie omin y równie zastosowa w geoinformatyce obrazowej. Koniec lat
osiemdziesi tych i pocz tek dziewi dziesi tych to pierwsze zastosowania sieci
neuronowych w tej dziedzinie nauk. W niniejszym opracowaniu autorzy skupili si na
Wykorzystanie sieci neuronowych w procesach fotogrametrycznych
410
przyk adach wykorzystania sieci w geoinformatyce obrazowej (rozdzia 2),
ze szczególnym uwzgl dnieniem zastosowa fotogrametrycznych. W rozdzia ach 3 i 4
zaprezentowano dokonania autorów w temacie pasowania obrazów zdj lotniczych
przy pomocy sygnatur.
2. SIECI NEURONOWE W FOTOGRAMETRII – HISTORIA I DZIE
DZISIEJSZY
Zarys technik sieci neuronowych mo na znale w literaturze (Tadeusiewicz, 1993;
Tadeusiewicz et al., 2007). Autorzy niniejszego artyku u równie dokonali pewnych
analiz w poprzednich publikacjach (Mikrut et al., 2007; Mikrut, 2007).
Przyk ady wykorzystania sztucznych sieci neuronowych w zadaniach zwi zanych
z geoinformatyk obrazow maj ju prawie dwudziestoletni histori . Pierwszymi
zastosowaniami SSN by o wykorzystanie ich do klasyfikacji obrazów
wielospektralnych. Pierwsze wzmianki o próbach klasyfikowania obrazów pochodz
z pocz tku lat 90-tych, kiedy to zacz to klasyfikowa zobrazowania satelity LANDSAT
TM (Bishof el al., 1992), nast pnie SPOT (Dreyer, 1993). Sieci wykorzystano równie
do opracowania danych radarowych (Hara, 1994). Badania te potwierdzi y mo liwo ci
skutecznego dzia ania SSN jako jednej z metod klasyfikacji obrazów. Kolejne
zastosowania to wydobywanie cech (ang. feature extraction), kalibracja kamer,
spasowanie obrazów (ang. matching).
2.1. Pojawienie si sieci neuronowych w tematyce kongresów ISPRS
Analizuj c histori kongresów Mi dzynarodowego Towarzystwa Fotogrametrii
i Teledetekcji (ISPRS) mo na zauwa y wzrost liczy publikacji obejmuj cych
t tematyk . Ilo artyku ów, zawieraj cych s owa „neural network” w tytule, wzrasta a
z kongresu na kongres. Tematyka ta przedstawiona by a ju w o miu artyku ach w 1996
w Wiedniu, tyle samo by o prezentowanych w Amsterdamie (2000 r.), jedena cie
w Istambule (2004 r.) oraz osiemna cie w Pekinie (2008 r.). Wiele by o równie
artyku ów dotycz cych problematyki wykorzystania sieci neuronowych, nie zawartych
jednak w tytule. Jak wspomniano wcze niej, pocz tki to zastosowanie SSN
do klasyfikacji obrazów wielospektralnych. Mia o to odzwierciedlenie równie
w publikacjach kongresowych. Przyk adowe opracowania mo na znale w literaturze
(Barsi, 1996; Bock ,1996; Chen et al, 1996; Barsi, 2000; Kamiya, 2000; Aria et al.,
2004; Cetin et al., 2004; Zhou et al., 2008).
2.2. Sztuczne sieci neuronowe w zagadnieniach fotogrametrycznych
SSN zacz to równie stosowa do rozwi zywania typowych problemów
fotogrametrycznych. Poni ej dokonano próby tematycznego ich usystematyzowania.
Badania literaturowe podkre li y potrzeb dokonania takiej analizy, z racji coraz
powszechniejszego ich wykorzystania, a tak e skuteczno ci dzia ania.
S awomir Mikrut, Zbigniew Mikrut
411
2.2.1. Wykorzystanie SSN do identyfikacji wybranych obiektów
Wykorzystanie sieci typu FFN (feed-forward network) zastosowano do operacji na
ogó wykonywanej manualnie przez operatora stacji fotogrametrycznej tj. do identy-
fikacji punktów sygnalizowanych (Kepuska et al., 1991). W tym celu zastosowano sie
typu FFN-BP (back-propagation) do rozpoznawania obiektów na zeskanowanych
zdj ciach lotniczych. Dane przygotowane zosta y z postaci obrazów o ró nej orientacji,
tle, skali i z wprowadzonymi pewnymi zniekszta ceniami geometrycznymi. Aby
wyeliminowa nadmiarowo i zminimalizowa rozmiar danych testowych
przygotowano odpowiedni schemat treningowy. Po dwóch iteracjach treningu uzyskano
zadawalaj ce rezultaty: model FFN-BP uzyska rozpoznanie na poziomie 85%
punktów, znajduj cych si na 34 obrazach. Zwa ywszy na rok przeprowadzonych testów
(lata 90-te, pocz tki stosowania sieci), nale y podkre li osi gni cie stosunkowo
dobrych rezultatów.
2.2.2. SSN a wydobywanie cech z obrazu (feature extraction)
SSN zacz to równie wykorzystywa do wydobywania cech (feature extraction).
W badaniach dokonano porównania metod wydobywania cech pomi dzy transformacj
Karhunen-Löwe (K-L) a SOM (Self Organizing Maps) Kohonena (Törma, 96).
Uzyskane w trakcie bada ró nice pomi dzy metodami by y bardzo ma e. W niektórych
przypadkach b dy metody K-L by y mniejsze, jednak proces dzia aj cy przy u yciu
SOM by szybszy. Ró nice pomi dzy metodami powstawa y wówczas, gdy liczba
próbek na klas by a ma a, co jest typowe dla sieci, tzn. przy zbyt ma ej liczbie próbek
sieci wykazuj ma skuteczno .
Równie przy pomocy SSN opracowano ekstrakcj w z ów drogowych z obrazów
cyfrowych (Barsi et al., 2002). Neuronowy operator, oparty o sie typu feed-forward,
przeszukuje oknem czarno-bia e obrazy w redniej rozdzielczo ci decyduj c czy
skrzy owanie zawiera 3 czy 4 odnogi. Najlepsze rezultaty otrzymano dla sieci
trójwarstwowej. Do uczenia wykorzystano warstw wektorow dróg.
Kilka innych przyk adów u ycia SSN do wydobywania cech z obrazu zaprezentowano
na kongresie ISPRS w Pekinie (Ahadzadeh et al., 2008; Mokhtarzade et al., 2008).
2.2.3. Kalibracja kamer przy pomocy SSN
Procedur kalibracji kamer przy wykorzystaniu sieci back-propagation (BP)
opisano w publikacji (Mendonca et al., 2002). Dzi ki jej zastosowaniu nie musimy
posiada danych takich jak sta a kamery czy dystorsja. Sieci s skuteczne
w rozwi zywaniu nieliniowych zagadnie i mog „nauczy ” si odpowiednich relacji
pomi dzy wspó rz dnymi obrazowymi a wspó rz dnymi przedmiotowymi (obiektu), bez
potrzeby okre lania konkretnego modelu matematycznego. W opisanej przez autora
metodyce dokonano porównania wyznaczonych wspó rz dnych pola testowego (520
punktów) metod najmniejszych kwadratów oraz SSN. Dok adno ci uzyskane przy
pomocy obu metod by y porównywalne. Wed ug autora zaletami metody neuronowej
s : 1) niekonieczna znajomo modelu matematycznego, 2) nie wymagana jest równie
znajomo przybli onych (wej ciowych) parametrów kalibracji, 3) metodyka mo e by
wykorzystana dla ró nego typu kamer, 4) mo e by u yta dla kilku kamer o ró nych
Wykorzystanie sieci neuronowych w procesach fotogrametrycznych
412
elementach orientacji, 5) SSN mog rozpozna specyficzne u o enia kamer, co ma
znaczenie przy dynamicznych systemach pracuj cych w czasie rzeczywistym.
2.2.4. Spasowanie obrazów (matching)
SSN znalaz y zastosowanie w spasowaniu obrazów w systemach stereowizyjnych
(Wang et al., 1999). Wykorzystano je do okre lania pozycji dowolnego punktu
w przestrzeni 3D w oparciu o zdj cia naziemne wykonane z dwóch kamer. U yto dwóch
typów sieci: VC (vitality conservation) oraz BP (back-propagation). Pierwsza sie , jako
wektora ucz cego, u ywa wybranych parametrów (jasno , zmienno , orientacj , x, y)
dla ka dego piksela oraz dzieli obraz wej ciowy na kilka klastrów, a rezultaty s
wykorzystane przez drug sie (BP), celem osi gni cia dok adnego dopasowania.
Po treningu sie BP jest wykorzystana do generowania tzw. mapy dysparycji.
W procesie dopasowania, aby zredukowa ewentualne b dy oraz ograniczenia obszaru
przeszukiwania, korzysta si z dodatkowych informacji takich jak linie epipolarne,
uporz dkowanie, geometria i ci g o .
Przyk adem podobnego zastosowania SSN, ale z innym rozwi zaniem (model
sieci) jest stereowizyjny system zbudowany przez zespó laboratorium w giersko-
japo skiego (Resko et al., 2003). Stereowizja jest realizowana poprzez biologicznie
zainspirowan , pi ciowarstwow , sztuczn sie neuronow , o prostych komponentach.
Zadaniem sieci jest porównywanie symbolicznych cech (symbolic feature) w obr bie
obydwu obrazów, celem wyznaczenia kierunków obu kamer (okre lenia ich orientacji).
System funkcjonuj cy w oparciu o ten model dzia a w czasie rzeczywistym.
Wykorzystanie sieci neuronowych oraz zale no ci fotogrametrycznych
(komplanarno , wspó czynnik korelacji) do spasowania wieloobrazowego (multi-image
matching) zosta o zaprezentowane podczas kongresu ISPRS w Pekinie w roku 2008
(Elaksher, 2008). Autor zaprezentowa metodyk u ycia sieci w odniesieniu do zdj
naziemnych przedstawiaj cych ratusz w Zurichu, udost pnianych przez ISPRS jako
materia testowy. Wykorzystuj c dowoln liczb zdj , proces startuje od orientacji
wzajemnej na podstawie warunku komplanarno ci pomi dzy wszystkim parami zdj .
Dla ka dej pary otocze punktów liczony jest wspó czynnik korelacji dla lokalnych
jasno ci obrazu. Do okre lania prawid owego dopasowania u yto sie typu feed-
forward. Uzyskano bardzo zadowalaj ce rezultaty. Wspó czynnik detekcji (ang.
detection rate) na poziomie 95% - 98% oraz wspó czynnik niedopasowania (ang. false
alarm rate) od 4% do 7%.
Przedstawione pozycje literaturowe odnosz ce si do spasowania obrazów
obejmuj badania prowadzone na obrazach zdj naziemnych. Jest to zagadnienie o tyle
nieskomplikowane, e obrazy z kamer naziemnych charakteryzuj stosunkowo du ym
podobie stwem (z regu y robione s z krótkiej bazy). Problem staje si bardziej z o ony
w sytuacji, gdy mamy do czynienia ze zdj ciami lotniczymi. Rozdrobnienie informacji
oraz du a paralaksa na przyk ad w przypadku wysokich budynków znacznie komplikuje
zagadnienie. Autorzy niniejszego artyku u dokonali próby rozwini cia zagadnienia
w oparciu o w asne do wiadczenia prezentowane w publikacji (Mikrut et al., 2007).
S awomir Mikrut, Zbigniew Mikrut
413
Rys. 1. Dopasowywanie fragmentów obrazów przy u yciu sygnatur.
Kolorem niebieskim oznaczono ci g przekszta ce prowadz cy do najlepszego
wyniku
44 pary obrazów
skala 1:2 skala 1:4
ca y fragment podzia na 4 podzia na 6
0 50 100 150 200 250 300
ró ne d ugo cscalanie 6 wyników:
suma wszystkich (6)
bez 1 najgorszego
bez 2 najgorszych
scalanie dynamiczne
Wykorzystanie sieci neuronowych w procesach fotogrametrycznych
414
3. EKSPERYMENTY Z WYKORZYSTANIEM SSN W ODNIESIENIU DO
SPASOWANIA ZDJ LOTNICZYCH
Koncepcj bada nad wykorzystaniem SSN do spasowania zdj lotniczych mo na
znale w publikacji (Mikrut et al., 2007). Autorzy kontynuowali badania nad
wykorzystaniem sygnatur generowanych przez impulsuj ca sie neuronow (Mikrut,
2007). Korzystano z bazy danych opisanej we wspomnianej publikacji. Z bazy wybrano
podzbiór 44 obrazów w stopniach szaro ci (sk adowe R, G i B zosta y scalone).
Na kolejnym zdj ciu lotniczym manualnie zlokalizowano te obszary i po odpowiednim
obramowaniu zapisano je w celu przeprowadzenia testów spasowania. Nale y
podkre li , e w omawianych badaniach sprawdzano mo liwo ci dopasowywania
reprezentacji podobrazów, czyli obliczano sygnatury podobrazu ze zdj cia
chronologicznie pierwszego, nast pnie obliczano sygnatury wszystkich podobrazów
wchodz cych w sk ad fragmentu drugiego (kolejnego) zdj cia lotniczego i te wektory
porównywano. Samo porównywanie wektorów realizowano przy u yciu sumy modu ów
ró nic poszczególnych elementów (patrz Dodatek). Schemat eksperymentów
przedstawiono na rysunku 1.
Pary obrazów, na które sk ada y si : fragment obrazu o rozmiarach 240x160 pikseli
i odpowiadaj cy mu obszar z kolejnego zdj cia, obramowany dooko a pasem
o szeroko ci 150 pikseli, zmniejszano dwu i czterokrotnie. Nast pnie, przy pomocy sieci
impulsuj cej ICM, generowano 300. elementowe sygnatury dla ca ego fragmentu obrazu
oraz dla jego czterech lub sze ciu podobrazów, dla ka dego podobrazu osobno.
Po drugim zdj ciu przesuwano okno odpowiadaj ce rozmiarom fragmentu poprzedniego
obrazu. Po ka dym jednopikselowym przesuni ciu obliczano sygnatury w wariantach
podzia u na podobrazy, opisanych wy ej. Ca y ten proces schematycznie przedstawiono
na rysunku 1 w górnych trzech rz dach. Formalny opis algorytmu zamieszczono
w Dodatku. W celu zachowania przejrzysto ci rysunku nie umieszczono na nim strza ek
pokazuj cych zrealizowane kombinacje przetwarzania. Strza ki powinny obrazowa
po czenia „ka dy z ka dym”, id ce od bloków górnych do dolnych.
Wst pna analiza rezultatów dopasowa pozwoli a na wyznaczenie sekwencji
przekszta ce , prowadz cych do najlepszych wyników. Kolejno ta zosta a zaznaczona
na rysunku 1 strza kami blokowymi. Przekszta cenia prowadz ce do najlepszych
wyników, to operowanie na obrazach czterokrotnie zmniejszonych, dla których
dopasowywano fragmenty powsta e z podzia u obrazu na 6 cz ci. Na tej podstawie
zrealizowano kolejny etap bada , przedstawiony na rysunku 1 w dolnym (ostatnim)
rz dzie.
Fakt posiadania 300 elementowych sygnatur wykorzystano do porównywania
wektorów sygnatur o ró nych d ugo ciach i ró nych po o eniach. Jak pokazano
na rysunku 1, do porówna u ywano sygnatur 25, 50 i 100 elementowych pobieranych
od umownego momentu startu oraz fragmentów sygnatur od pozycji 100 do 200 oraz
od pozycji 100 do 300. Podzia dopasowywanego fragmentu obrazu na 4 lub 6
podobrazów by zainspirowany dwoma czynnikami. Pierwszym z nich by fakt
uzyskiwania lepszych wyników dopasowywania sygnatur dla mniejszych wycinków
obrazu. Drugim czynnikiem by a potrzeba ewentualnego uwzgl dnienia wyst powania
na obrazie obiektów, które na obrazie „pó niejszym” nieco zmieni yby po o enie
wzgl dem poziomu gruntu, a by mo e tak e kszta t. Przyk ad wyst powania takich
obiektów pokazano na rysunku 1. W przypadku gorszego dopasowania niektórych
podobrazów istnieje mo liwo ich pomini cia podczas procesu scalania cz stkowych
S awomir Mikrut, Zbigniew Mikrut
415
wyników dopasowywania. Podczas analizy wyników uwzgl dniono 4 mo liwo ci
scalania, pokazane na rysunku 1. By y to: sumowanie wszystkich sze ciu wyników
cz stkowych, sumowanie pi ciu i czterech najlepszych oraz dynamiczne odrzucanie
gorszych wyników. Ta ostatnia metoda polega a na badaniu ró nic pomi dzy
uporz dkowanymi rosn co wynikami i odrzucaniu tych, które przekroczy y zadany próg.
W ka dym z wymienionych przypadków suma wyników cz stkowych by a
normalizowana: dzielono j przez liczb wzi tych pod uwag sk adników (por. wzory
D.3 i D.4). Na rysunku 2 porównano rednie odchy ki pasowania (por. wzór D.6),
obliczone dla wy ej zdefiniowanych sygnatur i czterech metod scalania wyników
cz stkowych.
Dla metody sumowania wszystkich 6 wyników cz stkowych (na rysunku
2 oznaczenie suma_6) rednie odchy ki s najbardziej skupione i niskie. Minimum
wyst pi o dla metody z odrzuceniem jednej warto ci (suma_5) dla sygnatury 50
elementowej (por. czarna strza ka na rysunku 2). Dla sygnatury o tej d ugo ci rednie
odchy ki w nast pnych procesach scalania (suma_4 i suma_dyn) tak e osi gaj
minimalne warto ci. W zwi zku z wysokimi rednimi odchy ek obserwowanymi dla
sygnatur 100 i 200 elementowych porównywanych od setnego elementu w dalszej
analizie sygnatury te zostan pomini te. Oprócz warto ci rednich, które charakteryzuj
jako dopasowania w sposób ogólny, przyj to kilka progów odchy ek dopasowa ( -
por. wzór D.5) i obliczono procentowo, ile odchy ek lokuje si poni ej. Rezultaty
uzupe niono – dla porównania – warto ciami rednimi i zestawiono w tabeli 1. W ka dej
kolumnie, odpowiadaj cej ró nym progom odchy ek, zaznaczono warto maksymaln .
Wi kszo maksimów jest zlokalizowana w wierszach odpowiadaj cych sygnaturom
1-25 i 1-50, przy czym w obu przypadkach wyniki ko cowe dopasowania obliczano
sumuj c wszystkie 6 wyników cz stkowych (bez odrzuce – por. ostatni kolumn tabeli
1). Ta metoda prezentacji wyników ma za zadanie zorientowanie si w precyzji
pasowania, uzyskiwanej przy u yciu ró nych sygnatur. Warto ci uzyskane dla sygnatur
krótkich (od 1-25 i od 1-50) metod sumowania wszystkich 6 elementów s do siebie
zbli one.
Rys. 2. Porównanie rednich b dów pasowania dla kilku d ugo ci sygnatur i czterech
metod scalania wyników. Strza k zaznaczono warto minimaln
0
4
8
12
16
20
su
ma_6
su
ma_5
su
ma_4
su
ma_d
yn
red
nia
od
ch
yka [
pix
]
od 1-25
od 1-50
od 1-100
od 100-200
od 100-300
sygnatury:
Wykorzystanie sieci neuronowych w procesach fotogrametrycznych
416
Tabela 1. Procentowe dopasowania dla kilku dopuszczalnych odchy ek
Dla sygnatury o najni szej redniej odchy ce (od 1-50, sumowanie 5 elementów –
patrz przedostatni wiersz tabeli 1) precyzja dopasowania dla ma ych odchy ek jest
o wiele ni sza. Spasowanie przy pomocy tej metody wykonano równie dla dwóch
ró nych typów obrazów „Bytom” i „Krakow”. Wyniki zaprezentowano na rysunkach 3
i 4, na których porównano odchy ki pasowania uzyskane przy pomocy sygnatur
(sig50_6) z metod klasyczn (kor_6_6). Jak wida metoda sygnatur jest bardzo czu a na
rodzaj obrazu wej ciowego. W przypadku „Bytomia” mamy do czynienia ze zdj ciami
z centrum miasta, a wi c o du ej liczbie bloków mieszkalnych, z wyst puj cymi tu
znacznymi przesuni ciami radialnym pomi dzy obrazami. Obrazy z „Krakowa”
charakteryzuj si wi kszym podobie stwem z racji lokalizacji poza miastem,
o niezró nicowanej rze bie terenu. Zauwa alne na rysunku 3 znaczne ró nice pomi dzy
odchy kami wynikaj g ównie z faktu wyst powania wysokich bloków na obrazie.
Klasyczna korelacja stosunkowo dobrze sobie „radzi” z tym problemem. Sieci, z racji
swojej specyfiki dzia ania s wra liwe zarówno na przesuni cia radialne jak i na zmiany
o wietlenia, st d dok adno spasowania spada (obrazy Bytom_53 do Bytom_95).
Podobnie jest w przypadku obrazów kr_7371_9 i kr_7371_13.
Rys. 3. Wyniki spasowania dla obrazu „Bytom”
sygnatura rednia
odchy ka
[piksele]
< 3
< 5
< 10
< 30
liczba
odrzuce
od 1 – 25 10,59 47,73% 54,55% 70,45% 86,36% 0
od 1 – 50 10,77 45,45% 56,82% 70,45% 88,64% 0
od 1 – 100 11,28 34,09% 54,55% 65,91% 88,64% 0
od 1 – 25 11,38 34,09% 47,73% 65,91% 88,64% 1
od 1 – 50 10,31 34,09% 43,18% 68,18% 90,91% 1
od 1 – 100 12,99 31,82% 45,45% 59,09% 84,09% 1
0
10
20
30
40
50
60
byto
m_
1
byto
m_
10
byto
m_
13
byto
m_
20
byto
m_
26
byto
m_
27
byto
m_
45
byto
m_
53
byto
m_
57
byto
m_
58
byto
m_
62
byto
m_
67
byto
m_
71
byto
m_
86
byto
m_
89
byto
m_
95
byto
m_1
14
byto
m_1
25
byto
m_1
67
byto
m_2
17
byto
m_2
19
byto
m_2
29
byto
m_2
35
sig50_6 korel_6_6
S awomir Mikrut, Zbigniew Mikrut
417
Rys. 4. Wyniki spasowania dla obrazu „Kraków”
4. PODSUMOWANIE I WNIOSKI
W artykule dokonano przegl du literatury dotycz cej wykorzystania sztucznych
sieci neuronowych (SSN) w geoinformatyce obrazowej, ze szczególnym
uwzgl dnieniem procesów fotogrametrycznych. Autorzy dokonali podsumowania
zastosowa SSN w fotogrametrii, udowadniaj c tym samym coraz powszechniejsze
ich wykorzystanie, poczynaj c od wydobywania cech z obrazu, przez kalibracj kamer,
a na spasowaniu obrazów ko cz c. Te ostatnie obejmowa y g ównie prace zwi zane
ze stereowizj . Brak w literaturze eksperymentów zwi zanych z pasowaniem zdj
lotniczych, z racji z o ono ci zagadnienia, doprowadzi do podj cia przez autorów prób
badawczych w tym kierunku. W punkcie 3 artyku u przedstawiono kolejny etap bada -
serie eksperymentów zwi zanych z pasowaniem reprezentacji fragmentu obrazu
w postaci sygnatur, generowanych przez impulsuj ca sie neuronow ICM. Wyniki nie
s w pe ni zadowalaj ce, aczkolwiek w blisko 1/3 przypadków efekty uzyskane przy
pomocy sygnatur s takie same lub lepsze od rezultatów, otrzymanych po zastosowaniu
klasycznej korelacji (por. rys. 3 i 4). Autorzy widz sens kontynuowania bada w dwóch
kierunkach:
1. pog bionej analizy sytuacji (podobrazów) powoduj cych du e ró nice
odchy ek dopasowania obu porównywanych metod i wprowadzenia
ewentualnych korekt na etapie wst pnego przetwarzania obrazu,
2. zastosowania sieci impulsuj cych do wykrywania obiektów, które nast pnie
pos u do generowania sygnatur i pasowania.
Prac zrealizowano w ramach bada w asnych AGH nr 10.10.120.783 oraz bada
statutowych AGH nr 11.11.150.949/08.
0
10
20
30
40
50
60kr_
73
71
_9
kr_
737
1_
10
kr_
737
1_
11
kr_
737
1_
13
kr_
737
1_
14
kr_
737
1_
27
kr_
737
1_
29
kr_
737
1_
32
kr_
737
1_
34
kr_
77
75
_2
kr_
77
75
_5
kr_
77
75
_7
kr_
77
75
_9
kr_
777
5_
13
kr_
777
5_
18
kr_
777
5_
34
kr_
777
5_
43
kr_
777
5_
59
kr_
777
5_
63
kr_
777
5_
65
sig50_6 korel_6_6
Wykorzystanie sieci neuronowych w procesach fotogrametrycznych
418
5. LITERATURA
Ahadzadeh S., Valadanzouj M., Sadeghian S., Ahmadi S., 2008. Detection of Damaged
Buildings after an Earthquake Using Artificial Neural Network Algorithm. The
International Archives of the Photogrammetry, Remote Sensing and Spatial Information
Sciences, Beijing, China, Vol. XXI, Part B8, s. 369-372.
Aria E.H., Saradjian M.R., Amini J., Lucas C., 2004. Generalized cooccurrence matrix
to classify IRS-1D images using neural network. The International Archives of the
Photogrammetry, Remote Sensing and Spatial Information Sciences, Istambul, Turkey,
Vol. XX, Part B7., s. 114-116.
Barsi A., 1996. Thematic classification of Landsat image using neural network. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vienna, Austria, Vol. XVIII, Part B3, s.48-52.
Barsi A., 2000. The impact of data compression and neighborhood information on the classification accuracy of artificial neural networks. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Amsterdam, Holland, Vol. XIX, Part B7, s. 140-147.
Barsi A., Heipke C., Willrich F., 2002. Junction extraction by artificial neural network
system – JEANS, IntArchPhRS XXXIV/3b, Graz , s.18-21
Bischof H., Schneider W., Pinz A., 1992. Multispectral classification of Landsat images
using neural network, IEEE Trans. on Geosience and Remote Sensing, Vol. 30, No 3, s.
482-490.
Bock S., 1996. A region-based approach to land-use classification of remotely –sensed image data using artificial neural network. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vienna, Austria, Vol. XVIII, Part B7, s.71-76.
Cetin M., Kavzoglu T., Musaoglu N., 2004. Classification of multi-spectral, multi-
temporal and multi-sensor images using principal components analysis and artificial
neural networks: beykoz case. The International Archives of the Photogrammetry,
Remote Sensing and Spatial Information Sciences, Istambul, Turkey, Vol. XX, Part B4,
s. 951-956.
Chen C., Chen S., Shyn S., 1996. Classification of remote sensing imagery using an
unsupervised neural network. The International Archives of the Photogrammetry,
Remote Sensing and Spatial Information Sciences, Vienna, Austria, Vol. XVIII, Part B7,
s. 112-117.
Dreyer P., 1993. Classification of land cover using optimized neural nets on SPOT data,
Photogrammetric Engineering and Remote Sensing, Vol. 59, No. 5, s. 617-621.
Elaksher A., 2008. Multi-image matching using neural networks and photogrammetric conditions. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Beijing, China, Vol. XXI, Part B3, s. 39-44.
Hara Y., Atkins R., Yueh S., Shin R., Kong J., 1994. Application of neural networks to
radar image classification, IEEE Trans. on Geoscience and Remote Sensing, Vol. 32, No.
1, s. 100-109.
S awomir Mikrut, Zbigniew Mikrut
419
Kamiya I., 2000. Image classification by spatial shift invariant neural network. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Amsterdam, Holland, Vol. XIX, Part B7, s. 636-639.
Kepuska V., Mason, S., 1991. Automatic signalized point recognition with feed-forward
neural network, IEE Conference Publication, 2-nd
International Conference on Artificial
Neural Networks, London, Nr 349, s. 359-363.
Korbicz J., Obuchowicz A., Uci ski D., 1994. Sztuczne sieci neuronowe. Podstawy
i zastosowania. Akademicka Oficyna Wydawnicza PLJ, Warszawa.
Lindblad T., Kinser J.M., 2005: Image Processing Using Pulse-Coupled Neural
Networks. Springer-Verlag, Berlin, Heidelberg
Mendonca M., da Silva I., Castanho J., 2002. Camera calibration using neural networks.
Journal of WSCG - poster abstract at 10-th Int. Conf. Central Europe on Computer
Graphics, Visualization and ComputerVision (WSCG 2002), Vol. 10, nr 1-3.
Mikrut S., Mikrut Z., 2007. Sieci neuronowe w procesach automatycznej korelacji zdj
lotniczych. Archiwum Fotogrametrii, Kartografii i Teledetekcji, Vol 17b, s. 505-515.
Mikrut Z., 2007. Tworzenie reprezentacji obszarów zdj lotniczych za pomoc sieci neuronowych klasy PCNN. Uczelniane Wydawnictwo Naukowo-Dydaktyczne Kraków – Pó rocznik Automatyka, Tom 11, s. 355 – 364.
Mokhtarzade M., Valadan Zoej M., Ebadi H., 2008. Automatic Road Extraction from
High Resolution Satellite Images Using Neural Networks, Texture Analysis, Fuzzy
Clustering and Genetic Algorithms. The International Archives of the Photogrammetry,
Remote Sensing and Spatial Information Sciences, Beijing, China, Vol. XXI, Part B3b, s.
549-556.
Resko B., Baranyi P., Hashimoto H., 2003. Camera Control with Disparity Matching in Stereo Vision by Artificial Neural Networks. In Workshop on Intelligent Solutions in Embedded Systems, Vienna, Austria.
Tadeusiewicz R., 1993. Sieci neuronowe. AOW Warszawa.
Tadeusiewicz R., G ciarz T., Borowik B., Leper B., 2007. Odkrywanie w a ciwo ci sieci neuronowych przy u yciu programów w j zyku C\#. Polska Akademia Umiej tno ci. Mi dzywydzia owa Komisja Nauk Technicznych, Kraków.
Törma M, 1996, Self-organizing Neural Network in Feature Extraction. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vienna, Austria, Vol. XVIII, Part B2, s.374-379.
Wang J., Hsiao C., 1999. On Disparity Matching in Stereo Vision via a Neural Network
Framework, Proc. Natl. Sci. Counc. ROC(A), Vol. 23, No. 5, s. 665-678.
Zhou L., Yang X., 2008. Use of Neural Networks for Land Cover Classification from
Remotely Sensed Imagery. The International Archives of the Photogrammetry, Remote
Sensing and Spatial Information Sciences, Beijing, China, Vol. XXI, Part B7, s. 575-
578.
Wykorzystanie sieci neuronowych w procesach fotogrametrycznych
420
DODATEK: FORMALNY OPIS ALGORYTMU DOPASOWYWANIA
SYGNATUR
Sieci impulsuj ce ICM (Intersecting Cortical Model) generuj – na podstawie
obrazu w stopniach szaro ci - sekwencje obrazów binarnych, na których w kolejnych
krokach obliczeniowych uwypuklane s ró ne fragmenty obrazu wej ciowego. W
oparciu o t w asno sieci w 1994 roku Johnson wprowadzi poj cie sygnatury
(Lindblad et al., 2005). Podstaw obliczania sygnatur jest funkcja czasowa G(i),
otrzymywana w wyniku sumowania wyj neuronów („bia ych pikseli”) w ka dym
kroku obliczeniowym:
przy czym Bgh [0,1] oznacza piksel binarnego obrazu o wspó rz dnych (g,h), i=1...N.
W celu sprawdzenia efektywno ci dopasowywania fragmentów obrazów na
podstawie ich sygnatur wybrano K=44 fragmenty obrazów ze zdj cia lotniczego a
nast pnie zlokalizowano ich odpowiedniki na zdj ciu nast pnym. Z tego ostatniego
zdj cia wyci to wi ksze fragmenty, które zawiera y zlokalizowane uprzednio podobrazy
otoczone do du ym marginesem. Wspó rz dne lewego górnego rogu zlokalizowanego
podobrazu oznaczono warto ciami (0, 0). Po fragmencie obrazu przesuwano ramk o
wielko ci równej szukanemu pobobrazowi. Ramk dzielono na J=4 lub J=6 równych
cz ci, i dla ka dej z nich wyznaczano sygnatury, które nast pnie porównywano z
sygnaturami, otrzymanymi w analogiczny sposób dla podobrazu poprzedniego zdj cia
(poszukiwanego wzorca). Dla ka dej pary odpowiadaj cych sobie sygnatur obliczano
wska nik:
Oi
Mi
xyjjxyj iGiGq (D.2)
gdzie M i O okre laj pocz tek i koniec sygnatury (O-M<N), (x, y) oznacza przesuni cie
analizowanej ramki wzgl dem lokalizacji prawid owej (0,0), a j=1...J jest numerem
cz ci,
na które zosta podzielony podobraz (por. rys. 1).
Sumaryczny wska nik dopasowania sygnatur dla ca ej ramki wynosi :
Jj
j
xyjxy qJ
Q1
0 1 (D.3)
przy uwzgl dnieniu wszystkich J cz ci (indeks 0 oznacza brak – czyli zero - cz ci
nieuwzgl dnionych). W przypadku odrzucenia jednego najgorszego wska nika:
xyjj
xyxy qQJ
Q max1
1 01 (D.4)
Po osi gni ciu granic zmienno ci przesuni ramki (x, y) oblicza si , w którym miejscu
dopasowanie ca ych ramek by o najlepsze, czyli wyznacza si wspó rz dne:
(X0 ,Y0) takie, e D(X0 ,Y0)=minx,yQ0xy w przypadku sumowania wszystkich J cz ci, lub
hg
gh iBiG,
(D.1)
S awomir Mikrut, Zbigniew Mikrut
421
(X1 ,Y1) takie, e D(X1 ,Y1)=minx,yQ1xy w przypadku sumowania z odrzuceniem
najgorszego wska nika.
Miar dopasowania dla k-tej pary fragmentów obrazów z bazy danych jest
odchy ka lokalizacji lewego górnego naro nika podobrazu od punktu (0,0), czyli:
22 zzz
k YX (D.5)
przy czym z [0,1] jest indeksem odpowiadaj cym liczbie odrzuconych wyników
cz stkowych.
Dla ca ej bazy danych rednia odchy ka lokalizacji jest redni z odchy ek
cz stkowych:
Kk
k
z
k
z
K 1
1 (D.6)
APPLICATION OF NEURAL NETWORKS TO PHOTOGRAMMETRIC
PROCESSES
KEY WORDS: artificial neural network, image matching, digital photogrammetry
Summary
The paper discusses the use of artificial neural networks in geoinformatics, particularly
in photogrammetric image analysis. It reviews the relevant international publications (including
the ISPRS congress proceedings) and discusses the outcome of research on the use of networks for
matching photogrammetric images. The paper shows also results of tests, described in the
literature, in which neural networks were applied to perform tasks such as feature extraction,
multispectral image classification, camera calibration and matching.
The idea of using neural networks is based on the selection of special representations. The
essence of the neural networks-based methodology consists of preparing suitable representations
of image fragments and of using them toclassify various types of neural networks. One of the
methods adopted was based on the distribution and direction of image gradient module value.
The research was conducted on forty four sub-images, taken from aerial photographs of two
Polish cities: Bytom and Cracow. The areas shown in those images differed in their terrain cover.
The images were divided into three categories: full sub-images, sub-images divided into 4 parts,
and sub-images divided into 6 small parts.
The research involved the Intersecting Cortical Model (ICM), a version of the Pulse Coupled
Neural Network (PCNN), with which the so-called image signatures, i.e., a few dozen-element
vectors that describe the image structure were generated. The preliminary results partially confirm
the correctness of the approach adopted, despite problems resulting from the complex nature of
photogrammetric images.
dr in . S awomir Mikrut
e-mail: [email protected]
tel. (12) 617 23 02
dr in . Zbigniew Mikrut
e-mail: [email protected]
tel. (12) 617 38 53
