Uydu Görüntüleri için Fourier-Mellin Dönüşümü ve Bispektrum Tabanlı Dönme, Ölçekleme, Öteleme Değişmezlikli Otomatik

Hedef Tanıma

Rotation, Scale and Translation Invariant Automatic Target Recognition Based on Fourier-Mellin Transform and Bispectrum for Satellite Imagery

Alp Ertürk, A. Aydın Alatan, Tolga Çiloğlu

Elektrik ve Elektronik Mühendisliği BölümüOrta Doğu Teknik Üniversitesi

alp_erturk@hotmail.com, alatan@eee.metu.edu.tr, ciltolga@metu.edu.tr

ÖzetçeBu çalışmada uydu görüntülerinden otomatik hedef tanıma problemine, şablon eşleme kullanan bir yaklaşım sunulmuştur. Şablon eşlemenin dönme, ölçekleme ve öteleme değişmezliği için üç yöntemden faydalanılmış ve performans karşılaştırması yapılmıştır. Önerilen yöntemler, Fourier-Mellin dönüşümünü doğrudan kullanan yöntem, Fourier dönüşümü, log-kutupsal eşleştirme ve faz korelasyonu ile geri-oluşturma temelli bir yöntem ve son olarak, bispektrum, log-kutupsal eşleştirme ve faz korelasyonu kullanan bir geri-oluşturma temelli yöntemdir. Deneyler sonucunda geri-oluşturma temelli yöntemler için ümit verici performans değerleri elde edilmiştir. Ayrıca, bispektrum kullanan yöntemin en yüksek performans değerleri için potansiyeli olduğu, ancak dilim sabiti seçimindenetkilenebildiği gözlemlenmiştir.

Abstract Automatic target recognition for satellite imagery is approached in this study by using template matching. Three methods are exploited for rotation, scale and translation invariance of template matching and compared in performance. These methods utilize Fourier-Mellin transform directly, a reconstruction-based method via Fourier transform, log-polar mapping and phase correlation and finally, a reconstruction-based method by using bispectrum,log-polar log-polar mapping and phase correlation. Acceptable performance rates are obtained for the reconstruction-based methods. It is also observed that the method using bispectrum has the potential for highest performance rates, while it can suffer from the drawback of slice constant selection.

1. GirişOtomatik hedef tanıma (OHT), savaş alanı değerlendirmesi yada çok büyük veri boyutları üzerinden farklı hedeflerin yer tespiti ve tanınması gibi birçok zor aktivite ile görevleri bulunan operatörlerin iş yükünü azaltmayı hedeflemektedir [1].

Bu çalışmada, OHT için, imge kurtarma, imge oturtma ve yüz tanıma gibi birçok alanda kullanılan şablon eşleme tercih edilmiştir. Şablon eşleme kullanılan birçok çalışmada, şablon, eşleştirilecek test görüntüsünde, tamamen ya da çoğunlukla aynı kalmaktadır. Ancak, otomatik hedef tanımada, görüntüden bölütlenmeyen hedefler, olası bozulmalar ve detay farklarına ek olarak, birçok farklı yönelim veya ölçeklerde olabilirler.

Şablon eşlemenin dönme, ölçekleme ve öteleme (DÖÖ) değişmezliği, yüksek oranda paralelleştirilebilir yapısı da göz önünde bulundurularak, bu çalışmanın temel odak noktasını oluşturmaktadır. Hava görüntüsünün alındığı yükseklik bilindiğinde ölçek farklılığı kolayca çözülebilecek olsa da hedefler yine de farklı yönelimlerde olabilir.

Her hedef ve her olası yönelim için bir şablon kullanmak işlem süresi ve hafıza kısıtları göz önüne alındığında olanaklı gözükmemektedir. Ancak DÖÖ değişmezliği olmadan belli bir yönelimde olan tek bir taslak kullanmak da bu hedefi tüm olası yönelim ve ölçeklerde tanımak için kesinlikle yeterli değildir: bunun sebebi korelasyon sonuçlarının küçük miktarlarda dönme veya ölçekleme sonucunda bile şiddetli olarak düşmesidir [2].

Fourier-Mellin dönüşümü (FMD) [2]-[3] DÖÖ değişmezliği için çok tercih edilen bir yöntemdir. FMD - ve log-kutupsal eşleştirme – genellikle görünmez damgalamaalanında kullanılmış olsa da [3]-[4]-[5], imge oturtma [6], [7] ve görüntü tanıma [8] gibi farklı alanlarda da kullanılmaktadır.

Bununla birlikte, FMD bazı önemli zayıflıklara sahiptir. Bunların önde geleni bu işlem sonunda faz bilgisinin kaybıdır.Görüntülerde bulunan bilginin tamamı korunmamakta ve bu sebeple taslak ve hedef bölge arasındaki her eşlemenin korelasyon değerine bağlı dinamik aralığı çok küçük olmaktadır ve yanlış alarmlar artmaktadır [7].

Bu problemi aşmak için bir yaklaşım FMD’de takip eden Fourier dönüşümünü almamak ve yerine, bu aşamada dönme ve ölçekleme parametrelerine denk gelen öteleme değerlerini tespit etmek için faz korelasyonu kullanmaktır [5],[6],[7],[9]. Bu parametreler görüntüyü geri oluşturmak için kullanılır. Bu adımdan sonra, geri oluşturulmuş görüntü ve taslak görüntü tekrar faz korelasyonu yöntemine sokularak, iki görüntü arasındaki en iyi öteleme parametreleri tespit edilir.

550

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

978-1-4244-9671-6/10/$26.00 ©2010 IEEE

Bu yöntemi kullanırken bile öteleme değişmezliği için Fourier dönüşümü genliği kullanılmalıdır. Bu yüzden faz bilgisi yine de kaybolmaktadır. Bu noktada bispektrum [10]-[11] faz bilgisini kaybetmeden öteleme değişmezliği elde etmek için Fourier dönüşümü genliği yerine kullanılabilir.

2. Fourier dönüşümünün DÖÖ özellikleri Öteleme ayrık Fourier dönüşümünün (AFD) faz bileşeninde kaymaya sebep olur. Bu yüzden, AFD genliği öteleme değişmezliğine sahiptir.

Uzamsal düzlemde görüntüyü ölçeklemek frekans

düzleminde ters bir ölçeklemeye sebep olur.

Görüntüyü döndürmek görüntünün Fourier dönüşümünün de aynı açı ile dönmesine sebep olur.

3. Log-kutupsal eşleştirme Log-kutupsal eşleştirme insan görme sistemine dayanan doğrusal olmayan bir dönüşümdür. Kartezyen koordinatlardaki her dönme ve ölçekleme, log-kutupsal koordinatların, sırayla, açısal yönünde ve log-radyal yönünde kaymalar olarak gösterilir.

4. Fourier-Mellin dönüşümü Bir görüntü i0(x,y), ve onun dönmüş, ölçeklenmiş ve ötelenmiş bir biçimi, i1(x,y), aşağıdaki şekilde ilintilidir:

i0(x,y) ve i1(x,y)’nin Fourier dönüşümleri aşağıdaki şekilde ilişkilidir:

Yukarıdaki denklemi log-kutupsal koordinatlarında

yazarak aşağıdaki ilişki elde edilir:

İkinci bir Fourier dönüşümü sonucu:

Fourier genliklerinin ilişkisi:

Bu yüzden, FMD’nin sonuç spektrumu bir sabit ölçekleme faktörü ile DÖÖ değişmezliklidir.

5. Bispektrum Yüksek seviye spektrumlar aşağıdaki gibi tanımlıdır:

burada ui , i = 1, …, n iki boyutlu (2-B) frekans uzayında vektörlerdir, ve s = u1 + u2 + … + un.

Birinci seviye spektrum, genlik spektrumunun karesi olan, güç spektrumudur:

İkinci seviye spektrum ise bispektrumdur:

Bispektrum doğrusal faz terimleri birbirlerini

elediklerinden öteleme değişmezlikli olurken, hem genlik hem de faz bilgisini koruyabilmektedir [10].

2-B bir imgenin bispektrumu 4-B bir matristir. Bu yüzden, bispektrumun tümünü değerlendirmek genel olarak pratik değildir. Genel olarak kullanılan bir çözüm, bu 4-B matrisin 2-B dilimlerini almaktır [10-12]. Bispektrum dilimleri genellikle aşağıdaki şekilde tanımlanır:

Bispektrumun tamamının ve 2-B dilimlerinin ölçekleme ve

dönme özellikleri aynıdır ve aşağıdaki gibidir:

Bu özellikler temel olarak Fourier dönüşümünün gösterdiği

özellikler ile aynıdır, bu da FMD’de, ölçekleme ve dönme parametrelerinin kestirimi için, genlik spektrumu yerine bispektrum dilimlerini doğrudan ve aynı şekilde kullanabileceğimizi gösterir [11].

Ancak, bispektrum dilimi katsayısı, literatürde bulunan birçok uygulamanın aksine, bu çalışmada, sonuçları kayda değer oranda etkilemektedir. Bu problem için bu çalışmada kullanılan kısmen düz mantık bir çözüm, birden çok sayıda dilim katsayısı kullanan bir çözüm uygulanmıştır.

551

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

6. Bispektrumu dayanan önerilen yöntem Bu çalışmada uygulanan geri oluşturma temelli, bispektrum, log-polar haritalama ve faz korelasyonu kullanılan yöntemin adımları aşağıdaki gibidir: 1) Test imgesi taslak imgesi ile aynı boyuttaki çakışan alt-imgelere bölünür. 2) Sınır etkilerini ortadan kaldırmak ve arka planın etkisini azaltmak için Hanning pencereleme kullanılır. 3) Taslağın ve alt-imgelerin bispektrum dilimleri alınır. Birden çok dilim katsayısı kullanılarak birden çok sayıda dilim alınır. 4) Log-kutupsal eşleştirme elde edilir. 5) Taslak ve alt-imgeler arasındaki dönme ve ölçekleme parametrelerini bulmak için faz korelasyonu uygulanır. (Otomatik hedef tanımada, bu faz korelasyonunda, belirgin tek bir tepe elde edilemediğinden birden çok sayıda tepe değeri kullanılarak birden çok sayıda dönme-ölçekleme çifti elde edilir). 6) Her alt-imge, ondan elde edilen her dönme-ölçekleme parametre çifti kullanılarak geri oluşturulur. 7) Geri oluşturulan alt-imgeler ve taslak arasında faz korelasyonu alınarak öteleme parametreleri bulunur. Birden çok tepe değeri kullanılır. 8) Geri oluşturulan alt-imgeler öteleme parametreleri ile tekrar geri oluşturulur. 9) Alt-imgenin taslaktaki hedefi içerip içermediği tespit etmek için imge düzleminde normalize edilmiş çapraz-korelasyon kullanılır. Her alt-imge için elde edilen en yüksek korelasyon değerinin doğru DÖÖ parametreleri kullanılarak geri oluşturulan alt-imgeye denk geldiği kabul edilir.

7. Deneysel sonuçlar Performans testleri, FMD, FMD kullanan geri-oluşturma

temelli yöntem, bispektrum kullanan geri-oluşturma temelli yöntem (5 ve 10 dilim katsayısı kullanılarak), ve eksiksiz (exhaustive) yaklaşım için yapılmıştır. Performanslar, alıcı işletim eğrileri kullanılarak ölçülmüştür.

Üç farklı test veri grubu için performans dağılımları aşağıda sunulmuştur. Performans dağılımları sunulduktan sonra genel performans analizi yapılarak sonuçlar incelenmiştir.

Bu üç test veri grubu için kullanılan taslak imgeleri aşağıdaki gibidir. Taslak imgelerinin seçimi performans açısından çok önemlidir. Arzu edilen, taslak imgelerinin test imgelerinde yer alan hedeflere ve arka planlara olabildiğince benzemesidir, ancak otomatik hedef tanımada test imgeleri önceden bilinmediğinden dolayı, bu çalışmada, görüntünün net, gölgenin az olduğu ve arka planın o hedef türü için beklenmeyen bir arka plan olmadığı taslaklar kullanılmıştır.

Şekil 1: Sırasıyla, test veri grubu 1,2 ve 3 için taslak imgeleri

Test imgeleri taslaklardaki hedefleri içeren, ancak boyut olarak çok daha büyük olan imgelerdir, dolayısıyla hem hedefi içeren, hem de içermeyen alt-imgelere sahiptirler. Test imgelerinde genel olarak hedefi içermeyen alt-imgelerin sayısı içerenlerden çok daha fazladır. Taslak ve test imgeleri Google Earth® kullanılarak toplanmıştır.

7.1. Test veri grubu 1: Ticari yolcu uçağı

İlk test veri grubu için hedef olarak bir ticari yolcu uçağı seçilmiştir. Test imgeleri aynı hedef türünden toplam 26 adet içermektedir.

Şekil 2: Test veri grubu 1 için anımsama – duyarlık çizimi

7.2. Test veri grubu 2: Askeri jet uçağı

İkinci test grubu için, kamuflajlı bir askeri jet uçağı hedef olarak seçilmiştir. Test imgeleri hedeften toplam 38 adet içermektedir.

Şekil 3: Test veri grubu 2 için anımsama – duyarlık çizimi

7.3. Test veri grubu 3: Yer aracı

Üçüncü test veri grubu için bir yer aracı hedef olarak seçilmiştir. Test imgeleri 11 tanesi taslak imgesindeki hedefle aynı olan toplam 163 yer aracı içermektedir.

Şekil 4: Test veri grubu 3 için anımsama - duyarlık çizimi

552

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

7.4. Genel performans analizi

Gerçekleştirilen performans testleri bildiride sunulan üç testle sınırlı olmamasına rağmen, bu üç test, sırasıyla göreceli kolay bir hedef için, daha zor bir hedef için ve çok benzer test imgeleri içeren bir test grubu için başarılı örneklerdir.

Tablo 1 ve Tablo 2’de, sırasıyla, bu üç test veri grubu için elde edilen %100 anımsama oranına karşılık gelen duyarlık oranları ve %100 duyarlık oranına karşılık gelen anımsama oranları sunulmuştur.

Tablo 1: %100 anımsama oranında duyarlık oranları (ıskalanan hedef yok)

Tablo 2: %100 duyarlık oranında anımsama oranları (yanlış alarm yok)

Tablolardan gözlemleneceği üzere Fourier-Mellin dönüşümünü doğrudan kullanan yöntem, faz bilgisinin kaybı ve bunun sonucu olan çok küçük dinamik aralıktan dolayı, genellikle yüksek duyarlık oranlarına ulaşamamaktadır.

Genel olarak, %100 anımsama oranında daha kolay hedefler ve göreceli basit veya benzer arka planlar için, %10 veya %20 duyarlık oranına ulaşılmaktadır. Daha zor hedefler veya daha çok değişen arka planlar üzerindeki hedefler için bu oranlar %5 - %10 arasına düşmektedir. Bununla birlikte, hedeflerin tümü aydınlanma farklarının ve gölge etkilerinin çok az olduğu çok benzer arka planlar üzerinde olduğunda çok daha yüksek başarı oranları elde edilebilmektedir.

8. Sonuçlar Literatürde bu çalışmadakilere benzer yöntemler her zaman sentetik örneklerle kullanılmaktadır ve genellikle bir imge, kendisinin dönmüş ve ölçeklenmiş bir biçimi ile eşleştirilmektedir [6]. Ancak, otomatik hedef tanımada imgenin içindeki hedefin dönme, ölçekleme, öteleme değişikliklerinin ve olası bozukluklarının dışında arka plan ve aydınlanma da büyük oranda değişmektedir. Bu yüzden, bu tür yöntemler hem performans hem de işlem yükü açısından zarar görmektedir.

Bu çalışmada, yöntemlere uygulanan çakışan alt-imgeler, birden çok sayıda tepe değeri kullanmak ve pencereleme gibi kimi değişikliklerin de yardımıyla, şablon eşleme kullanılarak dönme, ölçekleme ve öteleme değişmezlikli otomatik hedef tanıma için kabul edilebilir performans değerleri elde edilmiştir.

Geri-oluşturma temelli yöntemler kimi dezavantajlardan zarar görmelerine rağmen tatmin edici sonuçlar vermektedir. Bispektrum kullanan yöntem bu dezavantajlardan faz bilgisi kaybı problemini çözse de, bispektrum dilim katsayısı seçimi sonuçları etkilemektedir. Çalışmada gözlemlendiği üzere, birden çok dilim katsayısı kullanmak, işlem yükünü oldukça arttırmaktadır ve bu yöntemin potansiyelini açığa çıkarmak için yeterli değildir. Bu dezavantajı çözmek için özgün bir yöntem gelecekteki bir çalışma olarak geliştirilerek bu çalışmada sunulan performans değerlerinden daha yüksek performans değerleri elde edilebilir.

Otomatik hedef tanıma, istihbarat, gözetleme, hedef analizi ve keşif alanlarında çalışan operatörlerin ağır iş yükünü azaltmak için önemlidir. Bu çalışmada geliştirilen yöntemler ve elde edilen performans değerleri bu iş yükünü kayda değer oranda azaltmak açısından başarılıdır. Taslak kullanan bu çeşit tanıma yaklaşımlarının büyük oranda paralel olarak işlenebilmesi, algoritmaların koşma sürelerini istenilen düzeylere indirebilmek için büyük bir avantaj sağlamaktadır.

9. Kaynakça [1] B. Bhanu, D.E. Dudgeon, E.G. Zelnio, A. Rosenfeld, D. Casasent, and I.S. Reed. “Guest editorial introduction to the special issue on automatic target detection and recognition”. IEEE Trans. on Image Proc., Vol. 6, No 1, Jan. 1997, pp. 1-6 [2] D. Casasent, and D. Psaltis, “New optical transforms for pattern recognition”, Proc. of the IEEE, Vol. 65, No. 1, Jan. 1977, pp. 77-8 [3] J.J.K. O’Ruanaidh, and T. Pun, “Rotation, scale and translation invariant digital image watermarking”, IEEE Int. Conf. on Image Processing (ICIP), Oct. 1997, pp. 536-539 [4] C.-Y. Lin, M. Wu, J. A. Bloom, I. J. Cox, M. L. Miller, and Y. M. Lui, “Rotation, scale and translation resilient watermarking for images”, IEEE Transactions on Image Processing, Vol. 10, No. 5, May 2001, pp. 767-782 [5] D. Zheng, J. Zhao, and A. El Saddik, “RST-invariant digital image watermarking based on log-polar haritalamaand phase correlation”, IEEE Trans. on Circuits and Systems for Video Technology, Vol. 13, No. 8, Aug. 2003, pp. 753-765 [6] S. Zokai, and G. Wolberg, “Image registration using log-polar mappings for recovery of large-scale similarity and projective transformations”, IEEE Transactions on Image Processing, Vol. 14, No. 10, Oct. 2005, pp. 1422-1434 [7] Q.-S. Chen, M. Defrise, and F. Deconinck, “Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition”, IEEE Trans. on Pattern Anal. and Mach. Int., Vol. 16, Dec. 1994, pp. 1156-1168 [8] J. Zhang, Z. Ou, and H. Wei, “Fingerprint matching using phase-only correlation and Fourier-Mellin transforms”, IEEE International Conference on Intelligent Systems Design and Applications (ISDA), Vol. 2, Oct. 2006, pp. 379-383 [9] F.-F. He, J.-Y. Sun, W.-P. Guo, and L.-B. Sun, “Forward-looking scene matching with RST invariant conformation based on Fourier-Mellin transform”, IEEE Int. Conf. on Wavelet Analysis and Pattern Rec., Nov. 2007, pp. 157-162 [10] J. Heikkila, “Image scale and rotation from the phase-only bispektrum”, IEEE International Conference on Image Processing (ICIP), Vol. 3, Oct. 2004, pp. 1783-1786 [11] V. Ojansivu, and J. Heikkila, “A method for blur and similarity transform invariant object recognition”, IEEE 14th International Conference on Image Analysis and Processing (ICIAP), Sept. 2007, pp. 583-588

553

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir