Upload
evers
View
42
Download
1
Embed Size (px)
DESCRIPTION
Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése. Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán. A bemutató felépítése. Projekt ismertetés Rendszerfelépítés Használt technikák Sztereólátás Tartalom alapú felismerés - PowerPoint PPT Presentation
Citation preview
Kiss Attila, Németh Tamás
Budapesti Műszaki Főiskola
Konzulensek: Sergyán Szabolcs, Vámossy Zoltán
Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése
2005.03.22. BMF-NIK OTDK 2005 2/20
A bemutató felépítése
Projekt ismertetés Rendszerfelépítés Használt technikák
Sztereólátás Tartalom alapú felismerés
Elért eredmények Összefoglalás, kitekintés
2005.03.22. BMF-NIK OTDK 2005 3/20
Projekt ismertetése
Célunk egy olyan kétkamerás megfigyelőrendszer készítése, amely képes: mozgó objektumokat észlelni
(Object Detecting) térben modellezni
(Stereo Vision) saját adatbázisában ahhoz hasonlókat keresni
(Content Based Image Retrival - CBIR)
2005.03.22. BMF-NIK OTDK 2005 4/20
Rendszerfelépítés
Kamerakezelő rendszer Mozgásdetektálás Modell előkészítés
Modellező rendszer Modellkészítés Megjelenítés
Tartalom-alapú képkinyerő rendszer (CBIR) Tulajdonságkinyerés Hasonlóságmérés Visszacsatolás
2005.03.22. BMF-NIK OTDK 2005 5/20
Kamerakezelő rendszer Objektum detektálás
Változások észlelése a háttérképhez képest A megváltozott terület jelölése
Kapcsolat a CBIR-rel Kamerakép A differenciakép legkisebb határoló téglalapja A differenciakép konvex burka által meghatározott
képrészlet elküldése Modell előkészítés (Jel alapú sztereo módszer)
Jellemző pontok keresése a Harris-féle sarokdetektáló módszerrel
C. Harris, M. Stephens – „A Combined Corner and Edge Detector”, Fourth Alvey Vision Conference, pp. 147-151, 1988.
2005.03.22. BMF-NIK OTDK 2005 6/20
Modellező rendszer
Modellkészítő Jellemző pontok megfeleltetése a bal és jobb oldali
kameraképen intenzitás kereszt korreláció segítségével
Mélységinformáció kinyerése a megfeleltetett pontok diszparitásának számításával
Korreláció alapú sztereó módszer Megjelenítés
Az elkészült modell megjelenítése OpenGL használatával
W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.
2005.03.22. BMF-NIK OTDK 2005 7/20
Tartalom alapú képkinyerés - 1
J. A. Lay, L. Guan – „Image Retrieval Based on Energy Histograms of the Low Frequency DCT Coefficients”, 2004.http://debut.cis.nctu.edu.tw/pages/slides/jeffrey/present2.pdf
2005.03.22. BMF-NIK OTDK 2005 8/20
Tartalom alapú képkinyerés - 2
Előfeldolgozás, zajszűrés Medián szűrő Gauss szűrő
Színnormalizáció (Finlayson módszere alapján) Alacsonyszintű tulajdonságok
DCT együtthatók Színhisztogramok 6 színtérben
(RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*) Textúrázottság (sarkosság), horizontális és vertikális
maszk Diszparitás térkép
B. V. Funt, G. D. Finlayson – “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995.
2005.03.22. BMF-NIK OTDK 2005 9/20
Tartalom alapú képkinyerés - 3
Hasonlóságmérés Minkowski-féle távolságok Hisztogram metszet (Histogram Intersection)
Hierarchikus keresés (könyvtárszerkezet mintájára) Több dimenziós hasonlóság vizsgálat Visszacsatolás, Yong Rui technikája
Y. Rui, T.S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol. 8, No. 5, pp. 644-655, 1998.
2005.03.22. BMF-NIK OTDK 2005 10/20
Pontok megfeleltetése Jellemző pontok keresése
Jellemző pontok megfeleltetése
2005.03.22. BMF-NIK OTDK 2005 11/20
Korreláció alapú sztereó
Pentagon műholdas sztereóképei és diszparitástérképe
Saját képek és diszparitástérképe
2005.03.22. BMF-NIK OTDK 2005 12/20
Saját adatbázis elemei
2005.03.22. BMF-NIK OTDK 2005 13/20
Demo
2005.03.22. BMF-NIK OTDK 2005 14/20
Teszt eredmények (CBIR)
Néhány eredmény csoport teszteléssel
2005.03.22. BMF-NIK OTDK 2005 15/20
Tesztelés az UW kollekcióval
Pontosság a University of Washington kollekció alapján
H. Müller, W. Müller, S. Marchand-Maillet, T. Pun – “A Web-Based Evaluation System for CBIR”, 2004., http://woodworm.cs.uml.edu/~rprice/ep/mueller/
UW kollekció képei
RendszerVissza-csatolásnélkül
Négyvissza-
csatolással
Saját rendszer 30,83% 41,25%
GIFT rendszerhasználatával 53,92% 91,07%
2005.03.22. BMF-NIK OTDK 2005 16/20
Összefoglalás – 1
Két kamerás sztereó rendszer Mozgásészlelés Modellezés Diszparitás térkép továbbítása CBIR felé
Tartalom alapú képkinyerés Indexelési technikákkal plugin-ezhető Automatikusan elkészíti az indexeket
Szín alapú Textúra alapú Mélység alapú
2005.03.22. BMF-NIK OTDK 2005 17/20
Összefoglalás – 2
Szemantikus interpretáció Szöveges leírás Hierarchikus adatbázis kiépítés
Lekérdezések típusa NN – legközelebbi szomszédok
Visszacsatolás Automatikus tesztelés és kiértékelés
Tárolás Összehasonlítás
2005.03.22. BMF-NIK OTDK 2005 18/20
Kitekintés
Új tulajdonságkinyerési technikák implementálása
Alkalmazott modellező algoritmusok gyorsítása és javítása
OODB használata
2005.03.22. BMF-NIK OTDK 2005 19/20
Hivatkozások M.J. Swain, B.H. Ballard - Color Indexing”
Int’l J. Computer Vision, Vol. 7, No. 1, pp. 11-32, 1991. B. V. Funt, G. D. Finlayson - “Color Constant Color Indexing” IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995. Y. Rui, T. S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool
for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol 8, No. 5, pp. 644-655, 1998.
J. Owens, A. Hunter, E. Fletcher - „A Fast Model-Free Morphology-Based Object Tracking Algorithm”http://www.bmva.ac.uk/bmvc/2002/papers/99/full_99.pdf
M. Pollefeys - „3D Modelling from Images” http://www.esat.kuleuven.ac.be/~pollefey/tutorial/
C. Harris, M. Stephens – „A Combined Corner and Edge Detector” Fourth Alvey Vision Conference, pp.147-151, 1988.
H. Müller, W. Müller, Stephane Marchand-Maillet, Thierry Pun – “A Web-Based Evaluation System for CBIR” http://woodworm.cs.uml.edu/~rprice/ep/mueller/
W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.
2005.03.22. BMF-NIK OTDK 2005 20/20
Köszönöm a figyelmet!
Elérhetőségek:
Kiss Attila ([email protected])
Németh Tamás ([email protected])
Honlap:
http://roberta.obuda.kando.hu/iar/2004_2005/FTT