Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
IT-Sicherheit
Kapitel 8.4
Gesichtserkennung und Ohrenerkennung
Anika Pflug, M.Sc.
Sommersemester 2014
1tt.12.jjjj IT-Sicherheit – Kapitel 8 - Biometrie
Manuelle Analyse: Forensik
4tt.12.jjjj
Wie macht man dieses Wissen explizit?
IT-Sicherheit – Kapitel 8 - Biometrie
horizontale Stirnfalten
vertikale Stirnfalten(an der Glabella)
Schläfenfalten
Ohrenfalten
Nasen-Wangen-Falte
Wangen-Kinn-Falte
Nasen-Lippen-Rinne
Mundwinkel-Furche
Kinngrube
Kinn-Lippen-Furche
Wangen-Kinn-Furche
Nasen-Lippen-Furche
Augen-Wangen-Furche
Untere Augenhöhlen-Furche
Querfalte an derNasenwurzel
Angriffe auf Gesichtsdetektion
5tt.12.jjjj
Spezialbrille und Makeup
IT-Sicherheit – Kapitel 8 - Biometrie
Quelle: golem.de Quelle: Adam Harvey
Probleme mit Makeup
6tt.12.jjjj
DOVE Experiment
IT-Sicherheit – Kapitel 8 - Biometrie
http://www.youtube.com/watch?v=hibyAJOSW8U
Gesichtsdetektion
7tt.12.jjjj
Der Viola-Jones Algorithmus
IT-Sicherheit – Kapitel 8 - Biometrie
Spezifische Verteilung von Hell-Dunkel Übergängen im Gesicht
Lernverfahren: Cascaded AdaBoost Entscheidungsbäume!
Quelle: openCV
Automatische Analyse
8tt.12.jjjj
Wie macht man dieses Wissen explizit?
IT-Sicherheit – Kapitel 8 - Biometrie
• Landmarken• Eigenfaces (PCA) und andere statistische Verfahren• Morphable Models• Neurale Netze• Textur-basierte Erkennung
Landmarken
9tt.12.jjjj
Für Menschen leicht, für Maschinen…
IT-Sicherheit – Kapitel 8 - Biometrie
Pro:• Für Menschen leicht nachvollzieh- und korrigierbar
Contra:• Semantische Interpretation von Bildern ist ein
schwieriges Problem – anfällig für Fehler!• Große Mengen an manuell annotierten Trainingsdaten
erforderlich
Trotzdem ein beliebtes Forschungsthema. Gute Erfolge mit Random Forests und Ausnutzung von Symmetrie.
Texturbasierte Ansätze
10tt.12.jjjj
Eigenfaces und mehr
IT-Sicherheit – Kapitel 8 - Biometrie
Direkte Analyse der Textureigenschaften im Bild:• Lokale Grauwerte• Local Binary Patterns• Histogram of Oriented Gradients• Local Phase Quantization
Texturbasierte Ansätze
11tt.12.jjjj
Eigenfaces und mehr
IT-Sicherheit – Kapitel 8 - Biometrie
Bekanntester Vertreter: Eigenfaces--> Projektion des Gesichtes in den Eigenvektorraum
1. Durchschnittliches Gesicht Berechnen2. Kovarianz-Matrix Erstellen und deren Eigenvektoren berechnen3. Projektion durchführen
10 100 200
Texturbasierte Ansätze
12tt.12.jjjj
Local Binary Patterns
IT-Sicherheit – Kapitel 8 - Biometrie
Häufig eingesetztes verfahren zur Beschreibung der lokalen Strukturen
1. Berechnen des LBP Code-Bildes2. Unterteilung des Bildes in lokale Fenster3. Berechnung von Histogrammen aus LBP Codes in jedem Fenster4. Zusammenfügen der Einzelnen lokalen Histogramme
Quelle: University of Oulu
Texturbasierte Ansätze
13tt.12.jjjj
Local Binary Patterns: LBP Codes
IT-Sicherheit – Kapitel 8 - Biometrie
Umrechnung von Grauwerten zu LBP Codes
Quelle: University of Oulu
Herausforderungen
14tt.12.jjjj
Es gibt keine Backrezepte für…
IT-Sicherheit – Kapitel 8 - Biometrie
Pose
Illumination
Expression
PIE:
Herausforderungen
15tt.12.jjjj
Beispiel: Richtlinien für Personalausweis
IT-Sicherheit – Kapitel 8 - Biometrie
Quelle: http://www.personalausweisportal.de/SharedDocs/Downloads/DE/Weitere-Informationen/Fotomustertafel.pdf?__blob=publicationFileund www.ruthe.de
• Hohe Genauigkeit nur für standardisierte Bilder erreicht
• Bedienungsfehler sind häufigste Fehlerquelle!
Herausforderungen
16tt.12.jjjj
Beispiel: Richtlinien für Personalausweis
IT-Sicherheit – Kapitel 8 - Biometrie
Quelle: http://www.personalausweisportal.de/SharedDocs/Downloads/DE/Weitere-Informationen/Fotomustertafel.pdf?__blob=publicationFileund www.ruthe.de
Herausforderungen
17tt.12.jjjj
Automatische Grenzkontrolle (OSL)
IT-Sicherheit – Kapitel 8 - Biometrie
Häufigste Fehlerquellen:
• Menschen schauen nicht in die Kamera, sondern…• Zum Ausweis-Scanner• Zu Person im Schalter• Zu einer Person hinter ihnen
• Mehrere Personen im Gate• Piktogramme werden nicht verstanden
Vergleich 2D und 3D
18tt.12.jjjj
Nicht alles ist gelöst
IT-Sicherheit – Kapitel 8 - Biometrie
Problemstellung 3D Gesichtserkennung 2D Gesichtserkennung
Pose gelöst offen
Skalierung gelöst offen
Lichtverhältnisse Teilw. gelöst offen
Gesichtsausdruck offen offen
3D-Gesichtserkennung
19tt.12.jjjj
Aufnahmeverfahren
IT-Sicherheit – Kapitel 8 - Biometrie
• Structured light• Passive stereo vision• Structure from motion• Lichtfeld-Kameras
3D-Gesichtserkennung
20tt.12.jjjj
Datenstruktutren
IT-Sicherheit – Kapitel 8 - Biometrie
Punktwolken Meshes Tiefenbilder
3D-Gesichtserkennung
21tt.12.jjjj
Nachteile und Vorteile
IT-Sicherheit – Kapitel 8 - Biometrie
• Pose kann normalisiert werden• Verminderter Einfluss von Beleuchtung (je nach Aufnahmetechnik)• Vergleich auf zu 2D möglich durch Rendering• Zusätzliche Tiefeninformationen machen das System verlässlicher
3D-Gesichtserkennung
22tt.12.jjjj
Beispiel für Landmarken-Extraktion
IT-Sicherheit – Kapitel 8 - Biometrie
Klassifikation von Punkten anhand ihrer Position und Krümmungen
• Nasenrücken *• Nasenspitze *• Tränendrüsen **• Nasenwurzel **• Nasen-Lippen-Furche *
Privacy
23tt.12.jjjj
Ethnie, Religion, Verwandtschaft…
IT-Sicherheit – Kapitel 8 - Biometrie
Quelle: http://genetic.ulriccollette.com/
Ohren-Biometrie
24tt.12.jjjj
Nur Ergänzung oder Eigenständig?
IT-Sicherheit – Kapitel 8 - Biometrie
Pro:• In der Forensik sehr wichtig• So individuell wie ein Fingerabdruck• Viele Merkmale auf kleinstem Raum• In Überwachungsvideos oft gut sichtbar Stabiler
gegenüber Alterung als das Gesicht
Contra:• Probleme mit Verdeckung (z.B. Hijab, Kopfhöhrer, lange Haare)• Derzeit keine etablierten Algorithmen zum automatischen Vergleich
Ohren-Biometrie
25tt.12.jjjj
Geschichte
IT-Sicherheit – Kapitel 8 - Biometrie
In der klassischen Kunst galt es als Qualitätsmerkmal, wenn alle Details einer Skulptur de, Erscheinungsbild der echten Person entsprachen.
Auch das Ohr sollte individuell sein
Ohren-Biometrie
26tt.12.jjjj
Bedeutung in der Forensik
IT-Sicherheit – Kapitel 8 - Biometrie
„Diebestour durch Hamburg aufgeklärt: Ohrabdruck überführt Einbrecher“ (29. April 2012, N-TV)
"Ohrabdruck" dank neuem System eindeutiger als Fingerabdruck? (13. November 2010, shortnews.de)
Kriminalität: Verräterischer Ohrabdruck (5. Januar 2004, spiegel-online.de)
Ohren-Biometrie
29tt.12.jjjj
Segmentierung für für 2D
IT-Sicherheit – Kapitel 8 - Biometrie
Haar-like features oder LBP (Islam & Davies, 2008) mit AdaboostTracking hilft dabei, weniger false positives zu erzeugen.
Ohren-Biometrie
30tt.12.jjjj
Feature Extraktion für 2D
IT-Sicherheit – Kapitel 8 - Biometrie
• Force Fields (Hurley, 2004)• Geometric Features (Choras, 2005)• SIFT (Kisku et al., 2009)• Eigenears (Victor et al, 2002)• Active Appearance Models (Yuan and Mu, 2007)
Ohren-Biometrie
31tt.12.jjjj
Feature Extraktion für 3D
IT-Sicherheit – Kapitel 8 - Biometrie
• Slice Curves (Lui and Zhang, 2011)• Deformable Model Fitting (Passalis et al., 2007)• ICP (Chen and Bhanu, 2007)
Ohren-Biometrie
32tt.12.jjjj
Verdeckungen
IT-Sicherheit – Kapitel 8 - Biometrie
Haare Ohrschmuck
Brillenbügel, Kopfhöhrer, Kopfbedeckungen
Ohren-Biometrie
33tt.12.jjjj
Verdeckungen
IT-Sicherheit – Kapitel 8 - Biometrie
Occlusion for Men
Occluded Visible Partly
Occlusion for Women
Occluded Visible Partly
Ohren-Biometrie
34tt.12.jjjj
Verdeckungen
IT-Sicherheit – Kapitel 8 - Biometrie
Occluded Visible Partly
Occlusion Types
Hair partly Hair complete Headdress/Hat
Large Earrings Attached Earrings Ear Phones
Ohren-Biometrie
35tt.12.jjjj
Herausforderungen
IT-Sicherheit – Kapitel 8 - Biometrie
Challenges and Current Reserach
• Establish standard algorithms for automaitc retrieval Immature field of reserach, much space for being creative!
• Overcome issues with pose, occlusion and illumination Probably in cinjunction with face recognition?
• Quality assurance and influence of image compression In Surveillance we often have low resolution and unstable lighting conditions
Ohren-Biometrie
36tt.12.jjjj
Forschung an der HDA
IT-Sicherheit – Kapitel 8 - Biometrie
Nutzung von Gradienten im Tiefenbild zur Detektion des Ohres
Beschreibung des Ohres anhand von Proportionen der gefundenen Kanten
Ohren-Biometrie
37tt.12.jjjj
Forschung an der HDA
IT-Sicherheit – Kapitel 8 - Biometrie
1
2
3
Rotations-invariante Detektion von Ohren in Tiefenbildern
• Histogramm aus Oberflächenkrümmungen extrahieren
• SVM trainieren• Schwerpunkt der dichtesten
Wolke aus Detektionen wählen
Ohren-Biometrie
38tt.12.jjjj
Forschung an der HDA
IT-Sicherheit – Kapitel 8 - Biometrie
Normalisierung von Ohren ohne Ausnutzung Symmetrie-Eigenschaften
Abschätzung von Parametern einer umschließenden Ellipse in einem Ohrenbild zur Schätzung der Orientierung. Ziel: Ausgleich leichter Rotationen
Ohren-Biometrie
39tt.12.jjjj
Forschung an der HDA
IT-Sicherheit – Kapitel 8 - Biometrie
Einfluss von Bildstörungen und Kompression auf die Detektions- und Erkennungsgenauigkeit
Detektion: Haar-Like Features, LBP und HOG Recognition: Lokale Histogramme von LBP, HOG und LPQ
Ohren-Biometrie
40tt.12.jjjj
Forschung an der HDA
IT-Sicherheit – Kapitel 8 - Biometrie
Unterteilung von Feature Räumen für effiziente Suche in großen Datenbanken
Unsupervised Learning Ansatz für Textur-FeaturesUntersuchung von Clustering- und Projektionsverfahren
C1 C2 C3 C4
Gallery Cluster ID
Nu
mb
ero
fId
enti
ties
Nu
mb
ero
fId
enti
ties
Gallery Cluster ID
C1 C2 C3 C4
Bad performance: HOG Good performance: LPQ