Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Schattenentfernung unter Verwendung desRetinex-Algorithmus
13. Workshop Farbbildverarbeitung 2007, Koblenz
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans
sarah.steinmetz,paulus,[email protected]
Institut für ComputervisualistikUniversität Koblenz-Landau
05. Oktober 2007
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 1
Überblick
Überblick
Einleitung
SchattendetektionBeleuchtungsinvariante DarstellungKamerakalibrierung mit künstlichen LichtquellenBerechnung des Schattenkantenbilds
Schattenentfernung mit RetinexPfadbasierter Retinex-AlgorithmusSchattenentfernung
Quantitative Bewertung
Experimente
Zusammenfassung
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 2
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Motivation
Die Entfernung von Schatten ist für verschiedene Bereiche derBildverarbeitung interessant, z.B.:
◮ Segmentierung
◮ Tracking
◮ Objekterkennung
◮ Bildverbesserung
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 3
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Überblick über das Verfahren [FHD02b]
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 4
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Beleuchtungsinvariante Darstellung
Beleuchtungsinvariante Darstellung [FH01]
Annahmen
◮ Vereinfachtes Modell der Bildentstehung:
f (k)(x) = E (λk , xw )ρ(λk , x
w )
◮ Lambert’sche Flächen◮ Linearität◮ Sensorempfindlichkeitskurven perfekt schmalbandig
◮ Beleuchtung kann als Planck’scher Strahler approximiertwerden
→ Logarithmische Chromatizitätswerte, die Oberflächenpunkte derselben Reflektanz unter verschiedener Beleuchtung darstellen,liegen im Log-Chromatizitäts-Raum auf einer Linie
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 5
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Beleuchtungsinvariante Darstellung
◮ Ort: bestimmt durch die Reflektanz des Oberflächenpunkts
◮ Position auf der Linie: abhängig von der Farbtemperatur
◮ Beleuchtungsinvariante Richtung: abhängig von denspektralen Eigenschaften der Kamera
−4
−2
0
2
4
−4 −2 0 2 4
ln(B
/G)
ln(R/G)
Inva
riant
e W
erte
Invariante Richtung
RotGrünBlau
MagentaCyan
Beleuchtungsinvariante Darstellung: Projektion entlang derinvarianten Richtung
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 6
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Kamerakalibrierung mit künstlichen Lichtquellen
Kamerakalibrierung mit künstlichen LichtquellenBenötigt: Mehrere Aufnahmen des Macbeth Color Checker beijeweils verschiedener Planck’scher Beleuchtung
0.22
0.24
0.26
0.28
0.3
0.32
0.34
0.36
0.38
0.4
0.42
0.44
0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6
y
x
Lichtquellen im CIE 1931 xy−Chromatizitäts Diagramm
Plancksche OrtskurveLichtbox A
Lichtbox D65Lichtbox TL84
KohlebogenlampeHalogenstrahler 400WHalogenstrahler 100W
Glühbirne gedimmt
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 7
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Kamerakalibrierung mit künstlichen Lichtquellen
ErgebnisseCCD Firewire Kamera, keine Nachbearbeitung der Sensordaten
Lichtquellen: 400W Halogenstrahler, 6 Dimmstufen, A
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
-1 -0.5 0 0.5 1 1.5
patch 0 patch 1 patch 2 patch 3 patch 4 patch 5 patch 6 patch 7 patch 8 patch 9
patch 10 patch 11 patch 12 patch 13 patch 14 patch 15 patch 16 patch 17 patch 18 patch 19 patch 20 patch 21 patch 22 patch 23
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 8
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Berechnung des Schattenkantenbilds
Berechnung des Schattenkantenbilds
Schattenkantenpixel: Kantenpixel im Farbbild, aber nicht iminvarianten Bild [FHD02a]
◮ Wenn Farbwerte benachbarter Flächen auf ähnliche invarianteWerte abgebildet werden:Fehlklassifikation von Materialkanten als Schattenkante
Anpassung
◮ Annahme: Kanten mit großer Änderung des Hue-Werts stellenMaterialkanten, keine Schattenkanten dar
◮ Detektierte Schattenkantenpixel, an deren Stelle sich imHue-Kantenbild eine starke Kante befindet, werden verworfen
◮ Voraussetzung: Farben der Lichtquellen in der Szeneunterscheiden sich nicht stark
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 9
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Pfadbasierter Retinex-Algorithmus
Pfadbasierter Retinex-Algorithmus
Theorie der menschl. Farbwahrnehmung nach Edwin Land [LM71]
Farbkonstanzalgorithmus bei nicht uniformer Beleuchtung
Farbwahrnehmung durch 3 unabhängige Retinex-Prozesse:
◮ Lightness eines Punktes wird bestimmt durch Mittelung derrelativen Reflektanzen zu anderen Punkten im Sichtfeld
◮ Relative Reflektanz ≈ Produkt der Intensitätsverhältnisseentlang eines Verbindungspfades
E E E1 2 3E3E2E1
ρ1
ρ ρ ρ2 3 4
E1ρ2E1ρ1
·
E2ρ3E2ρ2
·
E3ρ4E3ρ3
=ρ4
ρ1
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 10
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Pfadbasierter Retinex-Algorithmus
Annäherung der Lightness eines Punktes
◮ Verfolgen mehrerer Pfade zu einem Punkt, Mittelung derPfadprodukte
◮ Annahme der maximalen Reflektanz für den Startpunkt:Initialisierung des Pfadprodukts mit 1
◮ Entlang des Pfades: Multiplikation mit Verhältnis desaktuellen Pixelwerts zum vorigen Pixelwert
◮ Pfadprodukt > 1: Reflektanz des aktuellen Punkts größer alsdie des Startpunkts→ Reset: Neustart der Berechnung des Pfadprodukts
◮ Schwellwertfunktion zur Eliminierung nicht uniformerBeleuchtung: Verhältnis benachbarter Pixelwerte, dasannähernd Eins ergibt, wird auf Eins gesetzt
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 11
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Schattenentfernung
Schattenentfernung
Idee [FHD02b]: Anpassung der Schwellwertfunktion:
◮ Annahme: Binäres Schattenkantenbild gegeben
◮ An Schattenkante: Verhältnis aufeinander folgender Pixel wirdauf Eins gesetzt
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 12
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Schattenentfernung
Umsetzung [FHD02b]Erzeugung der Pfade nur an Position (0, 0)
An jeder Pixelposition
◮ Pfadpunkte um aktuellen Vektor verschieben
◮ Verfolgen der Pfade von Endpunkten zum aktuellen Pixel
◮ Mittelung der Pfadprodukte
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 13
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Schattenentfernung
Anpassungen
Bessere Mittelung: Jedes Pixel entlang des Pfades wird aktualisiert
Keine Farbkorrektur:
◮ Pfadprodukt mit dem Wert des Startpixels initialisieren
����
Product
1.0 1.0Ratio
Schattenkante
200 200 200
200
100 110 100
200200100
110 100110
200
200
200
200 200 220 200 200 200
◮ Reset: Wenn Pfadprodukt größer als Maximalwert
◮ Mehrere Pfade nötig um Fehler abzuschwächen
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 14
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Schattenentfernung
Einschränkungen
Lokale Fehler an der Schattenkante wirken sich global aus, da sieentlang der Pfade propagiert werden, z.B.
◮ Falsch klassifizierte Schattenkanten
◮ Schattenkantenbild unvollständig
◮ Start des Pfades im Schatten
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 15
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Ansatz zur quantitativen Bewertung
Anforderungen an Schattenentfernung
◮ Der Schatten wird entfernt
◮ Keine Erzeugung von Artefakten außerhalb des Schattens
◮ Keine Erzeugung von Artefakten innerhalb des Schattens
◮ Erhaltung der Struktur im Bereich der Schattenkante
Ground Truth: Gradientenbild des Bilds der Szene ohne Schatten
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 16
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Bewertungsmaße
Mittlerer euklidischer Abstand der Gradienten derGT-Aufnahme f und des schattenentfernten Bilds f ′
in 3 Bereichen:
◮ de(f , f′): im Bereich der Schattenkanten
◮ di(f , f′): innerhalb der Schattengrenzen
◮ do(f , f′): außerhalb der Schattenregionen
Diese 3 Werte sollen möglichst klein sein
Benötigte Ground Truth Daten
◮ Aufnahme der Szene ohne Schatten
◮ Binäres Schattenkantenbild
◮ Binäres Schattenregionenbild
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 17
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Experimente
Erzeugung von Testdaten im Labor
Berechnung der zugehörigen GT-Schattenbilder
Erzeugung von Referenzwerten
◮ Für jedes Schattenbild: Mittlere Gradientenabstände zwischenSchattenbild und GT-Bild der Szene
◮ Mittelung über alle Aufnahmen: Gemittelte mittlereGradientenabstände deref , diref , doref als Referenzwerte
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 18
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Vergleich verschiedener Parametereinstellungen
◮ Setup 1: 5 Pfade pro Pixel beim Retinex
◮ Setup 2: 20 Pfade
◮ Setup 3: 50 Pfade
◮ Setup 4: wie Setup 2, keine Berücksichtigung derHue-Information bei der Schattenkantendetektion
◮ Setup 5: wie Setup 2, Verwendung einer GT Schattenkante
Prozentuale Abweichung von den Referenzwerten zeigt, um wievielProzent die Gradientenabstände erniedrigt oder erhöht wurden
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 19
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Tabelle: Prozentuale Abweichung von den Referenzwerten
Setup 1 Setup 2 Setup 3 Setup 4 Setup 5
de -7.79754 -8.88230 -9.13976 0.07119 -19.22858
di -1.02827 -1.97263 -2.04209 5.02562 -1.17247
do 6.15882 4.38410 3.68278 28.84424 1.19270
−20
−10
0
10
20
30
Setup 5Setup 4Setup 3Setup 2Setup 1
Abw
eich
ung
in P
roze
nt
Parameterbelegungen
dedi do
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 20
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
Ergebnisse für 5, 20 und 50 Pfade beim Retinex
Ergebnisse ohne und mit GT Schattenkante
Ergebnisse ohne und mit Berücksichtigung der Hue Information
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 21
Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung
◮ Kamerakalibrierung mit künstlichen Lichtquellen möglich
◮ Invariante Bilder: zeigen teilweise noch Schattenkanten,Materialkanten teilweise schwach
◮ Einbeziehen der Hue Information verringertFehlklassifikationen
◮ Retinex kann auch bei korrekter SchattenkanteninformationSchatten nicht vollständig entfernen
◮ Quantitative Maße zur Bewertung von Schattenentfernungund Erzeugung von Artefakten
◮ GT-Daten können im Labor erzeugt werden
◮ Teilweise Zuordnung nicht eindeutig, da Artefakte auch imSchatten
◮ Vergleich von Ergebnissen anhand der Maße ist möglich
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 22
Literatur
Finlayson, Graham D. ; Hordley, Steven:Color constancy at a pixel.In: Optical Society of America Journal A 18 (2001), 2,253-264.http://www2.cmp.uea.ac.uk/∼pm/cp web/253.pdf
Finlayson, Graham D. ; Hordley, Steven ; Drew,Mark S.:Removing shadows from images.In: European Conference on Computer Vision (ECCV 2002).Copenhagen, 2002, IV 823-836. –Lecture Notes in Computer Science Vol. 2353
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 23
http://www2.cmp.uea.ac.uk/~pm/cp_web/253.pdf
Literatur
Finlayson, Graham D. ; Hordley, Steven ; Drew,Mark S.:Removing Shadows From Images using Retinex.In: Color Imaging Conference.Scottsdale, Arizona, 11 2002, 73-79
Land, E.H. ; McCann, J.J.:Lightness and Retinex Theory.In: Journal of the Optical Society of America 61 (1971), 1, Nr.1, S. 1–11
Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 24
Overview�ÜberblickOverview
ContentEinleitungSchattendetektionBeleuchtungsinvariante DarstellungKamerakalibrierung mit künstlichen LichtquellenBerechnung des Schattenkantenbilds
Schattenentfernung mit RetinexPfadbasierter Retinex-AlgorithmusSchattenentfernung
Quantitative BewertungExperimenteZusammenfassung
Resources�LiteraturLiterature