20
Obrazy HDR 1 Akwizycja obrazów HDR Radosław Mantiuk [email protected]

wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

  • Upload
    others

  • View
    10

  • Download
    0

Embed Size (px)

Citation preview

Page 1: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

1

Akwizycja obrazów HDR

Radosław Mantiuk [email protected]

Page 2: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

2

Składanie HDRa z sekwencji zdjęć LDR (1)

Seria&zdjęć&sceny&wykonanych&z&różnymi&ustawieniami&ekspozycji&

Page 3: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

3

Składanie HDRa z sekwencji zdjęć LDR (2)

!  Unikanie'ustawień'kamery'zmieniających'sposób'rejestracji'sceny'w'kolejnych'ujęciach:'!  zmiana'ekspozycji'poprzez'ustawianie'różnych'czasów'ekspozycji,'!  wyłączone'automatyczne'obliczanie'punktu'bieli,''!  stała'przesłona,'!  stała'czułość'matrycy.'

!  Minimalizacja'zniekształcenia'wywoływane'przez'kamerę:'!  środkowa'wartość'przesłony,''!  dobrej'jakości'obiektyw,'!  osłona'na'obiektyw'redukująca'flary.'

!  Statyw'redukujący'przesunięcia'pomiędzy'ujęciami.'

Page 4: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

4

Irradiancja <-> Radiancja Liniowa zależność irradiancji obrazu od radiancji sceny.

kąt ochylenia od osi symetrii obiektywu irradiancja

obrazu

radiancja sceny średnica obiektywu

ogniskowa obiektywu

Radiancja - fizyczna wartość energii emitowanej ze sceny Irradiancja - energia światła integrowana przez sensor CCD/CMOS

h d

matryca

scena

przesłona

X = L π4(dh)2 cos4φ

Page 5: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

5

Janość piksela (ang. Brightness) Jaskrawość - irradiancja rejestrowana w czasie

brightness

wartości ekspozycji

zależy od czasu naświetlania i średnicy obiektywu

Y = f (X ⋅ t)

Y = f (L ⋅ cos4φ

h2⋅πd 2

4t)

~wartość piksela

funkcja odpowiedzi

Page 6: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

6

Ekspozycja

Wartość ekspozycji dla czasu naświetlania t [s]

evi = log2N 2

ti

Y = L ⋅ cos4φ

h2⋅πd 2

4t = L ⋅ cos

4φ4

πd 2

h2t = L ⋅ cos

4φ4

πtN 2

N =hd[ f / #]

przesłona [f-number]

Page 7: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

7

Obliczanie irradiancji za pomocą aparatu fotograficznego

Czas 1 [s] Czas 5 [s]

irradiancja =wartosc _ pikselaczas_ekspozycji

⋅ const

const - stała umożliwiająca uzyskanie bezwzględnej wartości radiancji (luminancji). Definiowana w standardzie APEX.

X = g(Y )t

⋅const

EV = log2(N 2

t) ⋅const

g() - odwrotność funkcji odpowiedzi

Page 8: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

8

Obraz HDR poprzez złożenie ekspozycji LDR

W jaki sposób sumować wartości pikseli, aby odtworzyć radiancję sceny?

x j =g(yi, j ) ⋅evi ⋅wi, j

i∑

wi, ji∑

funkcja odwrotna do charakterystyki aparatu ekspozycja i-tej klatki

waga eliminująca szum

irradiancja j-tego piksela

wartość j-tego piksela z i-tej klatki

Page 9: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

9

Funkcja wagowa Przypisywanie wag (<0,1>) określających “wiarygodność” pikseli w obrazach LDR. Małe wartości wag oznaczają piksele zaszumione lub przesaturowane.

Page 10: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

10

Funkcja wagowa: krzywa Gaussa

Page 11: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

11

Funkcja odpowiedzi Zależność wartości pikseli od irradiancji sceny.

wartość piksela

wartość irradiancji (skala logarytmiczna)

Page 12: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

12

Pomiar funkcji odpowiedzi

GretagMacbeth ColorChecker

Pomiar jasności pól na wzorcu color checker’a. Wykonanie zdjęcia i odczytanie wartości piseli dla tych pól.

Page 13: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

13

Wyznaczanie funkcji odpowiedzi

Czas 1 [s] Czas 5 [s]

Zmiana czasu ekspozycji powinna powodować proporcjonalną zmianę wartości pikseli

•  Wymagane co najmniej dwa zdjęcia tej samej sceny wykonane przy różnych ekspozycjach. •  Badana zmiana koloru pikseli dla całego zakresu nasycenia (osobno dla składowych R,G i B).

Page 14: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

14

Wyznaczanie funkcji odpowiedzi Zmiana wartości pikseli powinna powodować proporcjonalną zmianę wartości irradiancji

Minimalizacja funkcji ze względu na dwie zmienne

O(y,x) = wi, ji, j∑ (yi, j − ti ⋅ x j )

2

Page 15: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

15

Metoda iteracyjna Minimalizacja funkcji dwóch zmiennych.

1. Liniowa charakterystyka odpowiedzi

2. Normalizacja taka, aby

3. Obliczenie wartości dla danego

x j

gk=1/ card(Ek ) ⋅ ti ⋅ x j

(i, j )∈Ek

Ek = {(i, j) : yi, j = k}k ∈< 0,255>

4. Obliczenie nowych wartości gk

(wartość w połowie przedziału wynosiła 1)

Ek

Card(Ek ) - liczba elementów zbioru Ek

- zbiór pikseli obrazów wejściowych (LDR), których wartość wynosi k

5. Sprawdzenie kryterium zbieżności (gkn − gk

n−1)2k∑Card(Ek )

< ε(rozwiązania może nie być!) k=k+1

x j =g(yi, j ) ⋅ ti ⋅wi, j

i∑

wi, ji∑

g128 =1.0

gk =< 0..255>

Page 16: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

16

Funkcji odpowiedzi - funkcja wielomianowa

Funkcja wielomianowa

Page 17: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

17

Problemy: przesunięcia Usuwanie przesunięć między obrazami

Page 18: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

18

Problemy: aberracje Usuwanie flar wywołanych przez soczewki

Obraz wyraźniejszy

Page 19: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

19

Problemy: duchy Usuwanie “duchów”

Page 20: wyklad hdr akwizycjarmantiuk.zut.edu.pl/data/wyklad_hdr_akwizycja.pdf(skala logarytmiczna) Obrazy HDR 12 Pomiar funkcji odpowiedzi GretagMacbeth ColorChecker Pomiar jasności pól

Obrazy HDR

20

!  M. Robertson, S. Borman, and R. Stevenson. Dynamic range improvement through multi- ple exposures. In Proceedings of the 1999 International Conference on Image Processing (ICIP-99), pages 159-163, Los Alamitos, CA, October 24-28 1999.

!  M. Robertson, S. Borman, and R. Stevenson. Estimation-theoretic approach to dynamic range enhancement using multiple exposures. Journal of Electronic Imaging, 12:219-228, April 2003.

!  T. Mitsunaga and S. K. Nayar. Radiometric self calibration. In proc. of Computer Vision and Pattern Recognition, Fort Collins, CO, USA, pages 374-380, 1999

Literatura