Super-ločljivost slike na podlagi naučenega slovarja vzorcev

Avtorja: Sandi Gec, Peter KarlovšekMentor: mag. Petar Vračar

Uvod

• Gre za problem na področju računalniškega vida v povezavi s strojnim učenjem

• Osnovni koncept metode “super-ločljivost” je povečava slike nizke ločljivosti v visoko ločljivost, kadar metoda interpolacije ni dovolj dobra.

?

Pregled področja• Članek, ki je najbolj soroden našemu problemu:

“Example-based Super-resolution”

• Članek, ki se ukvarja s problemom v slikah videa: “Noisy Video Super-Resolution”

Osnovna slika (a), povečana x2 (b), povečana x4 (c)

(a) (b)

Povečava z interpolacijo (a), Noisy Video S-R (b)

Osnovni koraki delovanja

1. korak: Generiranje slovarja vzorcev2. korak: Algoritem visoke ločljivosti3. korak: Optimizacijska

pristopa

Generiranje slovarja vzorcev

• Predpogoj je visoko-resolucijska tekstovna slika• Generiranje vzorcev velikosti 7x7 slikovnih elementov• Slovar velikosti 100.000 vzorcev

Generiranje slovarja vzorcev

Rezultat:2 slovarja vzorcev: visoko in

nizke ločljivosti

Koraki:1. Generiramo visoko ločljivo tekstovno sliko2. Visoko ločljivo sliko zmanjšamo na nizko ločljivo3. Nizko ločljivo sliko povečamo na visoko ločljivo s

klasično kubično interpolacijo.

Algoritem visoke ločljivosti

Koraki:• Vhodno sliko povečamo na velikost visoke ločljivosti z

metodo kubične interpolacije.• Iteriramo po sliki in za vsak vzorec v sliki velikosti 7x7

izračunamo “Srednjo kvadratično napako”• Izberemo najboljše ujemanje

Vhodni podatek algoritma je poljubna tekstovna slika nizke ločljivosti.

Optimizacija

• Ignoriranje 7x7 vzorcev s premalo podatkov• Upoštevanje zveznost črk

Optimizacija

• Ignoriranje 7x7 vzorcev s premalo podatkov

Optimizacija

• Upoštevanje zveznost črk

Rezultati

Slika nizke ločljivostii

Povečana slika (cubic spline)

Slika pridobljena z metodo super-ločljivosti

Originalna slika visoke ločljivosti

Vrednotenje rezultatov

Font Interpolacija Cubic spline

Our super-resolution

systemTimes New Roman 60.14 % 83.82 %

Brush Script MT 61.60 % 81.98 %

Zaključek

• Velika časovna kompleksnost O(nm),n – št. slikovnih elementov v slikim – velikost slovarja (100 k– 200 k)

• Obdelava slike velikosti 33 x 18 na 240 x 140 traca ca. 5min