Upload
sabin
View
44
Download
0
Embed Size (px)
DESCRIPTION
Daniele Panozzo Ofir Weber Olga Sorkine. Robust Image Retargeting via Axis-Aligned Deformation. Mateusz Bujalski. O co chodzi?. - PowerPoint PPT Presentation
Citation preview
Robust Image Retargeting via Axis-Aligned Deformation
Mateusz Bujalski
Daniele Panozzo Ofir Weber Olga Sorkine
O co chodzi?
Szerokość zdjęcia powiększona dwukrotnie. Mapa „ważności” stworzona za pomocą filtra wykrywającego krawędzie, poprawiona kilkoma maźnięciami. Czas obliczeń: ok. 4msCzas użytkownika: ok. 30s
O co chodzi?
• Chcemy zmienić rozmiar zdjęcia– Bez zachowania aspect ratio– Bez obcinania fragmentów zdjęcia– I żeby było dość podobne do oryginalnego– Fajnie mieć: realtime
Sposoby
• Większość metod okazuje się być jakąś modyfikacją poniższego schematu– Zdefiniuj funkcję, którą będziesz optymalizował a
następnie zminimalizuj ją biorąc pod uwagę ograniczenia rozmiaru obrazu wyjściowego
– Z reguły przekształcenia afiniczne + wagi (mapa ważności) + dodatki w celu wyeliminowania artefaktów (np. rozmywanie krawędzi)
• Istnieje trochę innych, ale często wyspecjalizowanych metod – np. w przypadku tekstur, można „doklejać” pasujące łaty
Skupimy się na metodach opartych na warpingu
Problem
Liczba zmiennych w takich problemach optymalizacyjnych jest kwadratowa względem wymiarów obrazu - O(MxN)
No i usuwanie „niepotrzebnych” nie zawsze działa.
Problem
Spostrzeżenie
• Autorzy analizując działanie istniejących algorytmów zauważyli, że „niedawne” (w znaczeniu lepsze) algorytmy prawie zawsze używają deformacji, które są wyrównane do osi
• Brak miejscowych obrotów ma sens, ponieważ, jeśli się miejscami takie obroty różnią to dostajemy dziwne obrazki
Trochę wyolbrzymione
Wniosek
Autorzy uznali, że skoro większość algorytmów nie korzysta z obrotów mimo, że sformułowanie problemu na to pozwala, to przestrzeń „deformacji wyrównanych do osi” jest tą właściwą dla tej operacji
Zalety• w większości przypadków miejscowe obroty są
nieporządane – poprzedni obrazek, dodatkowo czasem obrócony obiekt może kawałkiem wypaść poza zdjęcie (jak na drugim zdjęciu)
• Złożoność problemu optymalizacyjnego względem liczby zmiennych maleje do O(M+N)
• Można sobie wyobrazić, że czasem (gdy np. tło jest jednolitego koloru) obrócenie kawałka zdjęcia mogłoby dać lepszy efekt, niż takie przekształcenia
• Brak gwarancji, że linie proste nie wyrównane do osi pozostaną proste!
Wady
• Wymiary obrazu: W-szerokość, H-wysokość• Nakładamy na obraz równomierną kratę N
kolumn i M wierszy, każda komórka ma rozmiar: W/N – szerokość, H/M - wysokość
• Programowanie kwadratowe
Algorytm
Minimalizujemy wersja ogólna
(1) F(s) = sTs + sTbs = (srows,scols), srows/scols = wektor wysokości wierszy / szerokości kolumn
(2)
(3)
(5) + … + (4) + … +
Minimalizujemy wersja ogólna
(1) F(s) = sTs + sTbs = (srows,scols), srows/scols = wektor wysokości wierszy / szerokości kolumn
(2)
(3)
(5) + … + (4) + … +
s jest niewiadomąQ i b możemy ustawić jakie chcemy, ale jeśli F(s) jest „dodatnio określona” to możemy użyć standardowych QP solverów
Minimalizujemy wersja ogólna
(1) F(s) = sTs + sTbs = (srows,scols), srows/scols = wektor wysokości wierszy / szerokości kolumn
(2)
(3)
(5) + … + (4) + … +
Lh, Lw – minimalne rozmiary wierszy i kolumn
Czemu Lw i Lh są ważne?
Minimalizujemy wersja ogólna
(1) F(s) = sTs + sTbs = (srows,scols), srows/scols = wektor wysokości wierszy / szerokości kolumn
(2)
(3)
(5) + … + (4) + … +
HL i WL – oczekiwane rozmiary obrazu wyjściowego
Minimalizujemy wersja ogólna
(1) F(s) = sTs + sTbs = (srows,scols), srows/scols = wektor wysokości wierszy / szerokości kolumn
(2)
(3)
(5) + … + (4) + … +
Dodatkowa uwaga: Lh HL/MLw WL/NInaczej brak rozwiązań
Przykładowe definicje F(s)• Autorzy proponują dwie „najczęściej spotykane”
definicje energii• ASAP – na podstawie „mapy ważności” stara
się, aby zaznaczone obszary były odwzorowane jak najbardziej podobnie (As Similar As Possible) – tylko translacje i równomierne („uniform”) skalowanie
• ARAP – (As Rigid As Possible) – wszystko poza translacjami i rotacjami jest karane (w naszym przypadku zostają tylko translacje, bo rotacje nie są brane pod uwagę z założenia
Przykładowe definicje F(s)
ASAP – minimalizacja niejednorodnych skalowań
W przestrzeni deformacji wyrównanych do osi przekształcenia podobieństwa ograniczają się do kombinacji jednorodnych skalowań (takie same we wszystkich kierunkach) i translacji, ponieważ rotacje nie są brane pod uwagę z definicji
ASAP – przekształcenie do QP
ASAP – przekształcenie do QP
Ks – wektor zawierający energie dla wierszyQ = KTK, b = 0 => mamy formułę w postaci QPQ jest dodatnio określona
ARAP – wszystko poza translacjami jest karane
• Wzorki są mało istotne• Te dwie energie zostały wybrane tylko dlatego, że
pojawiają się często w innych pracach i zwykle dają niezłe rezultaty
• Podobno nic nie stoi na przeszkodzie, żeby podobnie jak pierwszą zdefiniować inne
• Można tworzyć z tych energii kombinacje liniowe i dalej jest dobrze
Regularyzacja Laplace’adodatkowa energia, która karze za duże różnice w rozmiarach sąsiednich wierszy/kolumn – przydatne w ręcznie malowanych mapach ważności, które są z reguły mocno skoncentrowane
Rezultaty• Czas rzeczywisty dla zdjęć HD na laptopie sporo
gorszym niż ten (używa 1 core CPU)• ASAP z reguły lepszy niż ARAP• Eksperymenty z automatycznym generowaniem
„map ważności” – cała metoda jest niezależna od rodzaju mapy i można się bawić• Dobrze działa tryb pół automatyczny: najpierw
metoda generuje nam mapę automatyczną, a potem ją troszkę poprawiamy zaznaczając naprawdę ważne fragmenty
Obrazki i działający program na żywo!