Upload
eilis
View
84
Download
3
Embed Size (px)
DESCRIPTION
Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения. ГОУ ВПО «Сибирский государственный аэрокосмический университет им.академика М.Ф.Решетнева». Фаворская М. Н., Пьянков Д. И., Горошкин А. Н. Красноярск 2011. - PowerPoint PPT Presentation
Citation preview
Пространственно-временная коррекция видеопоследовательностей
в задачах стереовидения
Фаворская М. Н., Пьянков Д. И., Горошкин А. Н.
ГОУ ВПО «Сибирский государственный аэрокосмический университет им.академика М.Ф.Решетнева»
Красноярск 2011
2
Классификация методов преобразования частоты кадров
DLab SibSAU
Методы преобразования частоты кадров
Без оценки движения С оценкой движения
Повторение кадров(Frame Repetition)
Линейная интерполяция(Linear Interpolation)
Слежение за особенными точками(Feature Tracking)
Методы оптического потока(Optical Flow)
Методы сопоставления блоков(Block-matching Algorithm)
Нелинейная интерполяция(Non-Linear Interpolation)
3
Классификация методов совмещения изображенийDLab SibSAU
Методы совмещения изображений
Методы корреляции
Фазовая корреляция(Phase Correlation)
Отображение точек с обратной связью
(Point Mapping with Feedback)
Перекрестная спектральная функция(Cross power spectrum)
Управляющие точки(Control points)
Общий многочлен(Global Polynomial)
Методы на основе преобразований
Методы на основе отображения точек
Степенной кепстр(Power cepstrum)
4
Обзор существующих программных средств
Название Дата выпуска Предназначен для
FrameDouble июнь, 2003 Avisynth
Motion июнь, 2003 Avisynth
Twixtor июнь, 2003 Adobe AfterEffects
RealViz Retimer лето, 2007 Adobe AfterEffects
MSU FRC сентябрь, 2007 Avisynth
MVTools ноябрь, 2008 Avisynth
MVTools2 ноябрь, 2009 Avisynth
Название Версия Дата выпуска
DynaPel MotionPerfect 4.3.1.1 июнь, 2003
Dynapel SlowMotion 1.0.4.0 июнь, 2003
Smootz7 1.6 beta июнь, 2003
Программы Плагины
Системы преобразования частоты кадров на основе интерполяции
Системы ручной коррекции стереопар
Название Страна Год выпуска
StereoFoto Maker USA 2010
Zerene Stacker USA 2009
Anaglyph Maker Japan 2004
DLab SibSAU
5
DLab SibSAU
Обобщенная схема пространственно-временной коррекции
Левая видеопоследовательность
Преобразование в YUV-пространство
Преобразование в YUV-пространство
Построение интерполированных кадров
Текущий кадр
Последовательное совмещение интерполированных кадров с текущим кадром
Выбор оптимального интерполированного кадра
Правая видеопоследовательность
Построение стереовидеопоследовательности
6
,...}4{2,3,..},{0,1,2,3,.
,}1,..,3,2,1{ , ,)(
..}{0,1,2,3,. , ,)()(
nznlltnztL
ttnztLzL
in
inout
где n – параметр, определяющий, во сколько раз увеличить число кадров;z – общее число кадров.
DLab SibSAU
Построение интерполированных кадров
7
DLab SibSAU
Обобщенная схема построения интерполированных кадров
Текущий кадрL(t)
Оценка движения по межкадровой разнице
Построение поля векторов движения
Следующий кадрL(t+1)
Интерполяция в найденных областях движения
Построение интерполированных кадров
8
shift
B(x,y)
B(x-shift,y- shift) B(x+shift,y- shift)
B(x,y- shift)
B(x-shift,y+ shift)
B(x,y+ shift)
y
x
B(x+shift,y+ shift)
B(x+shift,y)B(x-shift,y)
shift
B(x,y)
B(x+shift,y- shift)
y
x
move
y
x
Область поиска движения Вектор движения
Поле векторов движения
DLab SibSAU
Оценки движения при построении интерполированных кадров
9
DLab SibSAU
Схема оценки движения при построении интерполированных кадров
Текущий кадр L(t)
Разбиение на блоки B(x,y) заданного размера
Выбор текущего блока B(x,y)
Следующий кадр L(t+1)
Вычисление суммы s яркости пикселей для B(x,y)
Сравнение суммы s с пороговым значением err
s < err, движения нет s > err, движение есть
Вычисление суммы s с пороговым значением err
Минимизация функции ошибки
Вычисление соседних блоков со смещением
Построение векторов движения
10L(t)
L(t+1)
n = 2
1
2
move
B(x,y)
DLab SibSAU
Интерполяция кадров
11
]1[0;,)( 121 ttCCCCn
},...,3,2,1{,1
nmn
mt
Cn - значение цветовой компоненты Y пикселя (x,y) блока B(x,y) на интерполированном кадре n;
где
t – параметр, задающий линейное смещение пикселей на каждом интерполированном кадре.
DLab SibSAU
Схема построения интерполированных кадров
Текущий кадрL(t)
Текущий блок B(x,y) с вектором движения move
Линейное смещение каждого пикселя C1 к C2
Следующий кадрL(t+1)
Построение интерполированного кадра
12
L(t)
L(z)
R(t)
n
hw
yxVyxVyxUyxUyxYyxYMSE
h w
x y
3
))),(),(()),(),(()),(),(((1 1
212
212
212
0 0
MSEMAXzpsnr 10log20)(
}{2,3,...,))),((),(max( nztLpsnrzpsnrlike
DLab SibSAU
Совмещение кадров
13
DLab SibSAU
Схема совмещения кадров
Левая видеопоследовательность
Текущий кадр L(t)
Построение интерполированных кадров
Текущий кадр R(t)
Вычисление попиксельной межкадровой разницы по метрике PSNR
Правая видеопоследовательность
Построение стереокадра
14
DLab SibSAU
Реализация программного продукта
Левая видеопоследовательность
Плагин интерполяции MyPlugin.dll
Правая видеопоследовательность
Фреймсервер Avisynth
Скрипт avs
Плагин интерполяции MyCompare.dll
Видеоредактор (VirtualDub, Windows Media player)
Откорректированная левая видеопоследовательность
Стереовидеопоследовательность
15
DLab SibSAU
Реализация метода. Построение векторов движения
16
DLab SibSAU
Реализация метода. Преобразование частоты кадров
17
DLab SibSAU
Реализация метода. Совмещение кадров
18
79,229
79,095
79,159
79,367
79,04379,028
79,045
79,147
79,08579,095
79,159
79,297
79,04379,028
79,045
79,187
79,000
79,050
79,100
79,150
79,200
79,250
79,300
79,350
79,400
psnr
, dB
Быстрая видеопоследовательность foreman
psnr 1 psnr 2
DLab SibSAU
Результаты экспериментов. PSNR (быстрая видеопоследовательность)
19
85,263
85,407
85,514
85,634
85,284
85,373
85,487
85,684
85,263
85,407
85,514
85,634
85,284
85,373
85,487
85,564
85,200
85,250
85,300
85,350
85,400
85,450
85,500
85,550
85,600
85,650
85,700
psnr
, dB
Медленная видеопоследовательность container
psnr 1 psnr 2
DLab SibSAU
Результаты экспериментов. PSNR (медленная видеопоследовательность)
20
44 37 33 28
176
587
2218
7150
9476 69 60
365
1190
4460
14250
10
100
1000
10000
Врем
я вы
полн
ение
я, с
Быстрая видеопоследовательность foreman, 300 кадров Медленная видеопоследовательность container, 300 кадров
DLab SibSAU
Результаты экспериментов. Время выполнения алгоритма
21
• Приведена классификация методов преобразования частоты кадров и методов совмещения изображений. Представлен обзор существующих программных средств для построения стереовидеопоследовательности.
• Разработаны схемы пространственно-временной коррекции, построения интерполированных кадров, оценки движения, совмещения кадров.
• Рассмотрена реализация программного продукта, приведены примеры построения векторов движения, преобразования частоты кадров, совмещения кадров.
• Построены экспериментальные зависимости отношения сигнал/шум для «быстрой» и «медленной» видеопоследовательностей, а также время выполнения алгоритмов.
DLab SibSAU
Заключение
Спасибо за внимание
DLab SibSAU
Фаворская Маргарита Николаевна e-mail: [email protected]
Пьянков Дмитрий Игоревич e-mail: [email protected]
Горошкин Антон Николаевич e-mail: [email protected]