1

Telewizja trójwymiarowa - wyzwania

mgr inż. Olgierd Stankiewiczmgr inż. Krzysztof Wegner

Katedra Telekomunikacji Multimedialnej i Mikroelektroniki

Politechnika Poznańska

Seminarium katedralne, styczeń 2010

Telewizja 3D

2

Telewizja 3D

Telewizja stereoskopowa Telewizja swobodnego punktu widzenia

Synteza widoku oparta o obrazyImage-based rendering (IBR)

Synteza widoku oparta o modeleModel-based rendering (MBR)

np. IMAX

np. MPEG np. BBC

Pierwsza transmisja 3D-HDTV

Transmitowano mecz rugby miedzy Szkocją a Anglią 8 marca 2008

BBC Resource i 3DFirm 3 pary kamer Sony 950 o rozdzielczości fullHD

na statywiach Calcutta 3D firmy 3DFirm 19MB/s na każdy strumień,

planowane 40MB/s 6/7 s opóźnienia Prezentowane na dwóch rzutnikach Christie 8K

HD projectors z liniową polaryzacją

3

Telewizja Stereoskopowa

4

Telewizja Stereoskopowa BBC

5

Multiview capturing for sport applications BBC

Sport Applications BBC

7

Obrazy z kamer Trójwymiarowy model sceny

Z pracy: View-dependent reconstruction and free-viewpoint video rendering3D Processing workshop, BBC R&D, Kingswood Warren, June 22—23, 2009

JeanYves Guillemaut, Joe Kilner and Adrian HiltonUniversity of Surrey, UK

Ustawienie kamer

8

Przetwarzanie

9

Filmowanie sceny

Kalibracja Segmentacja Rekonstrukcja Synteza widoku

10

Segmentacja Segmentacja w

oparciu o kluczowanie

chrominancji odejmowanie tła

11

Modelowanie sceny Problem znalezienia dopasowania

Obiekt z każdej kamery wygląda inaczej

12

Modelowanie sceny

13

Modelowanie sceny Gracze przydzielani do

drużyn na podstawie koloru koszulek modelowanych za pomocą Gaussian Mixture Model

14

Modelowanie sceny Każdy gracz modelowany jest jako

oteksturowana bryła 3d Visual Hull

15

Modelowanie sceny Każdy gracz modelowany jest jako

oteksturowana bryła 3d

16

ggg

17

Synteza widoku wirtualnego w oparciu o model sceny (boisko i piłkarzy)

Swobodna nawigacja w scenie

18

Schemat systemu telewizji 3D

System akwizycji Konfiguracja kamer – obraz/głębia Synchronizacja kamer Równoległe przetwarzanie dużych

strumieni danych 19MB/s na każdy strumień,

planowane 40MB/s

Przetwarzanie wstępne Rektyfikacja Korekcja kolorów

Plansze kalibrujące dla stałych parametrów kamer

Zmienne parametry? Ogniskowa Rozstaw kamer Kierunki kamer

Model 3D Image Based Rendering Estymacja mapy głębi + synteza Wyzwania doraźne

Jakość map głębi Nieoznaczalność głębi (brak tekstury) Przysłonięcia Rozstaw kamer

Estymacja w czasie rzeczywistym 1000 x RT

Synteza w czasie rzeczywistym Duże ilości danych (3,1 MB na obraz)

Model 3D Wyzwania na przyszłość

Niewystarczający model punktów sceny Przeźroczystość Odbicia (lustra, refleksy) Niewielkie obiekty (płatki śniegu, deszcz)

Ułożenie liniowe kamer daje zbyt płaskie odwzorowanie sceny

Kompresja Kodowanie modeli 3D – MPEG 4 (mesh) Kodowanie map głębi, map

przeźroczystości Inny charakter treści Mniejszy udział średnich częstotliwości

(powierzchnie płaskie + krawędzie) Inny charakter zniekształceń Mały udział w strumieniu <30%

Przentacja Technologie Stereoskopia

Monitory polaryzacyjne... Tylko dwa obrazy (Akomodacja Oka)

Autostereoskopia Możliwość poruszania widzów Ogniskowa niezmienna

Holografia Wyświetlacze Przetwarzanie modelu

Z-Cam IR = 20MHz Pomiar różnicy fazy Rozdzielczość 176x144

około 80 pikseli koloru na piksel głębi wrapping głębi

depth alignment to color boundary by bilateral filtering

Procesy standaryzacyjne 3D @ home Przyspieszenie komercjalizacji i

wdrożenia technologii 3D Materiał Sprzęt Oprogramowanie

HDMI 1.4 – mechanizmy dla 3DTV W USA: 3D ready TV

Zagadnienia kinematograficzne

1000 EUR/dzień - nagrywanie Film „Coraline Coraline”

Rejestracja poklatkowa Jedna kamera na suwaku

NIKON D70, D80 Canon 1D MARK2N RED - 2K Digital Hi-Speed (dym, inne ruchome

elementy) Koszt oprogramowania - +20%50% 53 sceny kręcone jednocześnie

Przewidywania na przyszłość

Przewidywania na przyszłość

Telewizja 3D rozwija się Powolny postęp algorytmów (MPEG) Silny nacisk przemysłu Silny nacisk Holywood

Dobiega końca kilkanaście projektów ramowych UE FP7