Compression adaptative de surfaces par ondelettes géométriques

Compression adaptative de surfaces par ondelettes géométriques

Céline [email protected]

23 avril 2009Séminaire du LAIC – Clermont-Ferrand

Thèse dirigée par F. DUPONT et A. BASKURT

Collaboration avec P. GIOIA d’Orange Labs Projet « CoSurf » (Compression de Surfaces)

2

Contexte

Le projet « CoSurf » Collaboration avec Orange Labs Rennes Favoriser l’échange de données 3D Compression multirésolution de maillages 3D

Points critiques Adaptation du transfert des données aux ressources Transmission rapide, à la demande Consultation efficace et flexible

3

Contexte (2)

Modèles géométriques 3D Explosion de leur production / échange Grande diversité de modélisations

Maillages surfaciques De plus en plus précis et détaillés Répartition irrégulière des échantillons

4

Plan

I – Cadre des travaux Les maillages multirésolution Compression de maillages : l’existant Analyse multirésolution : l’existant

II – La transformée en ondelettes

III – Approche proposée

IV – Résultats et applications

V – Conclusion et perspectives

I - Cadre II - TO III - Approche proposée IV - Résultats

5

Maillages triangulaires

4 octets x3 coordonnées

4 octets x3 indices

Régularité du voisinage liée à la valence (σ) des sommets

V : {Vi = (xi, yi, zi) є R3 / 0 ≤ i <|V|}

F : {Fi = j, k, l є Z3 / 0 ≤ i <|F|}


irrégulier réguliersemi-régulier

Maillage M = (V, F)

Géométrie

Connectivité

Maillage triangulaire36 octets / sommet288 bits / sommet Trois types de maillages :

1. irréguliers

2. semi-réguliers : W V | Vi ,Vj є W : σ(Vi ) ≠ σ(Vj )

3. réguliers : Vi ,Vj є V : σ(Vi ) = σ(Vj )

∩

6

Représentation progressive

Intérêt des représentations multirésolution : Adaptation aux réseaux et terminaux Efficacité en termes de rendu


Plusieurs représentations possibles : Surfaces de subdivision [Doo et Sabin, 78] + ondelettes [Lounsbery, 97]

Raffinement progressif [Hoppe, 96], [Gandoin et Devillers, 02]

7

Compression de maillages : l’existant

Schémas mono-résolution

Schémas multi-résolution

Codage progressif [Hoppe, 96], [Cohen-Or et al., 99], [Gandoin et Devillers, 02] ≈ 2 octets / s

Compression spectrale [Karni et Gotsman, 00], [Sorkine et al., 05]

Compression par ondelettes [Lounsbery, 97], [Guskov et al., 99], [Khodakovsky et al., 00] ≈ 2 - 4 bits / s

Entre 1 et 2 octets/sommet [Deering, 95], [T&G, 98], [Rossignac, 99]

Connectivité

Géométrie Quantification PrédictionCodage

entropique

CANAL

Codageentropique

Parcours dumaillage

liste desymboles

ordre

0011010

0011010

M


8

Compression en ondelettes : l’existant

Directement sur un échantillonnage irrégulier[Taubin, 95], [Guskov et al., 99], [Valette et Prost, 02]

Après remaillage régulier [Gu et al., 02], [Sander et al., 03], [Praun et Hoppe, 03]

Après remaillage semi-régulier Prédiction par interpolation

[Khodakovsky et al., 00], [Khodakovsky et Guskov, 03], [Lavu et al., 03], [Payan et Antonini, 05]

Prédiction par approximation[Bertram, 04], [Li et al., 04], [Sauvage, 05]

M


9

Plan

I – Cadre des travaux

II – La transformée en ondelettes Théorie de la transformée en ondelettes Les ondelettes en 3D Le remaillage semi-régulier




I - Cadre II – TO Théorie III - Approche proposée IV - Résultats

10

L’analyse multirésolution

L 2

H

L

L H

1/4 1/2 f

L

H

L

H

L

H

…

détails détails détails

M0Mm-

1

Mm

H

[½ ½]

[1 -1]

2

2 2

2 2

2

2

2 2

I - Cadre II – TO Théorie III - Approche proposée IV - Résultats

11

Ondelettes géométriques

Généralisation des bancs de filtres Analyse multirésolution spatiale

[Mallat, 89]

[Sweldens, 95]

[Lounsbery, 97]S : Split

P : Predict

U : Update

Avantages : Coûts de calcul réduits Filtres simplifiés Analyse et synthèse en temps linéaire

I - Cadre II – TO 3D III - Approche proposée IV - Résultats

12

MnMn-1

En pratique

pair

impair

Update

Predict

I - Cadre II – TO 3D III - Approche proposée IV - Résultats

13

Remaillage semi-régulier

48 485 sommets 112 642 sommets

Mnoriginal

MaillageirrégulierMi

r

Maillagesemi-régulierMs

r

Propice à l’application d’une transformée en ondelettes

Grande partie de la connectivité : implicite

Réduction de l’erreur de reconstruction d’un facteur 4

I - Cadre II – TO Remaillage III - Approche proposée IV - Résultats

14

Intérêt des ondelettes et du remaillage

Distribution de l’angle polaire des coefficients d’ondelettes

Distribution de l’amplitude des coefficients d’ondelettes

Distribution de la position des sommets

Repère global Repère local

MAPS [Lee et al., 98] Normal Mesh [Guskov et al., 00]

Repère local

ρ : amplitude : angle polaire φ : angle param.

normale

ρ

arête

Densité quasi uniforme :entropie élevée

Densité isolée :entropie plus faible

I - Cadre II – TO Remaillage III - Approche proposée IV - Résultats

15

Plan



III – Approche proposée Analyse ondelettes globale Segmentation multirésolution Analyse ondelettes locale Reconstruction adaptative



I - Cadre II - TO III - Approche proposée Analyse IV - Résultats

16

Schéma de notre approche

CANAL

Analyseglobale

Segmentationmultirésolution

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage

coefficientsd’ondelettes

modèle 3Dirrégulier

modèle 3Dsemi-régulier

clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire

niveaux de résolution

Visualisation

Classification AnalyseglobaleRemaillage




17

Analyse ondelettes globale

Amplitude

Angle polaire

0 1

x10Niveau n-2

Schéma Butterflynon lifté

Remaillage Normal

x10


18

An-3

Mn

An-2

An-1 Dn-1

Dn-2

Dn-3

Représentation multirésolution

Niveau n-1 Niveau n-2 Niveau n-3 Niveau n-1…Niveau noriginal

112 642 sommets 28 162 sommets 7 042 sommets 1 762 sommets

Pondérationmultirésolution

0 1

Amplitude des ondelettes


19

Calcul de pondération N°1

Niveau m Niveau m-1

Niveau m Niveau m-1Niveau m-2


…

Niveau m Niveau m-1 Niveau m-2

Niveau m


20

Calcul de pondération N°2

Niveau m Niveau m+1 Niveau m+2 Niveau m+3


« grossière »

« fine »

642 s

40962 s


21

Plan






I - Cadre II - TO III - Approche proposée Segmentation IV - Résultats

22


CANAL

Analyseglobale

Segmentationmultirésolution

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage




clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire


Visualisation

Classification

patchs

Segmentation multirésolution

Classification


clusters patchs

23

Classification et croissance de régions

Amplitude

Ang

le p

olai

re

sommets,arêtes oufacettes

Classification (K-means)en 2 clusters

Amplitude

Ang

le p

olai

re

Amplitude

Angle polaire

sommets facettes

K=2

Croissancede régions

Analyseglobale

Niveau noriginal

Niveau n-1 Niveau n-1


24

Projection « grossière » des clusters

Projection grossière Extraction des régions

Niveau n (original)Niveau n-1 Niveau n-5

Niveau n-2 … Niveau n-4 Niveau n-5

Projection fine

t0t2


25

Projection « fine » des clusters

classification initiale

Niveau n-2Niveau n-4 …Niveau n-5

Projection grossière Extraction des régions

Niveau n (original)Niveau n-1 Niveau n-5

Projection fine


26

Comparaison des segmentations

Calcul de pondération N°1 + Projection « grossière » + Projection « fine »

11 régions

5 régionsCalcul de pondération N°2 + Projection « fine »

Amplitude Classification Croissance Projection grossière Projection fine


27

Comparaison des segmentations (2)

Calcul de pondération N°1 + Projection « grossière » + Projection « fine »

Calcul de pondération N°2 + Projection « fine »

5 régions

6 régions6 régions

5 régions

11 régions

9 régions


28

Plan






I - Cadre II - TO III - Approche proposée Codage IV - Résultats

29


CANAL

Analyseglobale

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage




clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire


Visualisation

Classification SegmentationmultirésolutionCodage

indépendantAnalyse locale

patchs

CANAL

001011…1110…

01010000…

patchs grossiers+

ondelettes

30

Intérêt de l’analyse / codage indépendants

CANAL

+ codage des informations relatives au partitionnement : nb régions, type de cluster, filtres utilisés, … : compressé sans perte

zerotree

Connectivité Codagearithmétique

liste desymboles

00110101

Quantification Codagearithmétique

0110

Géométrie

Connectivité Codagearithmétique

liste desymboles

10101101

Quantification Codagearithmétique

1010

Géométrie

[Touma et Gotsman, 98]

…

[Khodakovsky et al., 00]

I - Cadre II - TO III - Approche proposée Codage IV - Résultats

Codage zerotree

[Shapiro, 93]Supprime les dépendances entre coefficients : de même localisation spatiale de même orientation

de niveau de résolution différent

Codage : exploite le fait que l’énergie décroît avec la résolution aucun fils n’est codé avant son père les bits de poids fort sont d’abord codés

Raffinement progressif en termes de : résolution qualité de reconstruction

31

Plan






I - Cadre II - TO III - Approche proposée Reconstruction IV - Résultats

32


CANAL

Analyseglobale

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage




clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire


Visualisation

Classification SegmentationmultirésolutionRecollage

grossierDécodage

local

CANAL

001011…1110…

01010000…

patchs grossiers+

ondelettes

Synthèse locale

…

33

Plan







34

Comparaisons visuelles

Variance dela courbure

Différencede normales

Remaillage Normal

[Lavoué, 06]0 1

Amplitude des coefficients Angle polaire [0, π/2] Angle polaire [0, π]

[Roudet, 08]

schéma Butterfly schéma midpoint


35

Mesure de la concavité / convexité


[Roudet et al., CORESA 09]

36

Comparaison analyse globale / locale


PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la boîte englobante d = distance de Hausdorff

Courbes débit / distorsion (unique schéma de prédiction utilisé)

(pond. N°1)

(pond. N°2)

surcoût

37

Progressivité de la reconstruction

0,23 bit / sommet 0,68 bit / sommet 1,66 bit / sommet 6,54 bit / sommet


38

Comparaison analyse globale / locale (2)


PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la boîte englobante d = distance de Hausdorff

Courbes débit / distorsion (unique schéma de prédiction utilisé)

(pond. N°1)

(pond. N°2)

surcoût

39

Progressivité de la reconstruction

0,20 bit / sommet 0,57 bit / sommet 1,27 bit / sommet 4,92 bit / sommet


40

Optimisation du compromis débit/distorsion

CANAL

Analyselocale

Codageentropique

Décodageentropique

fluxbinairePatchs semi-réguliers

Synthèselocale

fluxbinaire


Maillage semi-régulier segmenté

R

DMinimiser D(R)

ou R(D)

Q

Allocation binaire

Débit ou distorsion cible

Codage zerotree ou contextuel

Q*…

zerotree

Collaboration avec Marc ANTONINIet Frédéric PAYAN

I3S – Sophia Antipolis

41

Comparaison perceptuelle

e1 : distance de Hausdorff obtenue par Mesh [Aspert et al., 02] (x 10-4)e2 : métrique asymétrique : Mesh Structural Distorsion Measure [Lavoué et al., 06]

distance perceptuelle entre 2 objets (0 : objets identiques)


Reconstruction adaptative Reconstruction globale

6565

42

Autres applications

Transmission et reconstruction adaptative

Visualisation sélective (ROI)

Débruitage et tatouage adaptatifs

Correction d'erreurs lors de la transmission canal

e : erreur (x 10-4)


Analyseglobale

ReconstructionadaptativePond. N°1 Pond. N°2

Reconstructions adaptatives :avec prédiction sans prédiction

43

Visualisation sélective par ROI


11 967 octets

5 181 octets

[Roudet et al., SPIE Wavelet Applications in Industrial Processing VI, 2009]

44

Plan






45

Contributions

Remaillage semi-régulier Comparaison de plusieurs méthodes de l’état de l’art

Analyse en ondelettes Comparaison de schémas de prédiction interpolants Mesure de rugosité basée sur les ondelettes Nouveau schéma d’analyse indépendante sur des patchs

Segmentation de maillages triangulaires Adaptation d’un algorithme existant sur des critères de rugosité Nouveau schéma de segmentation multirésolution

Codage de maillages Adaptation d’un codeur zerotree pour un ensemble de patchs

Compression de maillages Méthode générique de compression adaptative

46

Perspectives

Remaillage semi-régulier Privilégiant les directions de courbure ou de texture

Analyse en ondelettes Schémas de prédiction dans les zones non lisses

basés sur les directions de courbure ou les approches fractales

Segmentation de maillages triangulaires Augmenter le nombre de clusters durant la classification

Codage de maillages Eviter la redondance au niveau des frontières de patchs Optimiser la quantification et l’allocation binaire de chaque région

Applications Transmission et décodage par région d’intérêt (ROI) Débruitage et tatouage adaptatifs

47

Questions …

Merci de votre attention !

Documents

Compression adaptative de surfaces par ondelettes géométriques