UNIVERSITÀ DEGLI STUDI DI MILANO BICOCCA

FACOLTÀ DI SCIENZE MATEMATICHE FISICHE E NATURALI

Corso di Laurea in Informatica

Supervisori: - Dr. Francesca Gasparini- Prof. Raimondo Schettini

Relazione di:Simone CompagnoneMatr. 709649

Anno Accademico 2009/2010

DENOISING DI FOTOA COLORI

1/18

Le fotografie digitali a colori spesso possono apparire “rovinate” a causa di vari tipologie di rumore (termico, di quantizzazione, variazione di sensibilità ecc…).

In particolare, è stato affrontato il rumore causato dalle alte sensibilità ISO dei sensori (CCD,CMOS) presenti nelle moderne macchine fotografiche.

CCD CMOS

2/18

CHE COS’È IL DENOISING DI FOTO A COLORI?L’argomento della mia tesi è il DENOISING DI FOTO A COLORI.

Il “denoising” di foto a colori è il processo di riduzione del rumore nelle fotografie mantenendo il segnale (alte frequenze).

3/18

Per ridurre il rumore, sono stati studiati, implementati e confrontati 5 algoritmi:

• Equazioni Differenziali Parziali del quarto ordine (PDE).

• Vectorial Total Variation (VTV).

• Color Block-Matching and 3D Filtering (CBM3D).

• Algoritmo Multi-Risoluzione.

• Filtro di Wiener.

4/18

Filtro di Wiener.

• È un filtro adattativo “noise-removal” : funziona in base alla media e alla varianzanell’intorno dei pixel.

Varianza del rumore stimato

Media dell’intorno del pixel

Varianza dell’intorno del pixel

• È stato applicato con due modalità

SPAZIO COLORE RGB

SPAZIO COLORE Ycbcr

• Se v2 = 0 , restituisce il valore di a(n1,n2).

• Se σ2 >> v2 , il filtro restituisce un valore prossimo aa(n1,n2), dato che si tratta probabilmente di una zonaad alto contrasto (conservazione edge).

• Se σ2 ≈ v2 , restituisce la media µ (zona in cui ridurre il rumore).

5/18

Esempio di foto elaborata con il filtro di Wiener:Foto originale

Foto elaborata nello spazio colore RGB Foto elaborata nello spazio colore Ycbcr

6/18

Equazioni Differenziali Parziali del quarto ordine (PDE).

• Equazioni alle derivate parziali.

• Evoluzione delle PDE di secondo ordine. (Perona-Malik nel 1990, diffusione anisotropa).

Immagine originale PDE quarto ordine PDE secondo ordine

7/18

Esempio di foto elaborata con l’algoritmo PDE di quarto ordine:

Foto originale Foto elaborata dall’algoritmo

Per migliorare l’algoritmo è stata utilizzata una stima del rumore realizzata da Alessandro Foi e studiata da Torsten Seemann. 8/18

Vectorial Total Variation (VTV).• Usato per la regolazione dei segnali multidimensionali e vettoriali (foto a colori).

• Conservazione delle forti discontinuità (gli edge).

Foto originale Foto elaborata

Immagine originale Immagine con rumore Immagine elaborata da VTV

9/18

Color Block-Matching and 3D Filtering (CBM3D).• Per ogni canale della foto (YUV), effettua una suddivisione in blocchi di pixel più

piccoli, affini tra loro.

• Sui blocchi simili viene eseguito un filtraggio locale (filtro di Wiener).

Foto originale Foto elaborata

10/18

Algoritmo Multi-Risoluzione.• Schema di denoising generico sulle foto digitali realistiche.

• Si stima il rumore considerando la correlazione spaziale tra i pixel adiacenti.

Filtrogaussiano

Bilateralfilter

Foto originale Foto elaborata

11/18

Gli algoritmi studiati, sono stati confrontati realizzando degli ESPERIMENTI e valutati con l’ausilio di metriche oggettive.

Full-Reference No-Reference

PSNR Blur-Metric

METRICHE OGGETTIVE

La BlurMetric è stata trattata nel paper “The Blur Effect: Perception and Estimation with a New No-Reference Perceptual Blur Metric” pubblicato da SPIE nel 2007. 12/18

ESPERIMENTI (Parte1)

Le 3 foto senza disturbi sono state degradate aggiungendo artificialmente delrumore gaussiano .

È in funzione del parametro σ(sigma): all’aumentare di σaumenta il rumore.

ESPERIMENTO 1 ESPERIMENTO 2

Rumore aggiunto nello spazio colore RGB.Per ogni foto sono state create 15 immagini degradate ciascuna da una sigma differente.

Rumore aggiunto nello spazio colore Ycbcr, sui canali cb e cr. Le 15 immagini degradate sono state salvate in formato Jpeg (compressione lossy).

• Ciascuna immagine è stata elaborata dagli algoritmi e su queste sono stati calcolati i valori di PSNR.

• Ogni algoritmo è stato confrontato mediante i valori di PSNR medio alle diverse variazioni di sigma.

ESPERIMENTO 1 ESPERIMENTO 2

ESPERIMENTI (Parte2)• È stato aggiunto con σ 15,35 e 50, il rumore utilizzato nell’esperimento

PARTE 1, sulle 9 foto.

• Ogni algoritmo è stato confrontato mediante i valori di PSNR medio alle 3diverse sigma.

ESPERIMENTO 1 ESPERIMENTO 2

• In entrambi gli esperimenti è stata calcolata la DEVIAZIONE STANDARD in relazione ai valori medi di PSNR.

ESPERIMENTO 1 ESPERIMENTO 2

16/18

ESPERIMENTO 3

1. Scelta casuale di 30 foto reali degradate presenti in un database personale.

2. Elaborazione delle foto eseguita dagli algoritmi.

3. Valutazione degli elaborati con l’ausilio di una metrica oggettiva No-Reference(Blur-Metric).

La Blur-Metric sfrutta dei valori compresi nell’intervallo *0,1+ e cerca di stimare la sharpness/blurdelle 30 foto.

SVILUPPI FUTURI

Una sperimentazione futura per uno studio più approfondito degli algoritmi, è l’applicazione delle metriche soggettive, in particolare dei gruppi MOS.

La metrica MOS consiste nella valutazione media di giudizi espressi da diversiosservatori umani relativi alla qualità di un’immagine.

Non è stato possibile applicare questa metrica per mancanza di tempo e per problemi logistici.

18/18