Elaborazione delle immaginie Pattern Recognition

Giovanni Scavello

Programma dei seminariDescrizione matematica

Spazi colore

Operazioni comuni

Filtraggio (bordi, espansione del contrasto, etc...)

Rappresentazione dei contorni (chain – code)

Morfologia (dilatazione, erosione, apertura e chiusura morfologica)

Cross section

Nozioni di base del trattamento delle immagini

Programma dei seminariI meccanismi della percezione umana e i problemi del riconoscimento automatico

Tecniche di segmentazione

● Componenti connesse

● Maschere

● Soglia

Tecniche di costruzione delle features

Metodi per il riconoscimento

● template matching

● reti neurali

● support vector machine

Introduzione ai problemi legati al riconoscimento automatico e agli strumenti per il pattern recognition

Programma dei seminari

Casi reali e discussione di sistemi completi di riconoscimento

Cenni alla libreria OpenCV

Riconoscimento targhe (elaborazioni immagini in scala di grigio, pattern matching)

Riconoscimento segnali (spazio colore, riconoscimento forme, support vector machine)

Introduzione

Oggetto reale

Informazione chearriva al cervello

Introduzione

FileColazione.jpg

DSP

0101000111010001

Oggettoreale

Informazione chearriva all'elaboratore

Parte primaImage Processing

Introduzione

Immagine diinput

Algoritmi e tecnichedi

Image processing

Immagine dioutput

Processo diacquisizione

e codifica

Matematica delle immagini

ℑ:ℜ2ℜn

ℑ:ℜ2ℜ ℑ:ℜ2ℜ4ℑ:ℜ2ℜ3

Scala di grigiBianco e nero

RGB, HSV, LUV CYMK

f x , y=[l ] f x , y=[l1, l 2, l3] f x , y=[l1, l 2, l3, l 4]

Le immagini digitali

Immagine reale

Griglia(risoluzione spaziale)

Valore del pixel(quantizzazione) Scala dei valori

possibili(livelli di grigio)

Gli spazi di colore

SCALA DI GRIGI K bit 2^K livelli di grigio Casi particolari:

− Bianco e nero (1 bit)− Scala di grigi comune

(8 bit)− Immagini mediche

( 12 bit)

Gli spazi di colore

RGB K bit 2^K livelli di grigio 3 canali (piani immagine)

Gli spazi di coloreHSV Hue [0°, 360°] Saturation [0, 1] Value [0, 1] 3 canali

Gli spazi di coloreCYMK Ciano Giallo Magenta Nero

Operazioni comuni

Operatori puntuali Operatori locali

Immagine digitalizzata

Matrice (scala di grigi)o

Set di Matrici (Spazi colore RGB, HSV, CYMK)

I 1immagine di input , I 2 immagine di outputI cmatrice di convoluzione

I 2=I 1∗I c

I 1immagine di input , I 2 immagine di output

I 2x , y= f {I 1 x , y }

Operatori puntualiI 2 x , y =I 1 x , y ± l aumento /diminuzionedella luminosità

OriginaleDiminuzione della luminosità Aumento della luminosità

Operatori puntualiI 2 x , y =

I 1 x , y l

restrizionedella scala dei grigi sottocampionamento intensità di valore

Originale I 2x , y =I 1x , y

8

Operatori puntualiI 2 x , y =a⋅I 1 x , y baumentodel contrasto

OriginaleI 2 x , y =

[ I 1x , y −MIN {I 1}]×MAX grey

MAX {I 1}−MIN {I 1}

Operatori locali(convoluzione discreta)

h1 h2 h3

h6

h9h8h7

h4 h5

f32 f33 f34

f44

f54f53f52

f42 f43

( )jif ,

( )jih ,

549538527

446435424

34333232143

fhfhfhfhfhfhfhfhfhg

++++++++=

( )jig ,

qp

r s

f 1 p= p∗3−2f 2 p= pq−r20×s

35

2 0

f 1 p=13f 2 p=6

35

2 1

f 1 p=13f 2 p=26

Sfumatura (smoothing)

I c=125 [1 1 1 1 1

1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1

]

Incremento dei dettagli (Laplaciano)

I c=[ 0 −1 0−1 5 −10 −1 0 ]

Contorni (I - Estrazione)

{x=[1 0 −12 0 −21 0 −1 ] y=[ 1 2 1

0 0 0−1 −2 −1 ]}

Operatore di Sobel

Contorni (II - memorizzazione)

C1 : {P1,[3333 43567777 7701] , antiorario}

C0 : {P0, [0 076765 45 4355366111 ] , orario}

x

y

M

N

M=16,N=17,M×N=272

l C0=19l C1=16

l C0l C1=35 x1, y1

x0, y0

3 2 14 p 05 6 7

Cross Section

C X =I f 1 z , f 2 z

X

C(X)

Operazioni morfologiche (I)Erosione/Dilatazione

Operazioni morfologiche (II)Apertura/Chiusura

Conclusioni

Problema della rappresentazione della realtàCenni alle basi matematicheOperazioni fondamentali

Grazie per l'attenzione

Parte SecondaPattern Recognition

Visione e Interpretazione (I)

Luminosità e contrasto

Acutezza e definizione dei contorni

Colore Spazio e forma

Visione e Interpretazione (II)

http://www.sitopreferito.it/html/illusioni_ottiche.html

Il problema della segmentazione (I)

Il problema della segmentazione (II)

A seconda del campo di utilizzo del

sistema ALPR le immagini che

devono essere elaborate possono

essere soggette a varie tipologie di

deformazioni e disturbi, alcune

legate alle modalità con cui viene

acquisita l'immagine (auto in

movimento, posizione obliqua della

targa rispetto all'apparato di

acquisizione, etc.) mentre altre

dipendenti dalle condizioni

ambientali (sporcizia e usura della

targa, illuminazione, complessità

dello sfondo della scena, etc.) .

Componenti connesse

Overlay

I 3x , y={I 2 x , y , I 1 x , y≠00,altrimenti }

I 1

I 2

Operatori di soglia (I)

I 2 x , y ={0, I 1x , y1, altrimenti }

Operatori di soglia (II)

Operatori di soglia (III)

Estrazione di features

OGGETTO

PROBLEMA

SCELTA FEATURES

INFORMAZIONE MINIMA

Esempi di features (I)

f =[ alfa , alfa×beta ,c

r,

alfa×, ]

Esempi di features (II)

5x5

30

3 0

θx

y

Proiezione-y

Proiezione-x

Proiezione diagonale secondaria

Proiezione diagonale principale

Esempi di features (III)

Classificazione di pattern

Pattern recognition: l'intelligenza umana riconosce una struttura generativa invisibile comune a due forme visibili diverse. Per il momento questa operazione è una nostra prerogativa, che le macchine non hanno ancora imparato.

Nel mondo algoritmico la ricerca di somiglianze, o il riconoscimento di strutture nascoste (pattern recognition) permettono di conferire lo stesso senso a segni diversi che hanno qualcosa in comune;nel mondo facsimilare, dove ogni replica è per definizione visivamente identica alla matrice, se un segno ha un significato un altro segno, anche solo marginalmente diverso, ha un altro significato – o non ne ha.

E c'è una certa ironia nel fatto che la nuova cultura delle macchine – ma una cultura di nuove macchine, che Lewis Mumford avrebbe chiamato neotecniche – avrà, oltre a tante altre conseguenze, anche quella di riformare la percezione, che tornerà a essere ciò che in un certo senso è sempre stata, con l'eccezione del plurisecolare interludio tipografico: non un'operazione meccanica ma un'estensione organica dell'intelligenza umana.

Template Matching

Classificare features

Reti Neurali

Support Vector Machine

Grazie per l'attenzione

QUALUNQUE TECNOLOGIA

SUFFICIENTEMENTE AVANZATA E'

INDISTINGUIBILE DALLA MAGIA

Elaborazione delle immaginie Pattern Recognition

Riconoscimento automaticodi targhe automobilistiche

Riconoscimento targheDIFFICOLTÀ

L'algoritmo proposto

Localizzazione

Estrazione di bordi

Immagine originale Risultato dell'operatore di Sobel

Localizzazione

Localizzazione

Localizzazione

Chiusura morfologica Apertura morfologica

Localizzazione

Analisi semantica

TARGA

Localizzazione

Localizzazione

Localizzazione

Binarizzazione

Algoritmo di Otsu:Basato su metodi statisticiAnalizza la distribuzione deilivelli di grigioMassimizza la separazionedegli oggetti dallo sfondo

Estrazione dei caratteriTRATTAMENTO DEI DISTURBI

DISTURBI CARATTERISTICI

Estrazione dei caratteriBINARIZZAZIONE

Segmentazione

Analisi componenti connesse

Caratteri segmentati sull'immagine originale

Riconoscimento

Matching

Esempi di localizzazione

Esempi di riconoscimento

Elaborazione delle immaginie Pattern Recognition

Riconoscimento automaticodi segnali stradali

Analisi del problemaVariabilità delle condizioni luminose

Analisi del problemaVariabilità della posizione lungo la strada

Analisi del problemaDistorsioni dovute alla prospettiva

Analisi del problemaOcclusioni

Schema del sistema di riconoscimento

Creazione degli overlay

Estrazione features forma

Segmentazione ed estrazione features segnali

CLASSIFICATORE SVM

Riconoscimento dei segnali