77
Interfatare vizuala om-masina - modulul 2 - Laura Florea

Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Interfatare vizuala om-masina- modulul 2 -

Laura Florea

Extragere de trasaturidin imagini

Interfatare vizuala om-masina

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

bull Iesirea 2 clase

bull Exemple pentru analiza faciala

- Recunoastere de gen barbat femeie

- Sunt 2 persoane inrudite DaNu

-Recunoastere de fete la momente

de timp diferite (imbatranire) este

aceeasi persoana DaNu

- Recunoastere de fete (verificare

de identitate) este acesta Elon

DaNu

Clasificare binara

Clasificare cu mai multe clase

bull Exemple pentru analiza faciala

- Recunoasterea de emotii suparare

fericire surpriza dezgust etc

- Ce grad de rudenie au 2 persoane

-Estimarea gradului intensitatii

durerii fara durere durere mica

durere medie durere puternica

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 2: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Extragere de trasaturidin imagini

Interfatare vizuala om-masina

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

bull Iesirea 2 clase

bull Exemple pentru analiza faciala

- Recunoastere de gen barbat femeie

- Sunt 2 persoane inrudite DaNu

-Recunoastere de fete la momente

de timp diferite (imbatranire) este

aceeasi persoana DaNu

- Recunoastere de fete (verificare

de identitate) este acesta Elon

DaNu

Clasificare binara

Clasificare cu mai multe clase

bull Exemple pentru analiza faciala

- Recunoasterea de emotii suparare

fericire surpriza dezgust etc

- Ce grad de rudenie au 2 persoane

-Estimarea gradului intensitatii

durerii fara durere durere mica

durere medie durere puternica

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 3: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

bull Iesirea 2 clase

bull Exemple pentru analiza faciala

- Recunoastere de gen barbat femeie

- Sunt 2 persoane inrudite DaNu

-Recunoastere de fete la momente

de timp diferite (imbatranire) este

aceeasi persoana DaNu

- Recunoastere de fete (verificare

de identitate) este acesta Elon

DaNu

Clasificare binara

Clasificare cu mai multe clase

bull Exemple pentru analiza faciala

- Recunoasterea de emotii suparare

fericire surpriza dezgust etc

- Ce grad de rudenie au 2 persoane

-Estimarea gradului intensitatii

durerii fara durere durere mica

durere medie durere puternica

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 4: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Iesirea 2 clase

bull Exemple pentru analiza faciala

- Recunoastere de gen barbat femeie

- Sunt 2 persoane inrudite DaNu

-Recunoastere de fete la momente

de timp diferite (imbatranire) este

aceeasi persoana DaNu

- Recunoastere de fete (verificare

de identitate) este acesta Elon

DaNu

Clasificare binara

Clasificare cu mai multe clase

bull Exemple pentru analiza faciala

- Recunoasterea de emotii suparare

fericire surpriza dezgust etc

- Ce grad de rudenie au 2 persoane

-Estimarea gradului intensitatii

durerii fara durere durere mica

durere medie durere puternica

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 5: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Clasificare cu mai multe clase

bull Exemple pentru analiza faciala

- Recunoasterea de emotii suparare

fericire surpriza dezgust etc

- Ce grad de rudenie au 2 persoane

-Estimarea gradului intensitatii

durerii fara durere durere mica

durere medie durere puternica

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 6: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Etape

bull Extragere de trasaturi semnificative problemei

bull Reducerea numarului de trasaturilor

bull Clasificare

bull Binara

bull Cu valori multiple

Problematica clasificarii

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 7: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Parametri derivati din segmentare

bull Poate cea mai uzuala metoda de clasificare

bull Se segmenteaza zona de interes

ndash De obicei se alege o zona mai mare

bull Se filtreaza zona segmentata

ndash Se filtreaza valorile extrase

ndash Se filtreaza morfologic

bull Se calculeaza diferite valori extrase din rezultat

bull Pe o baza de antrenament se identifica valorile utile si se compune regula de decizie finala ndash divizarea in domenii

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 8: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Parametri din segmentare Exemplu

bull Problema Clasificare de gen

bull Se segmenteaza pe culoare pielea

bull Se construiesc parametribull Raportul de compacticitate ρ

bull Femeile au fata mai rotunda

bull Numarul de zone de piele in

masca NH

bullBarbatii au par facial

bull Dimensiunea (aria) ochilor AE

bull Femeile au ochi mai mari

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 9: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Se construiesc parametribull Fara suport fizic

bull Aria cercului circumscris Aria dreptunghiului circumscris RA

bull Saturatia medie a fetei Savg

bull Varianta pe planul U σ2U

bull Pe baza unei baze de antrenament se construiesc

reguli de deciziebull Decizia este luata pe baza unei reguli compuse

Parametri din segmentare Exemplu

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 10: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Regula de decizie finala

RF = (ρ lt 05 || ρ gt 05 ) amp (NH gt24) amp (AE lt15) amp

amp (RA lt0437) amp (Savg gt 23 || Savg lt5) amp

amp (10 lt σ2U lt 341245)

RF lt T - Barbat

RF ge T - Femeie

Se pot obtine rezultate foarte bune dar cu

bull Multa munca manuala

bull Baza de date foarte bine aleasa

Parametri din segmentare Exemplu

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 11: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Extragere automata de trasaturi

bull Extragerea de trasaturi poate fi

- Spatiala

- Spectrala

- Mixta

bull Trasatura = scalarvector care exprima o caracteristica

locala a unei imaginiobiect

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 12: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Cand se aleg trasaturile trebuie avut in vedere

bull Suficienta - caracteristicile trebuie să aibă informaţii suficiente

despre imagine şi nu trebuie să solicite cunoştinţe specifice

domeniului pentru extragerea lor

bull Usor de calculat - abordarea să fie fezabilă pentru o colecţie de

imagini de mari dimensiuni şi recuperare rapidă

bull Trasaturi ldquoslaberdquo ndash usor de calculat multe

bull Trasaturi ldquoputernicerdquo ndash putine complexe

bull Compatibilitate cu SVU - trebuie să fie legate de caracteristici

umane perceptuale

httpfacwebctidepauleduresearchvcVC_Workshoppresentationspdfdaniela_tutorial2pdf

Extragere automata de trasaturi

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 13: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Domeniul de analiza

Domeniu spatial

bull Caut valori constante de o anumita intensitate

bull Structuri cu o distributie fixa

ndash Trasaturi de tip Haar Local Binary Patterns

Domeniu spectral

bull Se obtine cu ajutorul transformatei Fourier DCT

bull Caut variatii

Domeniu mixt

bull Caut anumite valori combinate cu anumite variatii

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 14: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Imagine integrala

bull Provine din Grafica ndash ldquoSummed-area tablesrdquo

bull Varianta 2D a conceputului prefix sums

ndash Fie un vector f =[f1 f2 f3 hellip]

ndash Se construieste suma cumulativa

F = [F1=f1 F2=f1+f2 F3 = f1+f2+f3 hellip]

ndash Suma elementelor consecutive din vectorul initial dintredoi indici i1 si i2 este

11 12211 iiiii FFfff

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 15: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Imaginea integrala

bull Cum implementam acest principiu in 2D

x

i

y

j

jiIyxII1 1

)()(

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 16: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Imaginea integrala

)()1(

)1()11(

)()()()()(

2212

2111

2

1

2

1

yxDyxC

yxByxA

CIIBIIDIIAIIjiIx

xi

y

yj

Evaluarea sumei valorilor dintr-o zona ajunge sa aiba complexitate

O(1) [constanta] fata de O(n^2) [cuadratica]

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 17: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Imaginea integrala

16)()()()()(2

1

2

1

CIIBIIDIIAIIjiIx

xi

y

yj

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 18: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Trasaturi Haar

bull Provin din transformata Wavelet de tip Haar

bull Dupa Viola si Jones se

numesc trasaturi Haar

bull Se calculeaza eficient cu

Imaginea Integrala

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 19: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Ex Trasaturi Haar extinse

bull Lienhart propune 45 trasaturidreptunghiulare rotate

bull O trasatura este reprezentata

de

ndash Tipul trasaturii 1(a) 2(b)

ndash Locatia (x y)

ndash Dimensiunea trasaturii (w h)

bull Pentru o fereastra 24x24

exista 117941 trasaturi diferite

Trasaturi Haar extinse

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 20: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Ramirez propune trasaturi asimetrice

bull O trasatura este representata de

ndash Tipul trasaturii 12hellip6

ndash Locatia (x y)

ndash Parametri

Trasaturi Haar asimetrice

bull Pentru o fereastra

24x24 exista 2108

trasaturi diferite

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 21: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Introduse de Zabih si Woodfill (1994)

ndash Se considera o vecinatate (ce exclude punctul curent)

ndash ζ( AB) functie de comparatiebull Ia valoarea 1 daca AgtB

bull Ia valoarea 0 daca AltB

Trasaturi Census

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 22: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Kublbeck (2006) propune

utilizare trasaturilor census

in detectie de fete

bull Aproximeaza o

succesiune de Haar

bull Sensibile pentru textura

bull Invariante la iluminare

Vecinatati

Trasaturi Census

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 23: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Trasaturi Census

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 24: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Pelissier Frantz amp Berry Franccedilois (2010) Design of a Real-Time Embedded Stereo

Smart Camera 344-356 101007978-3-642-17688-3_33

Trasaturi Census

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 25: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Texture Unit

bull Introdus de He si Wang (1990)

bull Descriptor primar de textura

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este V0

ndash Valorile din vecinatate sunt V1hellip V8

V1 V2 V3

V4 V0 V5

V6 V7 V8

Texture Unit se defineste a fi o matrice 3x3 cu valorile E1hellip E8

0

0

0

2

1

0

VV

VV

VV

E

k

k

k

k

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 26: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Texture Unit

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 27: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Fuzzy Texture Unit

Exista variante

ndash Fuzzy Texture Unit definit pe baza

functiilor de apartenenta μ

ndash Fuzzy Texture Unit simplificat

)(

)(

)(

02

01

00

VV

VV

VV

E

k

k

k

k

TVV

TVV

TVV

E

k

k

k

k

0

0

0

1

0

1

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 28: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Texture Unit - exemplu

bull Texture Unit simplificat

ndash T=5

ndash Fereastra 7x7

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 29: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Texture Unit - Codare

bull Reprezentarea Texture Unit

ndash Doi biti (trei valori) pentru fiecare punct al ferestrei

ndash Fereastra NxN

ndash Sunt necesari 2(N2-1) biti

bull Nu se poate mai simplu

bull Putem utiliza un singur bit pentru codare

ndash Local Binary Patterns

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 30: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Local Binary Patterns (LBP)

bull Local Binary Patterns Histogram (LBPH LBP)

este un descriptor de textura care codifica

primitivele locale (muchii curbe pete zone

uniforme) intr-o histograma de trasaturi

bull Se defineste pe o ferestra 3x3 in care

ndash Valoarea curenta este g0

ndash Valorile din vecinatate sunt g1hellip g8

bull Valoarea rezultanta este

g1 g2 g3

g4 g0 g5

g6 g7 g8

0

0

1

0

gg

gge

i

i

i

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 31: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Exemplu 3x3

1 91 68

87 80 79

76 88 74

1 1 0

1 0 0

0 1 0

bull Cele 8 valori calculate formeaza cei 8 biti ai unui octet

ndash Se incepe din (00) si se parcurge circular

bull Se fixeaza directia

bull 11000101

Local Binary Patterns (LBP)

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 32: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Numarul se reprezinta in baza 10

1281+641+320+160+80+41+20+11 = 201

bull Proprietati

ndash Invariant la orice schimbare monotona a nivelului de gri

ndash Usor de calculat

bull De multe ori este folosit in conjunctie cu contrastul C

86 91 68

87 80 79

76 88 74

C = (86+91+87+88)4 ndash

-(68+79+74+76)4 =

= -1375

1 1 0

1 0 0

0 1 0

Local Binary Patterns (LBP)

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 33: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

httpsmediumcomckyrkouobject-detection-using-local-binary-patterns-50b165658368

httpswwwpyimagesearch

com20151207local-

binary-patterns-with-python-

opencv

Local Binary Patterns (LBP)

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 34: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Ferestrele de calcul sunt parametrice in functie de

numarul de pixeli (biti) P si de raza R

ndash Daca nu se nimereste intr-un pixel valoarea pt LBP se obtine

prin interpolare (bi-lineara)

bull Invariante la rotatie (in jurul punctului central)

bull Invariante la variatia nivelului de gri

LBP- multirezolutie

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 35: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP ndash uniforme si neuniforme

bull Se considera neuniforme daca au mai mult de 2 tranzitii 0 ndash 1

bull de multe ori gt90 sunt uniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 36: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP ndash uniforme si neuniforme

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 37: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 38: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 39: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP ndash invarianta la rotatie

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 40: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP

bull Varianta nivelelor de gri - masura de contrast

bull Invarianta la translatia nivelurilor de gri

bull Invarianta la rotatii in vecinatati circulare

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 41: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP- caracterizarea unei imagini

bull Caracterizarea harr histograma trasaturilor (LBP sisau Var)

bull Pentru fiecare pixel se determina LBP-ul si se adauga in

histograma

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 42: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP - multiscala

httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 43: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Volume LBP

G Zhao and M Pietikainen ldquoDynamic Texture Recognition Using Local Binary

Patterns with an Application to Facial Expressionsrdquo IEEE Transactions on Pattern

Analysis and Machine Intelligence vol 29 no 6 pp 915ndash928 2007

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 44: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP - TOP

Huang Xiaohua amp Zhao Guoying amp Hong Xiaopeng amp Zheng Wenming amp

Pietikaumlinen Matti (2015) Spontaneous Facial Micro-expression Analysis using

Spatiotemporal Completed Local Quantized Patterns Neurocomputing

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 45: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

LBP - SIP

Y Wang J See R C-W Phan Y-H Oh ldquoLBP with Six Intersection Points

Reducing Redundant Information in LBP-TOP for Micro-expression Recognitionrdquo in

Asian Conference on computer Vision pp 525-537 2015

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 46: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Pixel Difference Vectors (PDV)

[Lu et al 2015]

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 47: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Dual Cross Pattern

[Ding et al 2016]

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 48: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

BIRD

[Su et al 2019]

BIRD Binary and Illumination Robust Descriptor

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 49: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Histogram of Oriented Gradients (HOG)

bull Trasatura localizata spatial utila in special pentru texturi

bull Introdusa de DalalampTriggs in 2005

bull Ideea forma unui obiect poate fi descrisa cu ajutoruldistributiei intensitatii gradientilor respectiv a directieimuchiilor

bull Imaginea se imparte in celule Fiecare celula are o histogramade orientari

bull Descriptorul HOG = celule x histograme

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 50: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Algoritm

1 Calculul gradientului

2 Histograma de orientari

3 Blocul descriptiv

4 Normalizarea blocurilor

5 Constructia clasificatorului final

Antrenare

Histogram of Oriented Gradients (HOG)

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 51: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Imaginea este modelata ca o functie continua 2D

Derivata imaginii pe o directie oarecare r este

r

y

y

yxf

r

x

x

yxf

r

yxf

)()()(

sin)(

cos)()(

y

yxf

x

yxf

r

yxf

)(sincos)(

Fffr

yxfyx

x

y

r

Derivata pe directie orizontalaverticala

HOG Calculul gradientului

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 52: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Pe ce directie r este cea mai mare variatie

(pe ce directie e cel mai mare gradient)

bull Derivata pe directia r este

)(sincos)(

Fffr

yxfyx

Vrem maximul acestei functii

(Caut pentru ce derivata este 0)

cossinsincos)(

yxyx ffffr

yxf

0)(

r

yxf

HOG Calculul gradientului

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 53: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

HOG Calculul gradientului

cossin)(

yx ffr

yxf

0)(

r

yxf

x

y

f

farctan0

Directia pe care variatia e maxima

Magnitudinea variatiei maxime

22

00sincos

)()(max yxyx ffff

r

yxf

r

yxf

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 54: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Cum calculez derivatele fx si fy(derivata pe orizontalaverticala)

Convolutie cu

bull Nuclee necentrate

bull Nuclee necentrate

bull Sobel

-1 0 1-1

0

1

-1 1-1

1

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

HOG Calculul gradientului

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 55: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Orientarea se calculeaza cu precizie continua90

270

135 45

0180

315225

Se interpoleaza la un numar de pozitii predefinite

bull In domeniu fara semn [0180]

bull In domeniu cu semn [0360]

Un gradient voteaza la ambii vecini

bull In functie de distanta pana la ei

bull Votul este proportional cu magnitudinea

gradientului

bull Se poate aplica o functie magnitudinii

HOG Histograma de orientari

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 56: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

HOG Blocul descriptiv

bull Imaginea se imparte in blocuri partial suprapuse

bull Fiecare bloc este alcatuit din celule

bull Pe fiecare bloc se aplica normalizarea contrastului

bull Celulele pot fi rectangulare sau radiale (log-polare)

bull Histograma se calculeaza pe fiecare celula

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 57: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

HOG Normalizarea blocurilor

bull Exista deja un descriptor pe fiecare bloc ν

bull Pe fiecare bloc se aplica normalizarea contrastuluidescriptorului

ndash Norma L2

ndash Trunchere

ndash Norma L1

2

2

Norma L2

Sa nu

impartim la 0

Descriptorul final este vectorul tutoror componentelor

din toate celulele normalizate din toate blocurile din

fereastra de interes

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 58: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

HOG Exemplu

bull Se utilizeaza nuclee centrate

bull Celula

ndash Imaginea este impartita in celule

fiecare pixel apartine unei celule si numai uneia

ndash Ex are 6 x 6 pixeli

bull Blocul

ndash Suparapuse sau distantate

ndash Ex are 3 x 3 celule

bull 9 directii de orientare in [0 180]

bull Norma L2 cu trunchere in [0 02]

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 59: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Recapitulare ndash transformata Fourier 2D

1

0

1

0

)(2exp)(

1)(

N

m

N

n N

mnkljnmu

Nlkv

Transformata directa

Transformata inversa

1

0

1

0

)(2exp)(

1)(

N

k

N

l N

mnkljlkv

Nnmu

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 60: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Exemple

Box (spatial) harr Sinc (spectral)

Clopot Gaussian (spatial) harr Clopot Gaussian (spectral)

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 61: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Filtrul Gabor 1D

Filtru Gabor ndash produsul dintr-o infasuratoare

gaussiana si o purtatoare sinusoidala complexa

)()()( tsatwketg j

Unde2-)( tetw

)2( 0)(tfj

ets

)2cos()2sin()( 00

)2( 0 tfjtfetsetfjj

Aici kθ f0 sunt parametrii filtrului

Scalar de iesire ndash energia filtrului

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 62: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Filtrul Gabor 2D

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 63: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Filtrul Gabor 2D

httpwww4comppolyuedu

hk~csjunxuTeachingcomp4

134_tut_5pdf

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 64: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

(x y) s(x y) wg(x y) r

P) y sin ω (x cos ωF2j exp s(x y) 00 0

) (y - y b ) (x - xa-π K exp (x y) w 2

r0

22

r0

2

r

Unde

bull K Amplitudinea infasuratoarei Gaussiene

bull (a b) Factorii de scala pe cele doua axe ale Gaussienei

bull θ Unghiul de inclinare al filtrului

bull (x0 y0) Punctul central al filtrului

bull F0 amplitudinea infasuratoarei

bull ω0 frecventa (pulsatia infasuratoarei)

bull P Faza purtatoarei

Filtrul Gabor 2D

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 65: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Infasuratoarea Gaussiana

bull x0 = y0 = 0

bull a = 150 pixeli

bull b = 140 pixeli

bull θ = 45o

[Movellan]

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 66: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

[Movellan]

Imaginile sunt 128x128 Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Partea reala si imaginara a unui filtru Gabor in domeniul spatial

Filtrul Gabor 2D

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 67: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

[Movellan]

Imaginile sunt 128x128

Parametrii folositi sunt

bull x0 = y0 = 0

bull a = 150 pixeli b = 140 pixeli

bull θ= minus45o F0 = radic280 cicliipixel

bull ω0 =45 os P = 0o

Transformata Fourier a filtrului Gabor

Filtrul Gabor 2D

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 68: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Pentru extragerea de trasaturi se folosesc bancuri de filtre Gabor

Amplitudinea functiei de

transfer a unui filtru Gabor

bi-dimensional cu

orientare de 45o si

frecvente centrale nenule

Amplitudinea unei functii

de transfer a unui

banc de filtre Gabor bi-

dimensionale

(4 orientarii si 5 scale)

Bancuri de filtre Gabor

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 69: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

MPEG

bull Motion Picture Experts Group

bull Elaborare de standarde pentru transmisie audio si

transmisie si compresie video

bull Include descriptori de textura

ndash Homogeneous Texture - 3231 Banc de filtre

Gabor

ndash Edge Histogram

ndash Texture Browsing

MPEG-7

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 70: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

bull Similaritate cu SVU ndash descompunere in benzi

spectrale [ManRo]ndash Benzi simetrice fata de centru in coordonate polare

ndash Benzi de latime constanta pe fiecare directie

angulara

bull Bancul de filtre Gabor este specificatndash Directii unghiulare spatiate cu 30 de grade ndash 6 directii

ndash Frecventa centrala ωs= ω02-s s=01234 ω0 =34

ndash Latimea de banda Bs= B02-s s=01234 ω0 =12

Filtre Gabor in MPEG-7

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 71: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

[ManRo]

Bancul de filtre Gabor in coordonate

polare

Filtre Gabor in MPEG-7

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 72: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Magnitudinea

imaginilor

rezultate in urma

unui filtrarii cu un

banc de 12 filtre

Gabor

[Buciu08]

Exemplu ndash recunoasterea emotiilor

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 73: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Exemplu fata umana

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 74: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

SIFT

bull SIFT = Scale-invariant Feature Transform

bull Brevetat pt aplicatii industriale

bull Transforma imaginea in coordonateindependente de scala

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 75: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Referinţe bibliograficeTexture Unit

bull [He] He D and Wang L ldquoTexture unit texture spectrum and texture analysis IEEE Trans on

Geoscience and Remote Sensing 28 pp509-512 Iulie 1990

Local Binary Pattern

bull [Ojala1]T Ojala et al ldquoA comparative study of texture measures with classification based on

feature distributionsrdquo Pattern Recognition vol 29 pp 51-59 1996

bull [Ojala2] T Ojala et al ldquoMultiresolution gray-scale and rotation invariant texture classification

with local binary patternsrdquo IEEE Transaction on Pattern Analysis and Machine Intelligence vol

24 pp 971-981 2002

bull [Ahonen] Timo Ahonen et al ldquoFace Recognition with Local Binary Patternsrdquo ECCV 2004

LNCS 3021 pp 469-481 2004

bull [Pietikaumlinen] Matti Pietikaumlinen ldquoFace Analysis Using Local Binary Patternsrdquo

httpwwweeoulufimvg

bull httpwwweeoulufiresearchimagmvgfilespdfCVPR-tutorial-finalpdf

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 76: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Referinţe bibliograficePixel Difference Vectors

bull J Lu V E Liong X Zhou and J Zhou Learning Compact Binary Face Descriptor for Face

Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence vol 37 no

10 pp 2041-2056 2015

bull C Ding J Choi D Tao and L S Davis Multi-Directional Multi-Level Dual-Cross Patterns for

Robust Face Recognition in IEEE Transactions on Pattern Analysis and Machine Intelligence

vol 38 no 3 pp 518-531 2016

bull Zhuo Su Pietikaumlinen Matti Li Liu ldquoBIRD Learning Binary and IlluminationRobust Descriptor for

Face Recognitionrdquo BMVC 2019

Histogram of Oriented Gradient

bull [Dalal2005] Navneet Dalal Bill Triggs ldquoHistograms of Oriented Gradients for Human

Detectionrdquo International Conference on Computer Vision and Pattern Recognition Vol 2 pp

886-893 2005

Filtre Gabor

bull [Movellan] Javier R Movellan ldquoTutorial on Gabor Filtersrdquo

bull [Buciu08] Ioan Buciu I Nafornita I Pitas ldquoFacial Expression Recognition under Noisy

Environment Using Gabor Filtersrdquo Buletinul Ştiinţific al Universităţii Politehnica din Timişoara

Seria Electronica si Telecomunicatii Tom 53(67) Fascicola 1-2 28

bull [ManRo] Y Man Ro M Kim H K Kang BS Manjunath and J Kim ldquoMPEG-7 Homogeneous

Texture Descriptorrdquo IEEE Transaction on Circuits and Systems for Video Technology vol 11

no 6 June 2001

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult

Page 77: Interfatare vizuala om-masina · despre imagine şinu trebuie săsolicite cunoştinţespecifice domeniului pentru extragerea lor. • Usor de calculat - abordarea săfie fezabilăpentru

Multumesc pentru atentie

In ceea ce priveste intrebarilehellip va ascult