Sistema ibrido per l'apprendimento continuo

di reti neurali

Relatore:Prof. Aldo Franco DragoniCorrelatore:Ing. Germano Vallesi

Candidato:Pasquale Sconciafurno

Università Politecnica delle MarcheFacoltà di Ingegneria

• AMBITO: biometria, belief revision, reti neurali

• MOTIVAZIONI: gestione del riconoscimento facciale in presenza di cambiamenti delle caratteristiche degli individui

• OBIETTIVI: esplorare la possibilità di utilizzare sistemi ibridi (simbolico e neuronale)

• RISULTATI: definizione di un sistema ibrido basato su reti neurali multiple, supervisionate da uno strato simbolico

Motivazione

SISTEMA RICONOSCIMENTO FACCIALE OLISTICO

Rete Neurale

Motivazione

?SISTEMA RICONOSCIMENTO

FACCIALE OLISTICO

Rete Neurale

Motivazione

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Bocca

Naso

Fronte

Occhio S

Occhio D

• Sistema ibrido di riconoscimento facciale: – basato su reti neurali multiple– condizionamento Bayesiano per la risoluzione dei

conflitti – risposta del sistema basata sulle risposte delle

singole reti– auto aggiornamento della conoscenza sulla base

delle convinzioni del gruppo

Obiettivi

Obiettivi

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Naso

Fronte

Occhio S

Occhio D

Bocca

Estrazione Caratteristiche

Learning Vector Quantization

• Classificatori Multinomiali di tipo probabilistico con algoritmo di apprendimento competitivo e supervisionato• Ad ogni classe vengono assegnati alcuni vettori chiamati codebook• Tramite la regola K-nearest-neighbor si assegna la classe a un vettore in ingresso alla rete

X1 X2 … XN

N

M

LVQ: addestramento

• addestramento supervisionato: <pattern_ingresso,uscite_desiderate>

• si cerca il nodo vincente, confrontando il vettore di ingresso con i codebook di ogni nodo per cercare il nodo che ha il codebook più vicino all’input.

• si, modificano i pesi del nodo:

koldk

poldk

newk

koldk

poldk

newk

CTsex

CTsex

)(

)(

Belief RevisionSource A-priori Reliability

Naso 0.9

Bocca 0.9

Fronte 0.9

OcchioD 0.9

OcchioS 0.9

Naso: B|GBocca: G|LFronte: B|P

OcchioD: B|MOcchioS: B|O

Knowledge Base

Bayesian Conditioning

Nogoods

Goods

Naso: BFronte B

OcchioD: BOcchioS: B

Naso: G Bocca: G

Bocca: G|LFronte: B|P

Bocca: G|L OcchioD: B|M

Bocca: G|LOcchioS: B|O

Estrazione Feature

Condizionamento Bayesiano 1/2

• Se S’ S, la probabilità che le fonti in S’ siano affidabili è:

Questa probabilità può essere calcolata per ogni S’, col vincolo:

S'sS's

R(s))(R(s)R(S') 1

SS

SR2'

1)'(

Condizionamento Bayesiano 2/2

SourceA-posteriori Reliability

Naso 0.8357

Bocca 0.008

Fronte 0.8277

OcchioD 0.8920

OcchioS 0.8277

Per ottenere la nuova affidabilità della singola sorgente si a questo punto si sommano tutte le affidabilità degli 2s insiemi che la contengono

Source A-priori Reliability

Naso 0.9

Bocca 0.9

Fronte 0.9

OcchioD 0.9

OcchioS 0.9

Naso: B|GBocca: G|LFronte: B|P

OcchioD: B|MOcchioS: B|O

Knowledge Base

Bayesian Conditioning

Nogoods

Goods

Naso: BFronte B

OcchioD BOcchioS: B

Naso: G Bocca G

Bocca: G|LFronte: B|P

Bocca: G|L OcchioD: B|M

Bocca: G|LOcchioS: B|O

Estrazione Feature

Algoritmi di selezione

Consentono di selezionare il soggetto più probabile a partire dalle risposte delle reti e dalle loro affidabilità a posteriori.

Algoritmi:• Inclusion Based• Inclusion Based Pesato• Algoritmo Pesato

Algoritmi di selezione 1/2

L’algoritmo di selezione Inclusion Based seleziona il Good più credibile sulla base delle affidabilità a posteriori delle reti: 1. Si selezionano tutti i Good con la rete

più affidabile2. Se l’insieme è unico, l’alg. si arresta,

e quello è il Good più credibile3. altrimenti si riparte dal punto 1 con la

seconda fonte più affidabile

Nell’ Inclusion Based Pesato si associa un peso ad ogni insieme Good (la somma delle distanze euclidee tra input e codebook) e in caso di parità di affidabilità a posteriori si associa alla rete il peso minore dei good in cui è presente una risposta della rete.

Inclusion Based

B

Goods

Naso: BFronte B

OcchioD BOcchioS: B

Naso: G Bocca G

SourceAffidabilità A-posteriori

Naso 0.8357

Bocca 0.008

Fronte 0.8277

OcchioD 0.8920

OcchioS 0.8277

Algoritmi di selezione 2/2

Algoritmo Pesato:

Per ogni rete si ordinano i nodi in base alla distanza euclidea tra il codebook e il pattern in ingresso;

Viene assegnato un punteggio ad ogni nodo in base alla posizione relativa nell’ordinamento;

È associata una credibilità agli insiemi di Good sulla base di questi punteggi.

Retroazione

Si può sfruttare la conoscenza del gruppo di reti neurali per forzare l’apprendimento della rete che sta sbagliando.

Bocca

Naso

Fronte

Occhio S

Occhio D

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Naso

Fronte

Occhio S

Occhio D

Bocca

Retroazione

Si può sfruttare la conoscenza del gruppo di reti neurali per forzare l’apprendimento della rete che sta sbagliando.

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Naso

Fronte

Occhio S

Occhio D

Bocca

Bocca

Naso

Fronte

Occhio S

Occhio D

Retroazione

Si può sfruttare la conoscenza del gruppo di reti neurali per forzare l’apprendimento della rete che sta sbagliando.

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Naso

Fronte

Occhio S

Occhio D

Bocca

Bocca

Naso

Fronte

Occhio S

Occhio D

Retroazione

Si può sfruttare la conoscenza del gruppo di reti neurali per forzare l’apprendimento della rete che sta sbagliando.

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Naso

Fronte

Occhio S

Occhio D

Bocca

Bocca

Naso

Fronte

Occhio S

Occhio D

Retroazione

Si può sfruttare la conoscenza del gruppo di reti neurali per forzare l’apprendimento della rete che sta sbagliando.

SISTEMA RICONOSCIMENTO

FACCIALEMODULARE

Belie

f Re

visio

n

Sint

esi

Solu

zioni

Naso

Fronte

Occhio S

Occhio D

Bocca

Bocca

Naso

Fronte

Occhio S

Occhio D

Setup Sperimentale

Il database “ORL”: 10 immagini per 40 soggetti, per alcuni le immagini sono state prese in differenti condizioni di luminosità e in differenti ore dello stesso giorno. Alcune delle 10 foto sono differenti fra di loro (con occhiali senza occhiali …)

Modifiche al database “ORL” per simulare un’evoluzione dei soggetti.

Risultati Sperimentali

Esempio di andamento dell’affidabilità delle reti

a) Senza Retroazione b) Con Retroazione

Risultati Sperimentali

No Retroazione Retroazione

Alg.Pesato Incl. Based Alg.Pesato Incl. Based

Testset_mod 89.80% 77,55% 94,46% 86,97%

94.46%89.80%

86.97%77.55%

Retr. WA WA Retr. InclBW Incl.BW

Conclusioni & Sviluppi futuri

• I risultati sperimentali hanno dimostrato che il sistema consente di seguire efficacemente l’evoluzione delle caratteristiche dei soggetti.

• In particolare la retroazione consente di utilizzare i contributi di tutte le reti neurali per la scelta del Good più credibile.

• In futuro il sistema sarà testato impiegando un numero maggiore di reti neurali;

• Inoltre si testerà il sistema con il nuovo db.

Grazie per l’attenzione