Analisi delle Componenti Principali - old · universitÀ degli studi della basilicata facoltÀ di ingegneria corso di laurea in ingegneria meccanica tesina in complementi di probabilitÀ

UUNNIIVVEERRSSIITTÀÀ DDEEGGLLII SSTTUUDDII DDEELLLLAA BBAASSIILLIICCAATTAA

FFAACCOOLLTTÀÀ DDII IINNGGEEGGNNEERRIIAA CCOORRSSOO DDII LLAAUURREEAA IINN IINNGGEEGGNNEERRIIAA MMEECCCCAANNIICCAA

TESINA

IN COMPLEMENTI DI PROBABILITÀ E STATISTICA

3 crediti

Analisi delle componenti principali

DOCENTE:

Prof.: ELVIRA DI NARDO

ANNO ACCADEMICO 2005/2006

STUDENTE:

D’ANDRIA PATRIZIA 22673


2

Indice


Introduzione……………………………………………………………………...…….. pg. 3

1 Descrizione del metodo……………………...……………………………….....…. pg. 5

1.1 La varianza delle componenti principali….….….…………………………...pg.7

1.2 Procedura di estrazione delle componenti principali della matrice di

covarianza ……………………………...................................………................pg.8

1.3 Proprietà delle componenti principali ……………………………………… pg.11

1.4 Il rango della matrice di covarianza………………………………................ pg.12

1.5 La scelta del numero delle componenti principali………….…………….... pg.13

1.6 Standardizzazione delle variabili di origine…………………...…...……….. pg.15

1.7 Interpretazione delle componenti principali………....…….......................... pg.16

1.8 Interpretazione geometrica delle componenti principali ….........….…….. pg.18

1.9 Le componenti principali nel caso di campione multivariato gaussiano... pg.21

1.10 Sintesi delle caratteristiche delle componenti principali …………....……. pg.22

2 Esempi…......................................................................................…….………..…….... pg. 23

2.1 Esempio n°1 …..............……………………………………………………..… pg.23

2.2 Esempio n°2 …..............………………………………………………….....… pg.28

Appendice – Alcune definizioni………………………………………………………......pg. 33

ANALISI DELLE COMPONENTI PRINCIPALI

Introduzione

Lʹanalisi delle componenti principali (detta pure PCA oppure CPA) è una

tecnica utilizzata nell’ambito della statistica multivariata per la semplificazione

dei dati d’origine.

Lo scopo primario di questa tecnica è la riduzione di un numero più o meno

elevato di variabili (rappresentanti altrettante caratteristiche del fenomeno

analizzato) in alcune variabili latenti. Ciò avviene tramite una trasformazione

lineare delle variabili che proietta quelle originarie in un nuovo sistema

cartesiano nel quale le variabili vengono ordinate in ordine decrescente di

varianza: pertanto, la variabile con maggiore varianza viene proiettata sul

primo asse, la seconda sul secondo asse e così via. La riduzione della

complessità avviene limitandosi ad analizzare le principali (per varianza) tra le

nuove variabili.

Diversamente da altre trasformazioni (lineari) di variabili praticate

nellʹambito della statistica, in questa tecnica sono gli stessi dati che determinano

i vettori di trasformazione.

La PCA è una tecnica statistica adoperata in molti ambiti: nell’astronomia,

nella medicina, in campo agro-alimentare, ecc... fino anche alla compressione di

immagini; questo perché quando ci si trova a semplificare un problema,

riducendo la dimensione dello spazio di rappresentazione, si ha allo stesso


4

tempo una perdita dell’informazione contenuta nei dati originali. La PCA

consente di controllare egregiamente il “trade-off” tra la perdita di informazioni

e la semplificazione del problema (basta scegliere il numero appropriato di

autovettori).

Il presente elaborato mira a descrivere tale metodologia dal punto di vista sia

matematico che qualitativo.


5

1. Descrizione del metodo

L’analisi delle componenti principali con riferimento a p variabili,

piconXXXX pi ,...,,,...,,...,, 21=21 (vettore casuale multivariato), consente di

individuare altrettante p variabili (diverse dalle prime),

piconYYYY pi ,...,,,...,,...,, 21=21 (vettore multivariato), ognuna

combinazione lineare delle p variabili di partenza.

L’obiettivo della PCA consiste nell’individuare opportune trasformazioni

lineari iY delle variabili osservate facilmente interpretabili e capaci di

evidenziare e sintetizzare l’informazione insita nella matrice iniziale Xr

. Tale

strumento risulta utile soprattutto allorquando si ha a che fare con un numero

di variabili considerevole da cui si vogliono estrarre le maggiori informazioni

possibili pur lavorando con un set più ristretto di variabili.

I dati di partenza vengono organizzati in una matrice, indicata con Xr

:

pjepicon

XXX

XXXXXX

X

XX

X

pppp

p

p

p

,...,,,...,, 21=21=

=

=

21

22221

11211

2

1

L

MOMM

L

L

M

r

dove:

− le colonne rappresentano le p osservazioni effettuate;

− le righe sono le p variabili considerate per il fenomeno in analisi.

Si può notare come la matrice dei dati d’origine viene sinteticamente

rappresentata con un vettore casuale multivariato ( TpXXXX )( K

r21= ).


6

Data la matrice Xr

, che contiene p variabili correlate tra loro, si vuole

ottenere una matrice di nuovi dati Yr

, composta da p variabili incorrelate tra

loro, che risultano essere combinazione lineare delle prime. E quindi si ha:

)()()( pppppp

XLY

××=×

=rr

(1.1)

in forma estesa è:

=

=

=

21

22221

11211

21

22221

11211

21

22221

11211

2

1

pppp

p

p

pppp

p

p

pppp

p

p

p XXX

XXXXXX

lll

llllll

YYY

YYYYYY

Y

YY

Y

L

MOMM

L

L

L

MOMM

L

L

L

MOMM

L

L

r (1.2)

Una generica componente di Yr

, ad esempio la prima, si esprimerà come:

XlXlXlXlYYYY Tp

iipi

p

iii

p

iiip

rKK 1

1=1

1=21

1=11112111 =

== ∑∑∑ ,,,),,,( (1.3)

In sintesi, si ha che l’i-esima componente di Yr

è data da:

XlY Tii

r= (1.4)

a cui corrisponde una varianza pari a:

iT

ii llYVarrr

Σ=)( (1.5)

e una covarianza di:

jT

iji llYYCovrr

Σ=),( (1.6)

L è la matrice caratteristica della trasformazione lineare, mentre le iY sono

dette componenti principali.


7

Il vettore multivariato TpYYYY )( K

r21= è tale che il primo elemento 1Y

comprenda la maggiore variabilità possibile (e quindi maggiori informazioni)

delle variabili originarie, e che 2Y rappresenti la maggiore variabilità delle iX

dopo la prima componente, e così fino a pY che tiene conto della più piccola

frazione dell’originaria varianza. Perciò le componenti principali sono quelle

combinazioni lineari delle variabili aleatorie iX a norma unitaria che ne

rendono massima la varianza e che sono incorrelate.

1.1 La varianza delle componenti principali

Si è definita la varianza delle componenti principali secondo l’espressione

(1.5), ossia:

iT

ii llYVarrr

Σ=)(

Occorre però porre un vincolo sul vettore dei coefficienti. Supponendo di aver

trovato un vettore 1lr

che massimizzi la varianza di 1Y , tale varianza potrà essere

ulteriormente incrementata utilizzando anziché il vettore 1lr

appena trovato, un

nuovo vettore 1lcr

, con 1>c . Con tale ragionamento si otterranno un’infinità di

soluzioni, note a meno di un fattore di proporzionalità c .

Pertanto per avere un’unica soluzione è necessario porre un vincolo sugli

elementi del vettore 1lr

, espresso nella seguente condizione:

1=11 ll Trr

ovvero il vettore 1lr

deve avere norma unitaria.


8

Per individuare la prima componente principale bisognerà risolvere il seguente

problema di massimo vincolato:

(1.7)

1.2 Procedura di estrazione delle componenti principali della matrice di

covarianza

Data la matrice di covarianza Σ , dovendo perseguire l’obiettivo stabilito

dalla (1.7), si definisce come funzione obiettivo da massimizzare la funzione di

Langrange:

)( 1−−Σ= iT

iiT

i llllPrrrr

λ

dove λ è il moltiplicatore di Lagrange.

Massimizzare la funzione obiettivo rispetto a ilr

significa trovare l’opportuno

vettore di pesi da assegnare alle variabili presenti nella matrice Xr

in modo tale

che la nuova variabile ottenuta, iY , spieghi la massima quota possibile della

variabilità totale, Σ .

Trattandosi di un problema di massimo vincolato, la soluzione si trova

uguagliando a zero la derivata , rispetto al vettore ilr

, della funzione

Lagrangiana:

0=−Σ2=2−Σ2=∂∂

iii

i

lIlllP rrrr )( λλ (1.8)

1=≡Σ= 11111 llconllYVar TTrrrr

max)(


9

dove I è la matrice identità.

Dal teorema di Rouchè-Capelli, l’equazione (1.8) individua un sistema lineare

omogeneo che ammette soluzioni se e solo se la matrice )( Iλ−Σ è singolare,

ovvero:

0=−Σ )det( Iλ (1.9)

Le soluzioni della (1.9) sono gli autovalori della matrice Σ , per cui la

risoluzione della (1.9) comporta la ricerca del rango della matrice )( Iλ−Σ .

Poiché Σ ha dimensione )( pp× , si avranno al massimo p soluzioni.

Ordinando le soluzioni iλ in senso decrescente, si ha:

0≥≥≥≥ 21 pλλλ K

Presa la massima soluzione 1λ della (1.9), si troverà il vettore 1lr

corrispondente

risolvendo il seguente sistema:

0=−Σ 1lIr

)( λ (1.10)

e quindi:

111 =Σ llrr

λ (1.11)

Ne deriva che il problema del massimo vincolato si tradurrà in un problema di

autovalori e autovettori, in quanto il vettore 1lr

non è altro che l’autovettore di

norma unitaria della matrice Σ associata all’autovalore 1λ .

Moltiplicando entrambi i membri della (1.11) per Tl1r

, si ha:

11111 =Σ llll TTrrrr

λ


10

essendo il vettore 1lr

di norma unitaria, si ottiene:

)( 1111 ==Σ YVarll T λrr

La varianza della prima componente principale sarà dunque massimizzata in

quanto si è scelta per 1λ il più grande degli autovalori di Σ .

Per trovare le componenti successive alla prima si deve seguire un

procedimento analogo che dovrà tener conto delle componenti già valutate.

Tutto questo discorso viene sintetizzato nel seguente teorema:

TEOREMA: Sia Σ la matrice di covarianza associata al vettore casuale

)( pXXX K21 . Indicati con 0≥≥≥≥ 21 pλλλ K i p autovalori della

matrice Σ e con )( peee rK

rr21 i rispettivi autovettori, la i-esima

componente principale iY è data da:

piconXeY Tii ,,, Krr

21==

con questa scelta, risulta iiYVar λ=)( per pi ,,, K21= e 0=),( ji YYCov per

ji ≠ .

COROLLARIO 1: )()( ∑∑1=

211=

222

21 =+++==+++

P

Iip

P

IiP YVarXVar λλλσσσ LL

dove: )(∑1=

P

IiXVar è la varianza totale della popolazione;

)(∑1=

P

IiYVar è la varianza totale delle componenti principali.


11

Tale corollario sta ad indicare che la varianza dei dati di partenza si

ridistribuisce in quella delle componenti principali.

1.3 Proprietà delle componenti principali

a) Per ogni ji ≠ , si ha che ji YY ⊥ , il che equivale alla condizione 0=jT

i llrr

(essendo Σ simmetrica, gli autovettori saranno a due a due ortogonali).

Quindi la matrice di covarianza di Yr

è una matrice diagonale, pertanto

si ha 0=),( ji YYCov , per ji ≠ .

b) La somma degli autovalori è uguale alla traccia di Σ

∑∑1=

2

1=

=Σ=p

ii

p

ii tr σλ )( .

Va evidenziato che l’estrazione delle componenti principali può essere

effettuata anche dalla matrice di correlazione R (con la medesima

procedura vista per Σ ). In tal caso, si avrà:

pRtrp

ii ==∑

1=

)(λ .

c) Il prodotto degli autovalori è uguale al determinante della matrice Σ :

)det(Σ=∏1=

p

iiλ

oppure

)det(Rp

ii =∏

1=

λ , se si lavora con la matrice di correlazione.

d) È sempre possibile scomporre una matrice di covarianza o una matrice

di correlazione in un numero di componenti principali mai superiore al

numero di variabili osservate.


12

e) Le componenti principali non sono indipendenti dall’unità di misura

delle variabili. Se si moltiplica una variabile osservata per un valore

costante, la matrice di covarianza cambia determinando una

corrispondente variazione delle componenti principali.

f) Le componenti principali non variano per variabili standardizzate,

mentre non è necessario standardizzare valori percentuali o rapporti

tra grandezze che variano in intervalli limitati.

g) Essendo Σ una matrice simmetrica, gli autovalori iλ associati sono

reali.

h) Il rango della matrice Σ coincide con il numero di autovalori iλ non

nulli.

1.4 Il rango della matrice di covarianza

Bisogna a questo punto aprire una parentesi sul rango della matrice Σ . La

matrice di covarianza Σ ha lo stesso rango della matrice dei dati Xr

ed è

simmetrica, per cui il suo rango sarà pari al numero di autovalori non nulli.

Inoltre si dimostra che la matrice Σ è semi-definita positiva; ciò comporta che i

suoi autovalori sono sempre o positivi o nulli. Quindi:

se le righe della matrice dei dati sono linearmente indipendenti (possibile

solo se il numero di osservazioni, ad esempio n , è maggiore di p ), Σ avrà

rango p , ed i suoi autovalori saranno tutti positivi.


13

Se qualche autovalore risulta nullo (poniamo kp − autovalori nulli), allora

Σ avrà rango k , e si potranno determinare i k autovalori positivi.

In conclusione, si può asserire che se Σ ha rango p (ovvero se è definita

positiva) si otterranno p autovalori positivi, p autovettori corrispondenti e

quindi p componenti principali.

Se Σ è semi-definita positiva e di rango k , si determineranno k autovalori non

nulli e k componenti principali.

1.5 La scelta del numero delle componenti principali

Si è partiti da p variabili )( pXXX K21 , con l’obiettivo di sintetizzarle in

un numero inferiore di variabili “artificiali”. A seconda del rango della matrice

Σ , si potranno trovare fino a p componenti principali. Il compito della PCA è

quello di analizzare un numero di dati inferiore a quello di partenza, a tale

scopo vengono elencati, di seguito, i criteri adoperati per ridurre il numero

delle componenti principali da p a k , con kp ≥ .

I criteri adoperati per la scelta del numero di componenti sono tre (Criteri

Euristici), e sono:

1. Prendere solo quelle componenti che rappresentano l’ 80-90% della

variabilità complessiva, ovvero:

%90−80≈+++

++

21

1

p

k

λλλλλ

L

L (1.12)


14

dove il numeratore rappresenta la varianza delle prime k componenti

principali, mentre il denominatore rappresenta la varianza di tutte le

componenti principali.

2. Seguire la “Regola di Kaiser”: prendere solo quelle componenti che

hanno un autovalore maggiore o uguale ad uno, oppure,

equivalentemente, le componenti che hanno varianza maggiore di

quella media (ottenuta come media delle iλ );

3. La scelta del numero di componenti (sufficienti a riprodurre con una

buona approssimazione i dati di partenza) può essere fatta attraverso

il grafico degli autovalori o “Screen Plot”. All’interno del grafico si

sceglie il numero di componenti corrispondente al punto di “gomito”

della spezzata.

Lo Screen Plot è costruito ponendo sull’asse delle ascisse i numeri

d’ordine degli autovalori ( k,,, K21 ) e in ordinata gli autovalori ad essi

corrispondenti ( kλλλ ,,, K21 ). I punti di coordinate ( jj λ, ), con

kj ,,, K21= , vengono uniti con segmenti. Il numero di componenti

principali da utilizzare sarà dato dal più piccolo k tale che a sinistra di

k l’andamento dei jλ sia fortemente decrescente, mentre a destra

l’andamento deve essere pressoché costante, o comunque debolmente

decrescente.


15

1.6 Standardizzazione delle variabili d’origine

Spesso può accadere che i dati d’origine, che si hanno a disposizione, siano

caratterizzati da unità di misura non paragonabili tra loro oppure da ampiezze

dei sottocampioni molto diverse. In tali condizioni, non è possibile lavorare con

il campione noto ma è necessario standardizzare le variabili aleatorie.

A partire dal campione d’origine, )( pXXX K21 , e note la media e la

deviazione standard delle popolazioni di appartenenza delle variabili iX , il

processo di standardizzazione permette di normalizzare le variabili:

−−−

2

22

1

11

p

ppXXXσ

µσ

µσ

µ ,,, K

ed ottenere così un nuovo campione, )( pZZZ K21 , che avrà media nulla e

varianza unitaria.

Per questo nuovo campione, si avrà che la matrice di covarianza delle iZ

coincide con la matrice di correlazione del campione d’origine:

XZ R=Σ (1.13)

Pertanto, quando si ha un campione iX “non omogeneo” si adopera la matrice

di correlazione, R .

Si deve sottolineare che gli autovalori ottenuti con la matrice di correlazione R

sono diversi da quelli della matrice di covarianza Σ relativa al campione

d’origine.


16

1.7 Interpretazione delle componenti principali

L’interpretazione delle componenti principali è una fase del metodo assai

delicata. Attribuire un significato “semantico” alle iY è spesso legato alla

capacità, all’esperienza e alla sensibilità del ricercatore. Da questo punto di vista

non è possibile formalizzare statisticamente tali caratteristiche.

Esiste, d’altro canto, un modo per individuare il significato insito nelle

variabili “latenti” (dette così in quanto non è possibile effettuare una diretta

misurazione di tali “parametri nascosti”).

Si è detto che ogni componente principale si può esprimere nel seguente modo:

piconXlXlXlY pipiii ,,, KL 21=+++= 2211

Pertanto il generico coefficiente ijl rappresenta il peso che la variabile jX ha

nella determinazione della componente principale iY (con pi ,,, K21= ). Quanto

più grande è ijl (in valore assoluto), tanto maggiore sarà il peso che i valori jX

( pj ,,, K21= ) hanno nel determinare la componente principale i-esima. Ciò

significa che la componente principale iY sarà maggiormente caratterizzata

dalle variabili jX a cui corrispondono i coefficienti ijl più grandi in valore

assoluto. In tal modo sono proprio i coefficienti ijl a conferire un significato alla

componente principale iY .

Informazioni aggiuntive sono fornite dai coefficienti di correlazione tra le

variabili jX e l’i-esima componente principale iY . Si dimostra che:

j

iijjiXY eXYCorrr

ji σλ

== ),( (1.14)


17

dove la (1.14) rappresenta il coefficiente di correlazione, e ije è un autovettore.

È chiaro che più il valore di tale coefficiente è elevato tanto maggiore sarà il

legame tra jX e iY . Ciò significa che a determinare il significato delle

componenti principali saranno le variabili jX con cui è maggiormente correlata.

Inoltre, questo tipo di analisi può essere compiuta anche graficamente, ovvero:

se si considera nel piano delle prime due componenti principali un cerchio di

raggio unitario, è possibile valutare il coefficiente di correlazione tra le jX e 1Y ,

e tra jX e 2Y . Ogni variabile jX verrà plottata all’interno del cerchio, con le

seguenti coordinate: )),(),,(( jj XYCorrXYCorr 21 . In questo modo, si avrà

un’indicazione grafica di quali variabili determinino maggiormente l’una,

l’altra o entrambe le componenti principali; di quali siano correlate

positivamente e quali negativamente e così via.

Pertanto l’interpretazione delle componenti principali individuate viene di

solito effettuata sulla base dell’osservazione della matrice di correlazione tra le

variabili originarie e le componenti stesse nonché degli autovettori di ciascuna

componente. Probabilmente uno dei maggiori punti deboli di tale strumento

statistico è proprio questo: l’interpretazione dell’output risulta estremamente

soggettiva poiché determinati valori dei coefficienti di correlazione possono

risultare significativi per alcuni, non significativi per altri.

NOTA: Se si lavora con le variabili standardizzate )( pZZZ K21 , si avrà

un diverso valore del coefficiente di correlazione (in quanto gli autovalori

della matrice Σ non coincidono con gli autovalori della matrice R ).


18

1.8 Interpretazione geometrica delle componenti principali

Dal punto di vista geometrico, la matrice dei dati Xr

è rappresentabile come

p punti nello spazio dimensionale pR . Si è ampiamente detto che la PCA mira

a ridurre il numero di variabili da analizzare, ciò si traduce, da un punto di

vista geometrico, nel proiettare i p punti in un sottospazio kR , individuato in

modo tale che la nuvola dei punti p in pR sia deformata il meno possibile.

Le componenti principali individuano un nuovo sistema di coordinate che è

tale da avere sul primo asse ( 1Y ) la massima variabilità del sistema, sul secondo

si ha una varianza inferiore alla prima ma massima rispetto alle altre, e così via.

Pertanto, si avrà che:

1Y spiega la massima varianza su riduzione uni-dimensionale;

{ }21 YY , spiegano la massima varianza su riduzione bi-dimensionale;

KKKKKKKKK

{ }pYYY ,,, K21 spiegano la varianza totale.

Le immagini che seguono permettono di comprendere al meglio il significato

di quanto detto.

IMMAGINE 1: I Dati di partenza sono plottati nel piano 3R , ed i tre segmenti

indicati sono i tre autovettori della matrice di covarianza.


19

IMMAGINE 2: Si riporta il piano delle due componenti principali scelte.


20

IMMAGINE 3: Rappresentazione visiva della perdita di informazione relativa

alla prima componente principale.

IMMAGINE 4: Rappresentazione visiva della perdita di informazione relativa

alla seconda componente principale.


21

1.9 Le componenti principali nel caso di campione multivariato

gaussiano

Se il campione di partenza )( pXXX K21 è distribuito secondo una

variabile aleatoria normale ),( Σ0N , allora la matrice di covarianza è definita

positiva ed è dunque invertibile. Allora 21− =Σ cxxT rr descrive un ellissoide di

centro nell’origine. Essendo Tii

p

i i

ee rr∑1=

1− 1=Σ

λ, si ha che:

( ) ∑∑1=

2

1=

2

2 ==p

i i

ip

i i

Ti yxec

λλ

r

(1.15)

La (1.15) fornisce un ellissoide nel sistema di coordinate con assi iy e

direzioni ier . Inoltre, le componenti principali sono indipendenti.

Passare dal campione casuale iniziale multivariato a quello delle componenti

principali, equivale a ruotare gli assi coordinati fino a quando essi coincidono

con gli assi dell’ellissoide di concentrazione costante. Per cui, per un campione

multivariato gaussiano si ha un’interpretazione grafica differente.


22

1.10 Sintesi delle caratteristiche delle componenti principali

Le componenti principali (CP) saranno:

tra loro incorrelate 0=),( ji YYCorr , per ji ≠ ;

ordinate in ragione della variabilità complessiva che esse possono

sintetizzare: 0≥≥≥≥ 21 pλλλ K ;

la variabilità dei due sistemi di variabili, è tale che:

)()( ∑∑1=1=

=P

Ii

P

Ii YVarXVar ;

Inoltre, se si ha ji λλ ≠ , allora ji ee rr⊥ . Se ji λλ = , allora è sempre

possibile scegliere ier e jer tali che ji ee rr⊥ .


23

2. Esempi

2.1 Esempio n° 1

16 scrittori di romanzi sono stati valutati da un campione di lettori i quali

hanno espresso opinioni sul tipo di contenuto e sul modo in cui sono state

scritte delle opere dei scrittori indicati in base ai parametri riportati (vedi tab. 1):

X1: giudizio, X2: leggibilità, X3: politica, X4: fantasia, X5: rilettura, X6: thriller,

X7: attualità. Si vuole condurre unʹanalisi delle componenti principali.

Campione casuale multivariato X

X1 X2 X3 X4 X5 X6 X7

giud leggib politic fantast rilettur thrill attual

Fallaci 8.90 9.40 7.50 2.30 7.40 1.50 10.50

Tolkien 7.99 10.30 0.40 9.70 8.90 6.50 1.30

Rowling 8.01 10.56 1.60 10.02 7.59 7.01 1.68

Hardt 9.06 6.25 7.09 2.30 4.50 1.33 8.45

Cornwel 6.75 7.88 6.22 8.42 6.04 6.99 6.05

Camilleri 6.99 7.56 6.78 3.01 7.85 3.14 4.25

Mazzantini 8.33 8.01 2.52 3.50 6.55 2.47 6.70

Allende 5.95 7.73 3.50 5.80 6.45 3.20 2.40

Nasar 7.23 8.21 3.56 1.50 3.24 4.01 5.63

Eco 8.68 9.04 4.56 4.36 8.25 2.32 6.78

Gadda 9.12 7.56 6.89 1.23 5.89 2.32 7.88

Grass 7.56 6.12 6.52 4.56 6.01 1.25 6.12

King 6.22 8.44 1.01 2.14 7.13 4.22 1.23

Magris 8.14 7.06 2.10 6.55 4.12 0.88 2.26

Mishima 7.99 7.12 5.98 5.45 5.01 1.08 4.16

Lucarelli 6.04 6.42 3.01 5.02 3.01 6.89 3.01

tab. 1: Dati di partenza.


24

Mediante il comando “correlazione” di Excel, si ottiene la seguente matrice di

correlazione:

Matrice della correlazione di X

X1 X2 X3 X4 X5 X6 X7

X1 1.0000 0.1676 0.3377 -0.1691 0.1699 -0.5003 0.6112

X2 0.1676 1.0000 -0.4485 0.4085 0.6898 0.4430 -0.1985

X3 0.3377 -0.4485 1.0000 -0.4554 -0.1115 -0.4862 0.7873

X4 -0.1691 0.4085 -0.4554 1.0000 0.2764 0.5708 -0.5688

X5 0.1699 0.6898 -0.1115 0.2764 1.0000 0.1289 -0.0710

X6 -0.5003 0.4430 -0.4862 0.5708 0.1289 1.0000 -0.4891

X7 0.6112 -0.1985 0.7873 -0.5688 -0.0710 -0.4891 1.0000

tab. 2: Matrice di Correlazione.

Attraverso il comando di Matlab “svd” è possibile determinare gli autovalori e

gli autovettori associati alla matrice di correlazione, che sono riportati di

seguito:

Autovettori della matrice di correlazione di X

e1 e2 e3 e4 e5 e6 e7

-0.2793 -0.5153 0.3395 -0.5104 0.1871 -0.3805 -0.3176

0.3254 -0.5439 0.0048 0.1376 0.3763 0.6406 -0.1655

-0.4508 -0.0771 -0.5998 -0.0562 -0.3287 0.2409 -0.5118

0.4167 -0.0975 -0.1483 -0.6995 -0.4436 0.1876 0.2714

0.1894 -0.5910 -0.1050 0.4623 -0.4765 -0.3859 0.1188

0.4353 0.0666 -0.6019 -0.0963 0.4491 -0.4489 -0.1772

-0.4625 -0.2635 -0.3601 -0.0717 0.2999 0.0341 0.7005

tab. 3: Matrice degli autovettori associati alla matrice di correlazione.


25

Autovalori della matrice di correlazione

3.2778 0 0 0 0 0 0

0 1.7679 0 0 0 0 0

0 0 0.6649 0 0 0 0

0 0 0 0.5978 0 0 0

0 0 0 0 0.4911 0 0

0 0 0 0 0 0.1142 0

0 0 0 0 0 0 0.0863

tab. 4: Matrice degli autovalori associati alla matrice di correlazione.

A questo punto, bisogna adoperare uno dei tre criteri euristici per la

determinazione del numero di componenti principali che dovranno

rappresentare il campione iniziale.

1° CRITERIO: In base al primo criterio (esposto nel §1.5), si sceglie un

numero di componenti principali pari al numero di autovalori che riescono

a ricoprire l’80-90% della variabilità totale. Pertanto di seguito si propone

una tabella in cui sono indicate le percentuali di ciascuna iλ , e anche le

cumulate:

percent cumulata

λ1 3.2778 46.83% 46.83%

λ2 1.7679 25.26% 72.08%

λ3 0.6649 9.50% 81.58%

λ4 0.5978 8.54% 90.12%

λ5 0.4911 7.02% 97.14%

λ6 0.1142 1.63% 98.77%

λ7 0.0863 1.23% 100.00%

tot 7.0000 100%

tab. 5: Percentuali degli autovalori.


26

Si può notare come gli autovalori iλ siano ordinati in maniera decrescente ed

inoltre essi corrispondano alle stime delle varianze campionarie delle iY .

Dalla tabella 5, si evince che i primi due valori delle iλ ricoprono il 72% della

varianza totale, mentre se si considera anche il terzo autovalore si arriva fino

all’81,58%.

Si decide di adoperare solo le prime due varianze, 1λ e 2λ , per cui le

componenti principali si esprimeranno nel seguente modo:

)(.)(.

)(.)(.)(.)(.)(.

attualthrill

rilettfantaspoliticleggibgiudY

46250−43530+

18940+41670+45080−32540+27930−=1

)(.).

)(.)(.)(.)(.)(.

attualthrill

rilettfantaspoliticleggibgiudY

26350−06660+

59100−09750−07710−54390−51530=2

(2.1)

I coefficienti delle combinazioni lineari coincidono con le componenti degli

autovettori corrispondenti ai due autovalori scelti.

In base ai pesi riportati per queste combinazioni lineari, si ha:

Componente Y1 : tiene conto soprattutto del contenuto indicando una certa

preferenza per i seguenti temi: politica, fantasia, thriller e attualità.

Componente Y2 : tiene conto principalmente del modo in cui è stato scritto il

romanzo, esprimendo la preferenza per: il giudizio, la leggibilità e la

rilettura.


27

2° CRITERIO: Secondo la regola di Kaiser, andrebbero presi i primi due

autovalori in quanto il loro valore risulta essere maggiore di 1.

λ1 3.2778

λ2 1.7679

λ3 0.6649

λ4 0.5978

λ5 0.4911

λ6 0.1142

λ7 0.0863

tab. 6: Gli autovalori.

3° CRITERIO: Dallo Screen Plot, si evince che il numero di autovalori deve

essere di 3, in quanto in corrispondenza di quel valore si ha il brusco

cambiamento di pendenza.

Grafico decrescente degli autovalori

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

1 2 3 4 5 6 7

fig. 1: Screen Plot degli autovalori.

Poiché due metodi su tre restituiscono lo stesso risultato, si decide che le

componenti principali sono solo due, e sono quelle indicate dalle (2.1).


28

2.2 Esempio n° 2

Eʹ stata impostata una prova di confronto tra erbicidi per il diserbo chimico

della barbabietola da zucchero. Lʹefficacia di ogni p.a. è stata misurata

attraverso la percentuale di ricoprimento di sei specie infestanti (Polygonum

lapathyfolium, Chenopodium polyspermum, Echinochloa crus-galli,

Amaranthus retroflexus, Xanthium strumarium e Polygonum aviculare). Si

vuole esprimere un giudizio di merito tra le diverse soluzioni erbicide,

considerando lʹinsieme delle specie infestanti rilevate. I dati ottenuti sono

riportati in tabella:

Tabella - Flora infestante rilevata con diversi prodotti diserbanti.

Erbicida Code POLLA CHEPO ECHCH AMARE XANST POLAV Tryflusulfuron methyl + olio

A 0.1 33 11 0 0.1 0.1

Tryflusulfuron methyl + phenmedipham + olio

B 0.1 3 3 0 0.1 0

Quinmerac + chloridazon + phenmedipham

C 7 19 19 4 7 1

Phenmedipham + etophumesate

D 18 3 28 19 12 6

Phenmedipham + etophumesate + chloridazon

E 5 7 28 3 10 1

Phenmedipham + etophumesate + metamitron

F 11 9 33 7 10 6

Phenmedipham + desmedipham + ethofumesate

G 8 13 33 6 15 15

Phenmedipham + desmedipham + ethofumesate + chloridazon

H 18 5 33 4 19 12

Phenmedipham + desmedipham + ethofumesate + metamitron

I 6 6 38 3 10 6

tab. 7: Dati di partenza.


29

Mediante Excel, si valuta la matrice di correlazione:

Matrice della correlazione di X

POLLA CHEPO ECHCH AMARE XANST POLAV

POLLA 1.00000 -0.47143 0.63094 0.74998 0.82359 0.61526

CHEPO -0.47143 1.00000 -0.36033 -0.37682 -0.45998 -0.28664

ECHCH 0.63094 -0.36033 1.00000 0.39646 0.84664 0.69440

AMARE 0.74998 -0.37682 0.39646 1.00000 0.44580 0.31777

XANST 0.82359 -0.45998 0.84664 0.44580 1.00000 0.84416

POLAV 0.61526 -0.28664 0.69440 0.31777 0.84416 1.00000

tab. 8: Matrice di Correlazione.

Con l’ausilio del software Matlab, si valutano gli autovalori e gli autovettori:

Autovettori della matrice di correlazione di X

e1 e2 e3 e4 e5 e6

-0.4601 -0.2212 0.2498 -0.1658 0.6411 0.4884

0.2937 0.4726 0.8208 0.0553 0.1058 -0.0492

-0.4288 0.3177 -0.0436 0.7830 -0.1780 0.2617

-0.3400 -0.5991 0.5084 0.0570 -0.4600 -0.2285

-0.4818 0.2519 -0.0596 -0.0369 0.3377 -0.7651

-0.4128 0.4521 0.0016 -0.5931 -0.4695 0.2300

tab. 9: Matrice degli autovettori.

Autovalori della matrice di correlazione

3.858 0 0 0 0 0

0 0.9366 0 0 0 0

0 0 0.675 0 0 0

0 0 0 0.3039 0 0

0 0 0 0 0.192 0

0 0 0 0 0 0.0344

tab. 10: Matrice degli autovalori.


30

Si applicano, ora, i tre criteri di scelta del numero delle componenti

principali:

1° CRITERIO: Secondo questo metodo, il numero di autovalori da scegliere

è pari a due, in quanto i primi due autovalori riescono ad esprimere il

79,91% della varianza totale.

percent cumulata

λ1 3.8580 64.30% 64.30%

λ2 0.9366 15.61% 79.91%

λ3 0.6750 11.25% 91.16%

λ4 0.3039 5.07% 96.23%

λ5 0.1920 3.20% 99.43%

λ6 0.0344 0.57% 100.00%

tot 6.000 100%

tab. 11: Percentuale degli autovalori.

Per cui, le componenti principali sono:

)(.

)(.)(.)(.)(.)(.

polav

xanstamareechchchepopollaY

41280−

48180−340−42880−29370+46010=1

)(.

)(.)(.)(.)(.)(.

polav

xanstamareechchchepopollaY

45210+

25190+59910−31770+47260+22120−=2

(2.2)

In base ai pesi riportati per queste combinazioni lineari, si ha:

− Componente Y1 : tiene conto soprattutto delle seguenti specie infestanti:

polla, di echch, di xanst e polav.


31

− Componente Y2 : tiene conto principalmente delle seguenti specie infestanti:

chepo e amare.

2° CRITERIO: Secondo la regola di Kaiser, andrebbe preso solo il primo

autovalore in quanto risulta essere maggiore di 1.

λ1 3.8580

λ2 0.9366

λ3 0.6750

λ4 0.3039

λ5 0.1920

λ6 0.0344

tot 6.000

tab. 12: Gli autovalori.

3° CRITERIO: Dallo Screen Plot, si evince che il numero di autovalori deve

essere di 2, in quanto in corrispondenza di quel valore si ha il brusco

cambiamento di pendenza.

Grafico decrescente degli autovalori

0.000.501.001.502.002.503.003.504.004.50

1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6

fig. 2: Screen Plot degli autovalori.


32

Poiché due metodi su tre restituiscono lo stesso risultato, si decide che le

componenti principali sono solo due, e sono quelle indicate nella (2.2).


33

Appendice – Alcune definizioni

COVARIANZA: La covarianza tra variabili aleatorie iX e jX è la quantità:

( )( )[ ] [ ]jijiji XXjiXjXiXXji XXEXXEXX µµµµσ −=−−==),cov(

La covarianza è una misura della relazione lineare tra due variabili aleatorie.

MATRICE DI COVARIANZA: Misura il grado di correlazione tra due variabili.

221

22212

12121

ppp

p

p

YXXX

XXXXXXXX

σ

σσ

L

MOMM

L

L

),cov(),cov(

),cov(),cov(),cov(),cov(

Se la matrice di covarianza viene stimata, allora il singolo elemento della stessa

è così definito:

∑=

•• −−−

=n

kjjkiikij xxxx

ns

1))((

11

dove il pedice i è relativo alle righe, mentre j alle colonne.

CORRELAZIONE: La correlazione tra variabili aleatorie iX e jX è la quantità:

ji

ji

XX

XX

ji

ji

XVarXVarXX

σσ

σρ ==

)()(),cov(


34

MATRICE DI CORRELAZIONE: Misura il grado di correlazione lineare tra due

variabili.

1

11

21

221

112

L

MOMM

L

L

pp

p

p

ρρ

ρρρρ

Se la matrice di covarianza viene stimata, allora il singolo elemento della stessa

è così definito:

jjii

ijij ss

sr =

dove il pedice i è relativo alle righe, mentre j alle colonne.

Documents

Analisi delle Componenti Principali - old · universitÀ degli studi della basilicata facoltÀ di ingegneria corso di laurea in ingegneria meccanica tesina in complementi di probabilitÀ