KANONI KA KORELACIONA ANALIZA I PRIMENE - pmf.ni.ac.rs · anoni£kak korelaciona analiza se koristi za re²aanjev raznih teorijskih i primenjenih problema u ekonometriji, posloanju,v

Univerzitet u Ni²u

Prirodno - matemati£ki fakultet

Departman za matematiku

KANONI�KA KORELACIONAANALIZA I PRIMENE

Master rad

Student:

Martina M. �iki¢

Mentor:

Prof. dr Aleksandar S. Nasti¢br. indeksa 177

Ni², 2019.

Sadrºaj

1 Uvod 3

2 Populaciona kanoni£ka korelaciona analiza 5

2.1 Slu£ajni vektor i linearna kombinacija njegovih koordinatnih promen-ljivih . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2 Najbolje linearne kombinacije . . . . . . . . . . . . . . . . . . . . . . 92.3 Konstrukcija vektora kanoni£kih koe�cijenata . . . . . . . . . . . . . 122.4 Standardizovane promenljive . . . . . . . . . . . . . . . . . . . . . . 232.5 Interpretacija kanoni£kih promenljivih i kanoni£kih korelacija . . . . . 27

2.5.1 Tradicionalno tuma£enje . . . . . . . . . . . . . . . . . . . . . 272.5.2 Kanoni£ka optere¢enja . . . . . . . . . . . . . . . . . . . . . . 27

2.6 Generalizacija nekih drugih koe�cijenata korelacije i indeksi redu-dantnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3 Uzora£ka kanoni£ka korelaciona analiza 34

3.1 Uzora£ke kanoni£ke promenljive i uzora£ke kanoni£ke korelacije . . . 373.2 Matrice uzora£kih kanoni£kih optere¢enja . . . . . . . . . . . . . . . 393.3 Dodatna merenja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.3.1 Matrice gre²ke aproksimacije . . . . . . . . . . . . . . . . . . . 413.3.2 Proporcija obja²njene uzora£ke varijanse . . . . . . . . . . . . 43

3.4 Svojstva i testovi kod velikih uzoraka . . . . . . . . . . . . . . . . . . 46

4 Primena 50

4.1 Primer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504.2 Kanoni£ka korelaciona analiza u R-u . . . . . . . . . . . . . . . . . . 52

5 Dodatak A 55

6 Zaklju£ak 63

Literatura 64

Biogra�ja 65

2

Glava 1

Uvod

Multivarijacione statisti£ke metode omogu¢avaju istovremeno analiziranje vi²epromenljivih kori²¢enjem teorije matrica. Kanoni£ka korelaciona analiza je mul-tivarijaciono pro²irenje korelacione analize. Predstavlja generalizaciju Pirsonovogkoe�cijenta korelacije i jedna je od najop²tijih multivarijacionih metoda. Bavi seutvr�ivanjem postojanja veze i ispitivanjem njene ja£ine izme�u dva skupa pro-menljivih, izme�u kojih ne mora da postoji uzro£no-posledi£na veza. Kao takva,kanoni£ka korelaciona analiza se koristi za re²avanje raznih teorijskih i primenjenihproblema u ekonometriji, poslovanju, psihologiji, obrazovanju, ekologiji, atmosfer-skim naukama itd.

Osnovnu teoriju kanoni£ke korelacione analize je razvio Hotelling ("Relation Be-tween Two Sets of Variates", 1936). Metodu je primenio na vezu izme�u dva skupapromenljivih, od kojih prvi skup £ine rezultati brzine £itanja i snage £itanja, dokse drugi skup sastoji od tako�e dve promenljive koje opisuju aritmeti£ku brzinu iaritmeti£ku snagu. Rezultati testova £itanja i aritmeti£kih testova dobijeni su odukupno 140 u£enika £etvrtog razreda osnovne ²kole.

U ovom radu ¢emo se upoznati sa nekim osnovnim svojstvima kanoni£ke korela-cione analize. Fokusira¢emo se isklju£ivo na ovu metodu, bez daljeg upore�ivanja sanekim drugim multivarijacionim tehnikama, od kojih neke postoje kao njeni speci-jalni slu£ajevi (regresiona analiza, analiza varijansi, faktorska analiza, neke metodeklaster analize).

Struktura rada je, nakon uvodnog dela, prirodno podeljena u dve osnovne celine.U drugoj glavi ¢emo najpre, nakon ukazivanja na glavne ciljeve kanoni£ke korela-cione analize, uvesti neke rezultate u vezi sa slu£ajnim vektorima koji ¢e nam unastavku sluºiti kao glavni alat u izlaganju metode, jer ¢emo skupove promenljivihkoje razmatramo predstaviti upravo pomo¢u dva ovakva vektora. U ovoj glavi izla-ºemo populacioni model i uvodimo osnovne veli£ine ove tehnike. Na prvom mestu,tu su kanoni£ke promenljive, u £ijoj izgradnji u£estvuju vektori kanoni£kih koe�ci-jenata. Njihovu konstrukciju opisujemo kroz niz izvedenih zaklju£aka. Najbitnijemesto me�u osnovnim veli£inama kanoni£ke korelacione analize kroz ove zaklju£keopravdavaju kanoni£ke korelacije. Vide¢emo da su to koe�cijenti korelacije izme�ukanoni£kih promenljivih odgovaraju¢eg para, a kasnije i na koji na£in pomo¢u njihopisujemo odnose polazna dva skupa promenljivih. Ukazujemo u nastavku i naosobinu invarijantnosti kanoni£ke korelacije, gde se kao specijalan slu£aj javljaju

3

Uvod 4

rezultati vezani za standardizovane promenljive originalnih promenljivih iz dva po-smatrana skupa. Me�u bitnim veli£inama zna£ajno mesto zauzimaju i koe�cijentikorelacije strukture i unakrsna kanoni£ka optere¢enja, £ija se glavna uloga odigravapri interpretaciji rezultata analize. U nastavku utvr�ujemo vezu izme�u kanoni£kihkorelacija i nekih drugih koe�cijenata korelacije i na kraju ukazujemo na ukupniindeks redundantnosti kao alternative iskazivanja mere deljene varijanse izme�u po-laznih skupova.

U narednoj, tre¢oj glavi, bavimo se uzora£kom korelacionom analizom. Nakonuvo�enja matri£nih zapisa nekih osnovnih statistika neophodnih za izlaganja u na-stavku, po analogiji sa populacionim veli£inama iz druge glave, de�ni²emo uzora£kekanoni£ke promenljive, uzora£ke vektore koe�cijenata, uzora£ke kanoni£ke korelacije,uzora£ka kanoni£ka optere¢enja. Osvr¢emo se na neka dodatna merenja, gde raz-matramo gre²ke aproksimacija, a zatim i proporcije obja²njene uzora£ke varijanse,korisne pokazatelje mere u kojoj uzora£ke kanoni£ke promenljive predstavljaju svojeskupove. U nastavku se bavimo testiranjem zna£ajnosti kanoni£kih korelacija, poduslovom normalne vi²edimenzionalne raspodele.

U £etvrtoj glavi navodimo primer primene kanoni£ke korelacione analize i u na-stavku ukazujemo na mogu¢nost kori²¢enja programskog jezika R i u ovoj analizi.Izra£unavanja u primerima datih u prvoj glavi izvr²ena su tako�e u ovom programu,²to je ilustrovano u dodatku A.

Rad se zavr²ava zaklju£kom i spiskom literature.

Glava 2

Populaciona kanoni£ka korelacionaanaliza

Ukoliko se u istraºiva£kim studijama javlja potreba za merenjem ja£ine pove-zanosti izme�u dva skupa promenljivih, kao odgovor na takvu vrstu istraºiva£kogproblema, javlja se kanoni£ka korelaciona analiza.

Od posebne je vaºnosti da se pre samog kori²¢enja ove metode multivarijacionestatisti£ke analize jasno de�ni²u ciljevi istraºivanja i smisleno odaberu skupovi kojisu polazna ta£ka istraºivanja. Rezultati analize su osetljivi na prelaze promenljivihiz jednog skupa u drugi, pa svakom od skupova je potrebno dati jasno teorijskozna£enje.

Glavni cilj kanoni£ke korelacione analize je na¢i najbolju mogu¢u reprezentacijupolazna dva skupa pomo¢u nekih drugih promenljivih, koje ¢e biti najvi²e mogu¢ekorelirane. Unutar svakog od skupova se formiraju linearne kombinacije promenlji-vih koje su u njima sadrºane. Metoda se fokusira na korelaciju izme�u ovih linearnihkombinacija. Preciznije, potrebno je najpre prona¢i najbolje linearne kombinacije,u smislu da izme�u tog para linearnih kombinacija postoji najve¢a korelacija. Uko-liko su ove linearne kombinacije dobri reprezentatori svojih skupova, problem pro-u£avanja povezanosti dva skupa promenljivih se pojednostavljuje, jer se svodi naizu£avanje para izvedenih promenljivih.

Dalje, od preostalih linearnih kombinacija, bira se par sa najve¢om me�usob-nom korelacijom, koji je uz to i nekoreliran sa prvim izabranim parom. U nastavkuse, sli£nim postupkom, izdvajaju ostali parovi linearnih kombinacija koje nazivamokanoni£ke promenljive, dok njihove me�usobne korelacije nazivamo kanoni£ke kore-lacije. Zbog zahteva nekoreliranosti, informacija koju ¢e svaki par pruºati ne¢e bitidostupna u preostalim parovima.

5

Populaciona kanoni£ka korelaciona analiza 6

2.1 Slu£ajni vektor i linearna kombinacija njegovih

koordinatnih promenljivih

Multivarijacioni podaci se sastoje od vi²estrukih merenja koja su dobijena nakolekciji posmatranih promenljivih. Naj£e²¢i na£in za organizovanje podataka jepomo¢u tzv. matrice podataka, u kojoj vrsta predstavlja slu£ajne vrednosti svihpromenljivih na jednoj opservaciji, dok kolona predstavlja slu£ajne vrednosti jednepromenljive za sve opservacije.

Pretpostavimo da se kolekcija sastoji od p promenljivih, i neka je n broj obavlje-nih opservacija. Tada je matrica podataka, u oznaci X, oblika

X =

X11 X12 · · · X1k · · · X1p

X21 X22 · · · X2k · · · X2p

...... . . . ...

...

Xj1 Xj2 · · · Xjk · · · Xjp

......

... . . . ...

Xn1 Xn2 · · · Xnk · · · Xnp

. (2.1)

Kra¢e, (2.1) moºemo pisati kao X = [Xjk]n×p, X = [Xjk], ili X =[XT

j

], gde je XT

j

transponovani vektor p-dimenzionalnog vektora

Xj =

Xj1

Xj2

...

Xjp

. (2.2)

Elementi matrice (2.1) su slu£ajne veli£ine, pa otuda ova matrica nosi naziv slu£ajnamatrica. Specijalno, za p = 1, X = [X1 X2 . . . Xn]

T je n-dimenzionalni slu£ajnivektor. Njegovo o£ekivanje je vektor

µx = E(X) =

E(X1)

E(X2)...

E(Xj)...

E(Xn)

, (2.3)

a kovarijansna matrica je

Σx = Cov(X) = E[(X− µx) (X− µx)

T], (2.4)


oblika

Var(X1) Cov(X1, X2) · · · Cov(X1, Xj) · · · Cov(X1, Xn)

Cov(X2, X1) Var(X2) · · · Cov(X2, Xj) · · · Cov(X2, Xn)...

... . . . ......

Cov(Xj, X1) Cov(Xj, X2) · · · Var(Xj) · · · Cov(Xj, Xn)...

...... . . . ...

Cov(Xn, X1) Cov(Xn, X2) · · · Cov(Xn, Xj) · · · Var(Xn)

, (2.5)

koja je simetri£na, pozitivno de�nitna, i na glavnoj dijagonali ima nenegativne ele-mente.

Direktnom proverom se moºe utvrditi da vaºi slede¢i rezultat:

Tvr�enje 1. Za svaki n-dimenzionalni vektor skalara c i svaki slu£ajni vektor X sao£ekivanjem µx i kovarijansnom matricom Σx, vaºi da je

E(cTX) = cTµx, (2.6)

Var(cTX) = cTΣxc. (2.7)

Linearna kombinacija slu£ajnih koordinata vektora X se de�ni²e kao

Y = cTX = c1X1 + c2X2 + · · ·+ cnXn, (2.8)

pri £emu je c = [c1 c2 . . . cn]T n-dimenzionalni vektor skalara. Tada, na osnovu

rezultata (2.6) i (2.7) iz prethodnog tvr�enja, imamo da su o£ekivanje i disperzijajednodimenzionalne slu£ajne promenljive Y

E(Y ) = cTµx, (2.9)

Var(Y ) = cTΣxc, (2.10)

respektivno. Primetimo da je disperzija promenljive Y data kao kvadratna forma,kao i da je u potpunosti odre�ena kovarijansnom matricom slu£ajnog vektora X ikoe�cijentima ci linearne kombinacije.

U op²tem slu£aju, ako je dato m linearnih kombinacija slu£ajnih promenljivihX1, X2, . . . , Xn:

Y1 = c11X1 + c12X2 + · · ·+ c1nXn

Y2 = c21X1 + c22X2 + · · ·+ c2nXn

... (2.11)Ym = cm1X1 + cm2X2 + · · ·+ cmnXn, ,

i ako stavimo da je Y = [Y1 Y2 · · · Ym]T slu£ajni vektor promenljivih Yi, a


C = [cij]m×n matrica skalara, (2.11) se moºe predstaviti matri£nom jedna£inom

Y = CX. (2.12)

U tom slu£aju, vaºi da je

µy = E(Y) = Cµx , Σy = Cov(Y) = CΣxCT . (2.13)

Dalje, ako pored m linearnih kombinacija datih u (2.11) imamo jo² s linearnihkombinacija r slu£ajnih promenljivih W1,W2, . . . ,Wr:

Z1 = d11W1 + d12W2 + · · ·+ d1rWr

Z2 = d21W1 + d22W2 + · · ·+ d2rWr

... (2.14)Zs = ds1W1 + ds2W2 + · · ·+ dsrWr ,

²to kra¢e zapisujemo u matri£nom obliku sa

Z = DW, (2.15)

gde je Z s-dimenzionalni slu£ajni vektor promenljivih Zi, a D = [dij]s×r odgovara-ju¢a matrica skalara, vaºi rezultat

Cov(Y,Z) = CΣxwDT , (2.16)

pri £emu smo sa Σxw ozna£ili matricu kovarijansi izme�u slu£ajnih promenljivih Xj

i Wk, za svako j = 1, . . . , n, k = 1, . . . , r.

Za slu£ajni vektor X, sa o£ekivanjem (2.3) i kovarijansnom matricom (2.5), po-smatra se i korelaciona matrica (2.17), £iji su elementi koe�cijenti korelacije izme�uslu£ajnih promenljivih Xi i Xj, u oznaci ρij, koja je oblika:

ρx =

1 ρ12 · · · ρ1i · · · ρ1j · · · ρ1n

ρ21 1 · · · ρ2i · · · ρ2j · · · ρ2n...

... . . . ......

...

ρi1 ρi2 · · · 1 · · · ρij · · · ρin...

...... . . . ...

...

ρj1 ρj2 · · · ρji · · · 1 · · · ρjn...

......

... . . . ...

ρn1 ρn2 · · · ρni · · · ρnj · · · 1

. (2.17)

Veza izme�u kovarijansne i korelacione matrice vektora X je data sa

Σx = V1/2Σx

ρxV1/2Σx, (2.18)


gde je VΣx dijagonalna matrica koja sadrºi elemente sa glavne dijagonale matriceΣx, zbog £ega smo je ovako i ozna£ili. Tada je kvadratni koren ove dijagonalnematrice matrica oblika

V1/2Σx

=

√Var(X1) 0 · · · 0 · · · 0

0√Var(X2) · · · 0 · · · 0

...... . . . ...

...

0 0 · · ·√Var(Xj) · · · 0

......

... . . . ...

0 0 · · · 0 · · ·√

Var(Xn)

. (2.19)

Datu relaciju (2.18) moºemo pisati i kao

ρx = V−1/2Σx

ΣxV−1/2Σx

, (2.20)

pri £emu je V−1/2Σx

= diag

(1√

Var(X1),

1√Var(X2)

, . . . ,1√

Var(Xn)

)inverzna ma-

trica matrice (2.19).

2.2 Najbolje linearne kombinacije

Kako je kanoni£ka korelaciona analiza, kako smo rekli, namenjena ispitivanjupovezanosti izme�u dva skupa promenljivih, razmatra¢emo skupove dimenzija p i q,koje, redom, £ine promenljive{

prvi skup : X(1)1 , X

(1)2 , . . . , X

(1)p ,

drugi skup : X(2)1 , X

(2)2 , . . . , X

(2)q ,

uz uslov da se u manjem skupu nalaze bar dve promenljive. Kao predstavnike ovadva skupa promenljivih uze¢emo dva slu£ajna vektora, p-dimenzionalni, u oznaciX(1), i q-dimenzionalni, u oznaci X(2):

X(1) =

X

(1)1

X(1)2...

X(1)p

, X(2) =

X

(2)1

X(2)2...

X(2)q

. (2.21)


Za posmatrane slu£ajne vektore (2.21), neka su

E(X(1)) = µ(1), Cov(X(1)) = Σ11,

E(X(2)) = µ(2), Cov(X(2)) = Σ22, (2.22)

odgovaraju¢i vektori o£ekivanja i odgovaraju¢e kovarijansne matrice, oblika datog u(2.3) i (2.4), tj. (2.5). Sa Σ12 ozna£i¢emo matricu kovarijansi koja meri povezanostizme�u slu£ajnih vektora X(1) i X(2). Tada, zbog osobine simetri£nosti kovarijanseimamo da je

Cov(X(1),X(2)) = Σ12 = ΣT21. (2.23)

Dakle, matrica (2.23), dimenzije p×q, sadrºi kovarijanse izme�u parova promenljivihiz razli£itih skupova, za razliku od kovarijansnih matrica iz (2.22) pomo¢u kojih jeiskazana povezanost promenljivih koje pripadaju istom skupu. Matrica (2.23) jeoblika

Cov(X(1)1 , X

(2)1 ) Cov(X

(1)1 , X

(2)2 ) · · · Cov(X

(1)1 , X

(2)q )

Cov(X(1)2 , X

(2)1 ) Cov(X

(1)2 , X

(2)2 ) · · · Cov(X

(1)2 , X

(2)q )

...... . . . ...

Cov(X(1)p , X

(2)1 ) Cov(X

(1)p , X

(2)2 ) · · · Cov(X

(1)p , X

(2)q )

, (2.24)

i u op²tem slu£aju velike dimenzije. Kako je nama od zna£aja upravo ova matrica,glavni zadatak kanoni£ke korelacione analize je da umesto p q kovarijansi sadrºaneu matrici (2.24), odabere manji broj kovarijansi koje ¢e i dalje dobro opisivati vezuizme�u posmatranih skupova promenljivih. Taj manji broj kovarijansi koje saºetosumiraju odnose izme�u X(1) i X(2) se dobija na osnovu linearne kombinacije pro-menljivih iz posmatrana dva skupa, ²to opisujemo u nastavku.

Neka su U = aTX(1) i V = bTX(2) linearne kombinacije promenljivih koje pri-padaju slu£ajnim vektorima (2.21):

U = a1X(1)1 + a2X

(1)2 + · · ·+ apX

(1)p ,

V = b1X(2)1 + b2X

(2)2 + · · ·+ bqX

(2)q . (2.25)

Na osnovu rezultata (2.9) i (2.10) imamo da je

E(U) = aTµ(1), Var(U) = aTΣ11a,

E(V ) = bTµ(2), Var(V ) = bTΣ22b. (2.26)

dok na osnovu rezultata (2.16) dobijamo da je

Cov(U, V ) = aTΣ12b. (2.27)

Ako sa ρuv ozna£imo koe�cijent korelacije izme�u jednodimenzionalnih slu£ajnih


promenljivih U i V , primenom prethodnih rezultata (2.26) i (2.27), dobijamo

ρuv =Cov(U, V )√

Var(U)√

Var(V )=

aTΣ12b√aTΣ11a

√bTΣ22b

. (2.28)

Zadatak kanoni£ke korelacione analize je da izabere vektore a i b za koji se postiºemaksimalna vrednost za ρuv. Kako je za proizvoljno c ∈ R+ vrednost koe�cijentakorelacije izme�u promenljivih cU i V jednak koe�cijentu korelacije ρuv, vektorebiramo tako da je Var(U) = Var(V ) = 1. Me�utim, sama metoda ne traga samo zajednim parom ovih vektora, kako smo naglasili ranije. Kanoni£ka korelaciona analizapolazna dva skupa koreliranih promenljivih, unutar kojih tako�e postoji me�usobnazavisnost promenljivih, ºeli da zameni pomo¢u t parova novih slu£ajnih promenljivih(Ui, Vi), gde su

Ui = aTi X(1) = ai1X

(1)1 + ai2X

(1)2 + · · ·+ aipX

(1)p ,

Vi = bTi X(2) = bi1X

(2)1 + bi2X

(2)2 + · · ·+ biqX

(2)q , (2.29)

i = 1, . . . , t, t ≤ min (p, q), linearne kombinacije vektora X(1) i X(2), respektivno.

Vektori ai = [ai1 ai2 · · · aip]T i bi = [bi1 bi2 · · · biq]T se biraju tako da su zado-voljeni slede¢i uslovi:

• parovi slu£ajnih promenljivih (Ui, Vi) su rangirani po vaºnosti njihove korela-cije, u smislu da je

ρ1 ≥ ρ2 ≥ · · · ≥ ρi ≥ · · · ≥ ρt, gde je

ρi =Cov(Ui, Vi)√

Var(Ui)√

Var(Vi)=

aTi Σ12bi√

aTi Σ11a

√bTi Σ22bi

, (2.30)

• slu£ajna promenljiva Ui je nekorelirana sa svim prethodno izvedenim slu£ajnimpromenljivama Uj:

Cov(Ui, Uj) = aTi Σ11aj = 0, j < i, (2.31)

• slu£ajna promenljiva Vi je nekorelirana sa svim prethodno izvedenim slu£ajnimpromenljivama Vj:

Cov(Vi, Vj) = bTi Σ22bj = 0, j < i, (2.32)

• slu£ajne promenljive Ui i Vi imaju jedini£ne disperzije:

Var(Ui) = aTi Σ11ai = 1,Var(Vi) = bT

i Σ22bi = 1, (2.33)

• slu£ajne promenljive Uk i Vl, za k 6= l, su nekorelirane:

Cov(Uk, Vl) = aTk Σ12bl = 0, k 6= l. (2.34)


Parovi slu£ajnih promenljivih (Ui, Vi) predstavljaju parove kanoni£kih promen-ljivih, dok korelacije ρi predstavljaju kanoni£ke korelacije i-tog kanoni£kog para.Formalna de�nicija glasi:

De�nicija 1. Prvi par kanoni£kih promenljivih je par linearnih kombinacija

U1 = aT1 X(1) i V1 = bT

1 X(2)

koje imaju jedini£nu disperziju i maksimiziraju korelaciju (2.28).Drugi par kanoni£kih promenljivih je par linearnih kombinacija

U2 = aT2 X(1) i V2 = bT

2 X(2)

koje imaju jedini£nu disperziju i maksimiziraju korelaciju (2.28) me�u svim mo-gu¢im linearnim kombinacijama koje su nekorelirane sa prvim parom kanoni£kihpromenljivih.

...

i-ti par kanoni£kih promenljivih je par linearnih kombinacija

Ui = aTi X(1) i Vi = bT

i X(2)

koje imaju jedini£nu disperziju, maksimiziraju korelaciju (2.28) i za koje vaºi da sunekorelirani sa parovima kanoni£kih promenljivih (U1, V1), . . . , (Ui−1, Vi−1). Korela-cija izme�u promenljivih i-tog kanoni£kog para se naziva i-ta kanoni£ka korelacija.Vektore koe�cijenata linearnih kombinacija ai i bi zovemo vektorima kanoni£kihkoe�cijenata.

2.3 Konstrukcija vektora kanoni£kih koe�cijenata

Slu£ajne vektore (2.21) moºemo posmatrati udruºeno. To £inimo formiranjem(p+ q)-dimenzionalnog slu£ajnog vektora

X =

[X(1)

X(2)

], (2.35)

£iji je vektor o£ekivanja

µ = E(X) =

[µ(1)

µ(2)

], (2.36)

i £ija je kovarijansna matrica

Σ = Cov(X) =

[Σ11 Σ12

Σ21 Σ22

]. (2.37)


Sada se osvrnimo na par linearnih kombinacija iz (2.25). Rekli smo da vektorekoe�cijenata linearnih kombinacija (2.25) biramo tako da (2.28) dostiºe maksimalnuvrednost. Uz uslov o jedini£nim disperzijama promenljivih U i V , na² zadatak sesvodi na maksimiziranje funkcije

ρuv = ρuv(a,b) = aTΣ12b, aTΣ11a = 1, bTΣ22b = 1. (2.38)

U cilju nalaºenja maksimuma funkcije (2.38), navodimo, najpre, slede¢i rezultat:

Tvr�enje 2. Neka su u = xTAx, v = yTAx, w = xTAy, gde je A simetri£namatrica, a x i y vektori skalara. Tada je

∂u

∂x= 2Ax (2.39)

∂v

∂x= ATy = Ay,

∂w

∂x= Ay. (2.40)

Sada, neka je funkcija Lagranºa za funkciju (2.38) pri zadatim uslovima vezadata sa

F (a,b) = aTΣ12b−1

2λF1(a

TΣ11a− 1)− 1

2λF2(b

TΣ22b− 1). (2.41)

Primenom rezultata (2.39) i (2.40), imamo da je odgovaraju¢i sistem jedna£ina zaodre�ivanje Lagranºovih multiplikatora λF1 i λF2 , kao i stacionarnih ta£aka funkcije(2.38):

(∗)

∂F

∂a= Σ12b− λF1Σ11a = 0

∂F

∂b= ΣT

12a− λF2Σ22b = 0

aTΣ11a = 1, bTΣ22b = 1 .

Prvu jedna£inu sistema mnoºimo s leva sa aT , dok drugu jedna£inu, tako�e s leva,mnoºimo sa bT . Dalje, primenjuju¢i da je

bTΣT12a =

(aTΣ12b

)T, (2.42)

dobijamo :

aTΣ12b− λF1 aTΣ11a︸︷︷︸=1

= 0, (2.43)

(aTΣ12b

)T − λF2 bTΣ22b︸︷︷︸=1

= 0. (2.44)


Kako je aTΣ12b skalar, to imamo da je(aTΣ12b

)T=(aTΣ12b

), te otuda iz (2.43)

i (2.44), dobijamo da korelacija izme�u slu£ajnih promenljivih U i V zadovoljava

aTΣ12b = λF1 = λF2 . (2.45)

Dalje, stavljaju¢i λFi= λ, i = 1, 2, u prve dve jedna£ine sistema (∗), i koriste¢i

£injenicu da vaºi (2.23), dobijamo sistem{−λΣ11a + Σ12b = 0

Σ21a− λΣ22b = 0.(2.46)

Mnoºenjem prve jedna£ine sistema (2.46) sa Σ21Σ−111 dobijamo

−λΣ21 Σ−111 Σ11︸︷︷︸=I(p×p)

a + Σ21Σ−111 Σ12b = 0, (2.47)

a zatim zamenom druge jedna£ine sistema (2.46) u (2.47), dolazimo do jedna£ine(Σ21Σ

−111 Σ12 − λ2Σ22

)b = 0, (2.48)

pri £emu smo u (2.47) sa I(p×p) ozna£ili jedini£nu matricu dimenzije p×p. Analogno,iz sistema (2.46) dolazimo i do jedna£ine(

Σ12Σ−122 Σ21 − λ2Σ11

)a = 0. (2.49)

Dobijene jedna£ine (2.49) i (2.48) su, redom, ekvivalentne sa(Σ−111 Σ12Σ

−122 Σ21 − λ2I(p×p)

)a = 0, (2.50)(

Σ−122 Σ21Σ−111 Σ12 − λ2I(q×q)

)b = 0. (2.51)

Ozna£imo sa Mp = Σ−111 Σ12Σ−122 Σ21 i Nq = Σ−122 Σ21Σ

−111 Σ12, gde nam indeks

ukazuje da su ove matrice dimenzija p × p i q × q, redom. Kako je za proizvoljnunesingularnu matricu M dimenzije p× p∣∣Mp − λ2I(p×p)

∣∣ = |M| ∣∣Mp − λ2M−1M∣∣ ∣∣M−1∣∣ = ∣∣MMpM

−1 − λ2I(p×p)∣∣ , (2.52)

to specijalno za M = Σ1/211 dobijamo da matrica

MMpM−1 = Σ

1/211

(Σ−111 Σ12Σ

−122 Σ21

)Σ−1/211 = Σ

1/211

(Σ−1/211 Σ

−1/211 Σ12Σ

−122 Σ21

)Σ−1/211

= I(p×p)Σ−1/211 Σ12Σ

−122 Σ21Σ

−1/211 = Σ

−1/211 Σ12Σ

−122 Σ21Σ

−1/211 (2.53)

ima iste sopstvene vrednosti kao i matrica Mp, pri £emu je matrica Σ1/211 simetri£na

i predstavlja kvadratni koren kovarijansne matrice Σ11. Sli£no se dobija i da ma-trice Nq i Σ

−1/222 Σ21Σ

−111 Σ12Σ

−1/222 imaju iste sopstvene vrednosti, pa ¢emo otuda u


nastavku posmatrati sistem(Σ−1/211 Σ12Σ

−122 Σ21Σ

−1/211 − λ2I(p×p)

)a = 0, (2.54)(

Σ−1/222 Σ21Σ

−111 Σ12Σ

−1/222 − λ2I(q×q)

)b = 0. (2.55)

Posmatrajmo, napre, jedna£inu (2.54). Matrica Σ−1/211 Σ12Σ

−122 Σ21Σ

−1/211 je sime-

tri£na matrica formata p× p. Ozna£imo je sa

Cp = [cij] = Σ−1/211 Σ12Σ

−122 Σ21Σ

−1/211 . (2.56)

Tada posmatrana jedna£ina postaje(Cp − λ2I(p×p)

)a = 0. (2.57)

Nama su, jasno, od interesa jedino netrivijalna re²enja sistema homogenih jedna£ina(2.46). Jedna£ina (2.54), tj. (2.57), ¢e imati netrivijalna re²enja akko je matricasistema singularna, odnosno akko je∣∣Cp − λ2I(p×p)

∣∣ = 0. (2.58)

Drugim re£ima, netrivijalna re²enja posmatranog sistema predstavljaju sopstvenevektore matrice Cp, dok vrednosti λ2 za koje postoje ova netrivijalna re²enja pred-stavljaju odgovaraju¢e sopstvene vrednosti ove matrice, koje odre�ujemo iz karak-teristi£ne jedna£ine (2.58), pri £emu je odgovaraju¢i karakteristi£ni polinom dat sa

PCp(λ2) =

∣∣Cp − λ2I(p×p)∣∣ =

∣∣∣∣∣∣∣∣∣∣∣

c11 − λ2 c12 · · · c1p

c21 c22 − λ2 · · · c2p...

... . . . ...

cq1 cq2 · · · cpp − λ2

∣∣∣∣∣∣∣∣∣∣∣. (2.59)

Izra£unavanjem determinante (2.59) i sre�ivanjem po stepenima od λ2 dobija se daje PCp(λ

2) polinom stepena p koji ima p nula. Kako ove nule predstavljaju sopstvenevrednosti simetri£ne matrice, sve su realne. Ozna£imo nule polinoma (2.59) sa

λ21 ≥ λ22 ≥ . . . ≥ λ2p ≥ 0, (2.60)

a njima odgovaraju¢e normalizovane sopstvene vektore sa

g1, g2, . . . ,gp, gTi gi = 1, gT

j gk = 0, j 6= k. (2.61)

Sada, na osnovu (2.45), moºemo zaklju£iti da se maksimalna korelacija izme�upromenljivih U i V postiºe ukoliko uzmemo λFi

= λ = λ1. Dakle, maksimalnakorelacija ima vrednost kvadratnog korena najve¢e sopstvene vrednosti matrice Cp,pa primenom navedenog zaklju£ka, na osnovu sistema (2.46) dobijamo da je veza


izme�u vektora a i b data jedna£inama

a =1

λ1Σ−111 Σ12, b =

1

λ1Σ−122 Σ21a. (2.62)

Analogno prethodnom, ako simetri£nu matricu iz (2.55) formata q× q ozna£imosa

Dq = [dij] = Σ−1/222 Σ21Σ

−111 Σ12Σ

−1/222 , (2.63)

tada se problem svodi na odre�ivanje sopstvenih vrednosti, odnosno sopstvenih vek-tora matrice Dq. Da bismo uo£ili vaºan rezultat koji se odnosi na sopstvene vrednostii sopstvene vektore matrica Cp i Dq, posluºi¢e nam slede¢a matrica

L(p×q) = Σ−1/211 Σ12Σ

−1/222 . (2.64)

Kako za bilo koje dve matrice M i N koje su kompatibilne za mnoºenje vaºi damatrice MN i NM imaju iste nenula sopstvene vrednosti sa istom vi²estruko²¢u,to na osnovu

• LLT =(Σ−1/211 Σ12Σ

−1/222

)(Σ−1/211 Σ12Σ

−1/222

)T=(Σ−1/211 Σ12Σ

−1/222

)(Σ−1/222 Σ21Σ

−1/211

)= Σ

−1/211 Σ12Σ

−122 Σ21Σ

−1/211 = Cp i (2.65)

• LTL =(Σ−1/211 Σ12Σ

−1/222

)T (Σ−1/211 Σ12Σ

−1/222

)=(Σ−1/222 Σ21Σ

−1/211

)(Σ−1/211 Σ12Σ

−1/222

)= Σ

−1/222 Σ21Σ

−111 Σ12Σ

−1/222 = Dq, (2.66)

moºemo zaklju£iti da su pozitivne sopstvene vrednosti matrica (2.56) i (2.63) iden-ti£ne, iste vi²estrukosti. Njihov broj je jednak rangu matrice manje dimenzional-nosti, dok preostale sopstvene vrednosti matrice ve¢e dimenzionalnosti bi¢e jednakenuli.

Bez gubljenja op²tosti, pretpostavimo da je p ≤ q. Neka su, dalje, h1, h2, . . . ,hp,normalizovani sopstveni vektori matrice (2.63) odgovaraju¢i sopstvenim vrednostimaλ21, λ

22, . . . , λ

2p , redom. Sumiraju¢i prethodne rezultate, ako sa (a1,b1) ozna£imo par

vektora koji predstavlja re²enje sistema{−λ1Σ11a + Σ12b = 0

Σ21a− λ1Σ22b = 0,(2.67)

dobijenog na osnovu sistema (2.46) za λ = λ1, uzimamo da je prvi par kanoni£kihpromenljivih

(U1, V1) = (aT1 X(1),bT

1 X(2)), (2.68)


pri £emu je

a1 = Σ−1/211 g1 =

1

λ1Σ−111 Σ12Σ

−1/222 h1, (2.69)

b1 =1

λ1Σ−122 Σ21Σ

−1/211 g1 = Σ

−1/222 h1, (2.70)

λ1 = ρuv(a1,b1) = aT1 Σ12b1. (2.71)

Nakon izdvajanja prvog para kanoni£kih promenljivih, biramo dalje drugi parpolaze¢i od funkcije (2.38) kojoj sada dodajemo nove uslove. Ti uslovi opisuju zahtevda drugi par slu£ajnih promenljivih (2.25) bude nekoreliran sa prvim izabranimparom (2.68), i dati su sa

Cov(U,U1) = aTΣ11a1 = 0, Cov(V, V1) = bTΣ22b1 = 0, (2.72)

Cov(U, V1) = aTΣ12b1 = 0, Cov(V, U1) = bTΣ21a1 = 0. (2.73)

Kako vektori a1 i b1 zadovoljavaju jedna£ine sistema (2.67 ), to na osnovu istihimamo da su kovarijanse date u (2.73) jednake

Cov(U, V1) = λ1aTΣ11a1 = 0, (2.74)

Cov(V, U1) = λ1bTΣ22b1 = 0. (2.75)

Sada, neka je funkcija Lagranºa za funkciju (2.38) sa dodatim uslovima vezadata sa

F (a,b) = aTΣ12b−1

2λF1(a

TΣ11a− 1)− 1

2λF2(b

TΣ22b− 1)

+ λF3aTΣ11a1 + λF4b

TΣ22b1, (2.76)

gde su λFi Lagranºeovi multiplikatori koje odre�ujemo iz sistema

(∗∗)

∂F

∂a= Σ12b− λF1Σ11a + λF3Σ11a1 = 0

∂F

∂b= ΣT

12a− λF2Σ22b + λF4Σ22b1 = 0

aTΣ11a = 1 , bTΣ22b = 1

aTΣ11a1 = 0 , bTΣ22b1 = 0

(2.77)

dobijenog primenom rezultata (2.39) i (2.40) i odgovaraju¢ih uslova veza. Prvu jed-na£inu iz (∗∗) mnoºimo s leva vektorom aT , drugu jedna£inu vektorom bT , pa pri-menom uslova jedini£nih disperzija i nekoreliranosti, dolazimo ponovo do rezultata


(2.45), te dalje i do jedna£ina (2.46). Otuda, za drugi par kanoni£kih promenljivihuzimamo par slu£ajnih promenljivih

(U2, V2) = (aT2 X(1),bT

2 X(2)), (2.78)

koji je odre�en sa

a2 = Σ−1/211 g2 =

1

λ2Σ−111 Σ12Σ

−1/222 h2, (2.79)

b2 =1

λ2Σ−122 Σ21Σ

−1/211 g2 = Σ

−1/222 h2, (2.80)

λ2 = ρuv(a2,b2) = aT2 Σ12b2. (2.81)

Izdvajanje parova kanoni£kih promenljivih se nastavlja dalje, na prethodno opi-sani na£in. Tako se dobija niz promenljivih

(Ui, Vi) = (aTi X(1),bT

i X(2)), (2.82)

koje su odre�ene sa

ai = Σ−1/211 gi =

1

λiΣ−111 Σ12Σ

−1/222 hi, (2.83)

bi =1

λiΣ−122 Σ21Σ

−1/211 gi = Σ

−1/222 hi, (2.84)

λi = ρuv(ai,bi) = aTi Σ12bi, (2.85)

i pri £emu, u op²tem slu£aju, i = 1, . . . , t, t ≤ min (p, q) = rang(Σ12).

Primer 1. Neka su za p = q = 2 dati slu£ajni vektori (2.21) i neka je njihovakovarijansna matrica

Σ =

3 2 −1 3

2 3 1 1

−1 1 6 2

3 1 2 8

(2.86)

Na¢i parove kanoni£kih promenljivih.


Re²enje: U skladu sa podelom (2.37) imamo da je

Σ11 =

[3 2

2 3

], Σ22 =

[6 2

2 8

], Σ12 = ΣT

21 =

[−1 3

1 1

].

Odredimo najpre sopstvene vrednosti matrice (2.56). Odgovaraju¢e inverznematrice kovarijansnih matrica Σ11 i Σ22 su, redom,

Σ−111 =

[0.6 −0.4−0.4 0.6

], Σ−122 =

[0.18181818 −0.04545455−0.04545455 0.13636364

],

dok su inverzne matrice kvadratnih korena kovarijansnih matrica

Σ−1/211 =

[0.7236068 −0.2763932−0.2763932 0.7236068

], Σ

−1/222 =

[0.42247377 −0.05774162−0.05774162 0.36473215

].

Odavde imamo da je

C2 = Σ−1/211 Σ12Σ

−122 Σ21Σ

−1/211 =

[0.8434281 −0.3000000−0.3000000 0.1929356

].

Sopstvene vrednosi matrice C2 su

λ21 = 0.96065795, λ22 = 0.07570569,

a njima odgovaraju¢i sopstveni vektori su

g1 =

[−0.93141280.3639647

]i g2 =

[−0.3639647−0.9314128

].

Otuda sledi da su prva i druga kanoni£ka korelacija, redom,

λ1 = 0.9801316, λ2 = 0.2751467,

a vektori koe�cijenata prvog para linearnih kombinacija su

a1 = Σ−1/211 g1 =

[−0.77457400.5208035

]i b1 =

1

λ1Σ−122 Σ21Σ

−1/211 g1 =

[0.3239096

−0.3109106

].

Dakle, prvi par kanoni£kih promenljivih je

U1 = aT1 X(1) = −0.7745740X(1)

1 + 0.5208035X(1)2 ,

V1 = bT1 X(2) = 0.3239096X

(2)1 − 0.3109106X

(2)2 .

Odredimo i drugi par kanoni£kih promenljivih. Vektori kanoni£kih koe�cijenata


drugog para su

a2 = Σ−1/211 g2 =

[−0.005931159−0.573379237

]i b1 =

1

λ1Σ−122 Σ21Σ

−1/211 g1 =

[−0.2773099−0.1992442

],

pa je traºeni par

U2 = aT2 X(1) = −0.005931159X(1)

1 − 0.573379237X(1)2 ,

V2 = bT2 X(2) = −0.2773099X(2)

1 − 0.1992442X(2)2 .

Do ºeljenog rezultata moºemo do¢i i na osnovu matrice D2 odre�ene sa (2.63). Utom slu£aju, sopstveni vektori matrice D2 koji odgovaraju sopstvenim vrednostimaλ21 i λ

22 su, redom,

h1 =

[−0.66457040.7472257

]i h2 =

[−0.7472257−0.6645704

].

Na osnovu njih nalazimo vektore kanoni£kih koe�cijenata

a1 =1

λ1Σ−111 Σ12Σ

−1/222 h1 =

[0.7745740

−0.5208035

]i b1 = Σ

−1/222 h1 =

[−0.32390960.3109106

],

pomo¢u kojih, dalje, dobijamo prvi par kanoni£kih promenljivih

U1 = aT1 X(1) = 0.7745740X

(1)1 − 0.5208035X

(1)2 ,

V1 = bT1 X(2) = −0.3239096X(2)

1 + 0.3109106X(2)2 ,

£iji je koe�cijent korelacije λ1 = 0.9801316.

S druge strane, vektori kanoni£kih koe�cijenata

a2 =1

λ2Σ−111 Σ12Σ

−1/222 h2 =

[−0.005931159−0.573379237

]i b2 = Σ

−1/222 h2 =

[−0.2773099−0.1992442

]

nas dovode do drugog para kanoni£kih promenljivih

U2 = aT2 X(1) = −0.005931159X(1)

1 − 0.573379237X(1)2 ,

V2 = bT2 X(2) = −0.2773099X(2)

1 − 0.1992442X(2)2 ,

sa koe�cijentom korelacije λ2 = 0.2751467.

Primetimo da na osnovu matrice D2 ne dobijamo iste vrednosti za kanoni£kekoe�cijente prvog para linearnih kombinacija (U1, V1) kao i u slu£aju kori²¢enja ma-trice C2. Me�utim, moºemo uo£iti da se njihove vrednosti razlikuju jedino u znaku.


Sre¢om, znak koe�cijenta u istom vektoru se moºe menjati, bez gubitka op²tosti.Razlog leºi u tome ²to je u osnovi kanoni£ke korelacione analize problem sopstvenihvrednosti i sopstvenih vektora, a znamo da istoj sopstvenoj vrednosti moºe odgova-rati vi²e razli£itih sopstvenih vektora. Tako, sopstvena vrednost λ21 je odgovaraju¢asopstvenom vektoru g1, ali isto tako i vektoru (−1)g1, a sli£no i sopstvena vrednostλ22 je odgovaraju¢a sopstvenim vektorima g2 i (−1)g2. Otuda, ako bismo, na pri-mer, umesto vektora g1 i g2 posmatrali (tako�e normalizovane) vektore (−1)g1 i g2,dobili bi se isti rezultati za obe matrice (kao oni iznad u slu£aju matrice D2). �

Komentar 1. Za nalaºenje kvadratnih korena kovarijansnih matrica, odnosno nji-hovih inverznih matrica, koristili smo spektralnu dekompoziciju pozitivno de�nitnihmatrica (videti [5], (2.4)). Ra£uni su postupno izvedeni u R-u, ²to je ilustrovano udodatku A.

Osvrnimo se ponovo na matrice Mp i Nq. Moºe se pokazati da ako je λ2i sopstvenavrednost matrice Cp koja odgovara sopstvenoj vrednosti gi, tada je λ2i sopstvenavrednost matrice Mp koja odgovara sopstvenoj vrednosti Σ

−1/211 gi = ai. Analogno,

matrice Dq i Nq imaju iste sopstvene vrednosti, pri £emu sopstveni vektori hi iΣ−1/222 hi = bi su odgovaraju¢i istoj sopstvenoj vrednosti λ2i .Matrice Mp i Nq su istih dimenzija kao i Cp i Dq, no ipak se zbog manje zahtev-

nog ra£una, radije za nalaºenje kanoni£kih korelacija £esto koriste karakteristi£nejedna£ine ∣∣Mp − λ2I(p×p)

∣∣ = 0, (2.87)∣∣Nq − λ2I(q×q)∣∣ = 0, (2.88)

i u tom slu£aju se, kako smo videli ispred, vektori kanoni£kih koe�cijenata dobijajudirektno iz jedna£ina

Mpa = λ2a, (2.89)Nqb = λ2b. (2.90)

Mnogi algoritmi kod kompijuterskih izra£unavanja sopstvenih vektora i sopstve-nih vrednosti prihvataju samo simetri£ne matrice. Me�utim, u op²tem slu£aju,matrice Mp i Nq nisu simetri£ne, za razliku od matrica Cp i Dq, koje se ipak lakoodre�uju uz pomo¢ ra£unara. Tako�e, predstavljanje vektora kanoni£kih koe�cije-nata sa ai = Σ

−1/211 gi i bi = Σ

−1/222 hi olak²ava analiti£ke opise, kao i njihove geo-

metrijske interpretacije, zbog £ega data konstrukcija vektora linearnih kombinacijapreko simetri£nih matrica ima svojih odre�enih prednosti.

Primer 2. Za podatke date u primeru 1, odrediti vektore kanoni£kih koe�cijenataa1 i b1, kori²¢enjem matrica M2 i N2.


Re²enje: Sopstvene vrednosti i njima odgovaraju¢i sopstveni vektori matrice

M2 = Σ−111 Σ12Σ−122 Σ21 =

[0.9545455 −0.009090909−0.5909091 0.081818182

]su

λ21 = 0.96065795, λ22 = 0.07570569,

a• =

[0.8298578

−0.5579749

]i a•• =

[0.01034366

0.99994650

].

Vektor kanoni£kih koe�cijenata a1 dobijamo preko vektora a• primenom uslovada je Var(U1) = aT

1 Σ11a1 = 1. Pa, kako je

aT•Σ11a• =

[0.8298578 −0.5579749

] [3 2

2 3

][0.8298578

−0.5579749

]= 1.147841,

to kori²¢enjem da je√1.147841 = 1.071373 dobijamo da je

a1 =1

1.071373a• =

[0.7745740

−0.5208035

].

Dalje, iz uslova da je prvi kanoni£ki koe�cijent jednak korenu sopstvene vrednostiλ21, i uslova da je Var(V1) = bT

1 Σ22b1 = 1, nalazimo da se b1 odre�uje iz relacije

b1 =1

λ1Σ−122 Σ21a1,

pa je

b1 =

[−0.32390960.3109106

].

Sli£no, sopstvene vrednosti matrice

N2 = Σ−122 Σ21Σ−111 Σ12 =

[0.4545455 −0.5272727−0.3636364 0.5818182

]su

λ21 = 0.96065795 , λ22 = 0.07570569.

Sopstvena vrednost λ21 odgovara sopstvenom vektoru

b• =

[0.7214347

−0.6924825

].

U ovom slu£aju, nakon odre�ivanja vektora b1 preko vektora b•, vektor a1 odre�u-


jemo iz relacije

a1 =1

λ1Σ−111 Σ12b1.

Izra£unavanja u R-u, korak po korak, se nalaze u dodatku A. �

Prethodnim primerima smo potvrdili da je potrebno re²iti samo jednu od karak-teristi£nih jedna£ina (2.54) ili (2.55), odnosno (2.87) ili (2.88), kako bi se do²lo dovektora koe�cijenata ai i bi, takvih da je λi = ρuv(ai,bi).

2.4 Standardizovane promenljive

Posmatrajmo skupove promenljivih

Z(1) =

Z

(1)1

Z(1)2...

Z(1)p

, Z(2) =

Z

(2)1

Z(2)2...

Z(2)q

, (2.91)

dobijene standardizovanjem (2.21):

Z(1)i =

X(1)i − µ

(1)i√

Var(X(1)i )

, Z(2)j =

X(2)j − µ

(2)j√

Var(X(2)j )

, i = 1, . . . , p, j = 1, . . . , q. (2.92)

Neka su za slu£ajne vektore iz (2.21) odgovaraju¢e korelacione matrice ρ11 i ρ22,i neka je matrica ρ12 matrica koja sadrºi koe�cijenate korelacije izme�u slu£ajnihpromenljivih X

(1)i i X(2)

j . Tada ove matrice predstavljaju odgovaraju¢e matricekovarijansi za (2.91), tj.

Cov(Z(1)) = ρ11, Cov(Z(2)) = ρ22, Cov(Z

(1),Z(2)) = ρ12 = ρT21. (2.93)

Uz pretpostavku da je p ≤ q, kanoni£ke promenljive izraºene preko standardizovanihvrednosti originalnih promenljivih su oblika

Ui(z) = aTi(z)

Z(1) = gTi ρ−1/211 Z(1), (2.94)

Vi(z) = bTi(z)

Z(2) = hTi ρ−1/222 Z(2), (2.95)

gde su gi i hi normalizovani sopstveni vektori matrica

Ep = ρ−1/211 ρ12ρ

−122 ρ21ρ

−1/211 (2.96)

iFq = ρ

−1/222 ρ21ρ

−111 ρ12ρ

−1/222 , (2.97)


redom, aλ21 ≥ λ22 ≥ . . . ≥ λ2p ≥ 0 (2.98)

odgovaraju¢e sopstvene vrednosti, pri £emu kvadratni koreni λi predstavljaju i-tekanoni£ke korelacije. Dakle, u slu£aju standardizovanih promenljivih dobijamo istevrednosti kanoni£kih korelacija, dok sa druge strane, kanoni£ke promenljive su sadaizraºene preko standardizovanih vrednosti originalnih promenljivih, pa u slu£ajukori²¢enja korelacionih matrica umesto kovarijansnih, imamo druga£ije vektore ka-noni£kih koe�cijenata.

Neka je ai vektor koe�cijenata koji u£estvuje u izgradnji poromenljive Ui i-togkanoni£kog para (Ui, Vi), dobijen kori²¢enjem kovarijansne matrice. Kanoni£ka pro-menljiva Ui je, u tom slu£aju, konstruisana preko vektora X(1), dok je vektor ko-e�cijenata ai(z) i-te kanoni£ke promenljive Ui(z) konstruisane pomo¢u vektora Z(1),jednak

ai(z) = V1/2Σ11

ai, (2.99)

gde je V1/2Σ11

odgovaraju¢a dijagonalna matrica, oblika datog u (2.19). Sli£no,

bi(z) = V1/2Σ22

bi (2.100)

je vektor koe�cijenata i-te kanoni£ke promenljive Vi(z) konstruisane pomo¢u vektoraZ(2).

Navedeni rezultati za vektore (2.91), odnosno za odgovaraju¢e vektore kanoni£-kih koe�cijenata koji sa njima grade kanoni£ke promenljive, su specijalan slu£ajop²tijeg rezultata koji govori o osobini invarijantnosti kanoni£ke korelacije u odnosuna linerane transformacije originalnih vektora promenljivih. Pomenuti op²ti rezultatje opisan slede¢om teoremom:

Teorema 1. Za nesingularne matrice P(p×p),Q(q×q) i vektore skalara p(p×1),q(q×1),neka su X(>1) = PTX(1) + p i X(>2) = QTX(2) + q. Tada vaºi:

1. kanoni£ke korelacije vektora X(>1) i X(>2) su iste kao one izme�u vektora X(1)

i X(2),2. vektori kanoni£kih koe�cijenata za X(>1) i X(>2) su dati sa

a>i = P−1ai, (2.101)

b>i = Q−1bi, (2.102)

gde su ai i bi vektori kanoni£kih koe�cijenata za X(1) i X(2).

Dokaz. Neka je Σ> kovarijansna matrica (p+ q)-dimenzionalnog slu£ajnog vektora

X> =

[X(>1)

X(>2)

].

Tada je

Σ> = Cov(X>) =

[Σ>

11 Σ>12

Σ>21 Σ>

22

],


pri £emu je

Σ>11 = Cov(X(>1)) = PTΣ11P , Σ>

22 = Cov(X(>2)) = QTΣ22Q,

Σ>12 = Cov(X(>1),X(>2)) = PTΣ12Q = Σ>T

21 .

Matrica za X(>1) i X(>2) koja odgovara ranije de�nisanoj matrici Mp je:

M>p =

(PTΣ11P

)−1 (PTΣ12Q

) (QTΣ22Q

)−1 (QTΣ21P

)= P−1Σ−111

(PT)−1

PT︸︷︷︸=I(p×p)

Σ12 QQ−1︸︷︷︸=I(q×q)

Σ−122

(QT)−1

QT︸︷︷︸=I(q×q)

Σ21P

= P−1 Σ−111 Σ12Σ−122 Σ21︸︷︷︸P = P−1 Mp P.

Otuda, ako je ν sopstvena vrednost matrice M>p koja odgovara sopstvenoj vrednosti

m, tada je po de�niciji M>p m = νm, pa je Mp (Pm) = Pνm = ν (Pm). Prema

tome, sopstvene vrednosti matrice M>p su iste kao i sopstvene vrednosti matrice Mp,

pa imamo, dakle, iste kanoni£ke korelacije. Vektori kanoni£kih koe�cijenata se dobi-jaju direktno na osnovu odgovaraju¢ih jedna£ina (2.89) i (2.90) za M>

p kori²¢enjemuslova jedini£nih disperzija koji ostaje nepromenjen:

Var(U>i ) = Var(a>T

i X(>1)) = a>Ti Σ>

11a>i = a>T

i

(PTΣ11P

)a>i = aT

i Σ11ai = 1.

Odavde vidimo da je Pa>i = ai, odakle sledi da je a>

i = P−1ai. Sli£no, polaze¢i odmatrice N>

q , dolazimo do vektora b>i . �

Matri£ne jedna£ine koje odgovaraju (2.92) su

Z(1) = V−1/2Σ11

(X(1) − µ(1)

), Z(2) = V

−1/2Σ22

(X(2) − µ(2)

). (2.103)

U skladu sa oznakama u prethodnoj teoremi, za P = V−1/2Σ11

i Q = V−1/2Σ22

dobijamoda vaºe rezultati (2.99) i (2.100).

Primer 3. Za slu£ajne vektore (2.21) sa kovarijansnom matricom (2.86), odreditikorelacionu matricu, a zatim na osnovu nje na¢i kanoni£ke korelacije i vektore koe-�cijenata kanoni£kih promenljivih.

Re²enje: Na osnovu relacije (2.20) nalazimo da je korelaciona matrica

ρ =

[ρ11 ρ12

ρ21 ρ22

]=

1.0000000 0.6666667 −0.2357023 0.6123724

0.6666667 1.0000000 0.2357023 0.2041241

−0.2357023 0.2357023 1.0000000 0.2886751

0.6123724 0.2041241 0.2886751 1.0000000

. (2.104)


Kako je

ρ−111 =

[1.8 −1.2−1.2 1.8

], ρ−122 =

[1.0909091 −0.3149183−0.3149183 1.0909091

],

ρ−1/211 =

[1.2533237 −0.4787271−0.4787271 1.2533237

], ρ−1/222 =

[1.0332897 −0.1523863−0.1523863 1.0332897

],

to imamo da je

E2 = ρ−1/211 ρ12ρ

−122 ρ21ρ

−1/211 =

[0.8434281 −0.3000000−0.3000000 0.1929356

]= C2,

pa su sopstvene vrednosi matrice E2

λ21 = 0.96065795, λ22 = 0.07570569,

a njima odgovaraju¢i sopstveni vektori su

g1 =

[−0.93141280.3639647

]i g2 =

[−0.3639647−0.9314128

].

Dakle, prva i druga kanoni£ka korelacija su, redom,

λ1 = 0.9801316, λ2 = 0.2751467,

i otuda su vektori koe�cijenata prvog para linearnih kombinacija u ovom slu£aju

a1(z) = ρ−1/211 g1 =

[−1.34160150.9020581

]i b1(z) =

1

λ1ρ−122 ρ21ρ

−1/211 g1 =

[0.7934132

−0.8793880

],

dok su vektori kanoni£kih koe�cijenata drugog para

a2(z) = ρ−1/211 g2 =

[−0.01027307−0.99312197

]i b2(z) =

1

λ2ρ−122 ρ21ρ

−1/211 g2 =

[−0.6792677−0.5635476

].

Sledi da je prvi par kanoni£kih promenljivih sa koe�cijentom korelacijeλ1 = 0.9801316 dat sa

U1(z) = aT1(z)

Z(1) = −1.3416015Z(1)1 + 0.9020581Z

(1)2

V1(z) = bT1(z)

Z(2) = 0.7934132Z(2)1 − 0.8793880Z

(2)2 ,

dok je drugi par kanoni£kih promenljivih

U2(z) = aT2(z)

Z(1) = −0.01027307Z(1)1 − 0.99312197Z

(1)2

V2(z) = bT2(z)

Z(2) = −0.6792677Z(2)1 − 0.5635476Z

(2)2 ,


£iji je koe�cijent korelacije λ2 = 0.2751467 . �

2.5 Interpretacija kanoni£kih promenljivih i kano-

ni£kih korelacija

Ispred smo dali tehni£ku de�niciju kanoni£kih promenljivih i kanoni£kih korela-cija. Sada ¢emo se fokusirati na tuma£enje kanoni£kih promenljivih u cilju odre�i-vanja relativne vaºnosti svake od originalnih promenljivih u kanoni£kim odnosima.Predlaºu se tri na£ina: tuma£enje kanoni£kih koe�cijenata, kanoni£kih optere¢enjai kanoni£kih unakrsnih optere¢enja.

2.5.1 Tradicionalno tuma£enje

Tradicionalan pristup tuma£enja kanoni£kih promenljivih bi se ogledao u analizipredznaka i vrednosti kanoni£kih koe�cijenata koje su dodeljene originalnim promen-ljivama pri gra�enju kanoni£kih parova promenljivih. Originalne promenljive uz kojestoji relativno ve¢i koe�cijent bi ukazivao na to da ta promenljiva vi²e doprinosi svo-joj kanoni£koj promenljivoj, i obrnuto, dok bi suprotni znakovi ukazivali na inverznuvezu, a promenljive sa koe�cijentima istog znaka bi ukazivale na direktnu vezu. Me-�utim, sa ovakvim vidom tuma£enja treba biti vrlo oprezan. Kanoni£ki koe�cijentimogu biti jako nestabilni (variranje me�u uzorcima), pote²ko¢e se mogu javiti i zbogmogu¢e pojave multikolinearnosti, kao i zbog razli£itih ra£unskih procedura.

2.5.2 Kanoni£ka optere¢enja

U interpreataciji kanoni£kih promenljivih nam £esto pomaºe izra£unavanje koe-�cijenata korelacija izme�u originalnih i kanoni£kih promenljivih. Tu spadaju kano-ni£ka optere¢enja (koe�cijenti korelacije strukture) i unakrsna kanoni£ka optere¢e-nja, koja se predlaºu kao alternativa kanoni£kim optere¢enjima. Kanoni£ka optere-¢enja su koe�cijenti korelacije izme�u kanoni£kih promenljivih i njihovih originalnihpromenljivih, dok su kanoni£ka unakrsna optere¢enja koe�cijenti korelacije izme�ukanoni£kih promenljivih i originalnih promenljivih suprotnog skupa. Iako se kano-ni£ka optere¢enja smatraju vaºnijim od kanoni£kih koe�cijenata, treba biti oprezani sa njihovim tuma£enjem. Sa druge strane, iako i unakrsna kanoni£ka optere¢enjapruºaju univarijantnu informaciju, u smislu da ne ukazuju na to kako originalnepromenljive zajedni£ki doprinose analizama, ona pruºaju direktniju meru odnosaizme�u posmatranih skupova promenljivih.


Ozna£imo sa A i B slede¢e matrice :

A =

a11 a12 · · · a1p

a21 a22 · · · a2p...

... . . . ...

ap1 ap2 · · · app

,B =

b11 b12 · · · b1q

b21 b22 · · · b2q...

... . . . ...

bq1 bq2 · · · bqq

. (2.105)

Primetimo da vrste matrice A £ine vektori kanoni£kih koe�cijenata ai, dok vrstematrice B £ine vektori kanoni£kih koe�cijenata bi. Ako ozna£imo sa

U = [U1 U2 · · · Up]T i V = [V1 V2 · · · Vq]T (2.106)

vektore kanoni£kih promenljivih, tada imamo da je

U = AX(1) i V = BX(2). (2.107)

Kao i ranije, pretpostavi¢emo da je p ≤ q, pa nam je otuda od interesa samoprvih p komponenata vektora V.

Primenom osobina kovarijanse i na osnovu £injenice da je Var(Ui) = 1, imamoda je koe�cijent korelacije izme�u promenljivih Ui i X

(1)k , u oznaci ρ

Ui,X(1)k, jednak

ρUi,X

(1)k

=Cov(aT

i X(1), X(1)k )√

Var(X(1)k )

=

k∑j=1

aijCov(X(1)j , X

(1)k )√

Var(X(1)k )

=k∑

j=1

aijCov

X(1)j ,

1√Var(X

(1)k )

X(1)k

. (2.108)

Ako je ρU,X(1) matrica £iji su elementi dati sa (2.108), tada je odgovaraju¢i matri£nizapis

ρU,X(1) = Cov(AX(1),V−1/2Σ11

X(1)) = AΣ11V−1/2Σ11

. (2.109)

Sli£no, za matrice preostala tri para kanoni£kih i originalnih promenljivih dobi-jamo:

ρU,X(2) = Cov(AX(1),V−1/2Σ22

X(2)) = AΣ12V−1/2Σ22

, (2.110)

ρV,X(1) = Cov(BX(2),V−1/2Σ11

X(1)) = BΣ21V−1/2Σ11

, (2.111)

ρV,X(2) = Cov(BX(2),V−1/2Σ22

X(2)) = BΣ22V−1/2Σ22

. (2.112)

Ukoliko pri izra£unavanju koristimo standardizovane promenljive Z(1) i Z(2), tadaimamo da je

U(z) = A(z)Z(1) i V(z) = B(z)Z

(2), (2.113)


gde su U(z) = [U1(z) U2(z) · · · Up(z) ]T i V(z) = [V1(z) V2(z) · · · Vq(z) ]T vektori kano-

ni£kih promenljivih dobijeni preko standardizovanih originalnih promenljivih, i pri£emu smo sa A(z) i B(z) ozna£ili matrice £ije vrste sadrºe vektore koe�cijenata ai(z)

i bi(z) , redom. U tom slu£aju je

ρU(z),Z(1) = A(z)ρ11, ρU(z),Z

(2) = A(z)ρ12,

ρV(z),Z(1) = B(z)ρ21, ρV(z),Z

(2) = B(z)ρ22. (2.114)

Koe�cijenti korelacije koji se pojavljuju u matricama (2.114) imaju iste nume-ri£ke vrednosti kao i koe�cijenti korelacija koji su sadrºani u matricama (2.109)-(2.112). Zaista, kako za kanoni£ke koe�cijente ai(z) i bi(z) vaºe rezultati (2.99) i(2.100), to na osnovu istih i kori²¢enjem veze izme�u kovarijansne i korelacionematrice vektora date u (2.20), imamo da je

ρU,X(1) = AΣ11V−1/2Σ11

= (A

=I(p×p)︷︸︸︷V

1/2Σ11

)(V−1/2Σ11

Σ11V−1/2Σ11

) = A(z)ρ11 = ρU(z),Z(1) ,

(2.115)

a sli£no se dobija i da vaºi

ρU,X(2) = ρU(z),Z(2) , ρV,X(1) = ρV(z),Z

(1) ,ρV,X(2) = ρV(z),Z(2) . (2.116)

Dakle, standardizacija ne uti£e na vrednost kanoni£kih optere¢enja, pa je otudasvejedno koju oznaku za matrice korelacija koristimo.

2.6 Generalizacija nekih drugih koe�cijenata kore-

lacije i indeksi redudantnosti

Neka su korelacione matrice oblika:

ρ11 =

1 ρ

(1)12 · · · ρ

(1)1p

ρ(1)21 1 · · · ρ

(1)2p

...... . . . ...

ρ(1)p1 ρ

(1)p2 · · · 1

, ρ22 =

1 ρ

(2)12 · · · ρ

(2)1q

ρ(2)21 1 · · · ρ

(2)2q

...... . . . ...

ρ(2)q1 ρ

(2)q2 · · · 1

, (2.117)

ρ12 = ρT21 =

ρ11 ρ12 · · · ρ1q

ρ21 ρ22 · · · ρ2q...

... . . . ...

ρp1 ρp2 · · · ρpq

. . (2.118)


Radi kra¢ih zapisa u nastavku, ako uvedemo oznake

σ(1)ij = Cov(X

(1)i , X

(1)j ), σ

(2)ij = Cov(X

(2)i , X

(2)j ), σij = Cov(X

(1)i , X

(2)j ),

gde su, jasno, σ(1)ii = Var(X

(1)i ) , σ

(2)ii = Var(X

(2)i ), matrice kovarijansi posmatrane

ranije dobijaju oblik:

Σ11 =

σ(1)11 σ

(1)12 · · · σ

(1)1p

σ(1)21 σ

(1)22 · · · σ

(1)2p

...... . . . ...

σ(1)p1 σ

(1)p2 · · · σ

(1)pp

, Σ22 =

σ(2)11 σ

(2)12 · · · σ

(2)1q

σ(2)21 σ

(2)22 · · · σ

(2)2q

...... . . . ...

σ(2)q1 σ

(2)q2 · · · σ

(2)qq

, (2.119)

Σ12 = ΣT21 =

σ11 σ12 · · · σ1q

σ21 σ22 · · · σ2q...

... . . . ...

σp1 σp2 · · · σpq

. . (2.120)

Kako smo videli, u kanoni£koj korelacionoj analizi vaºnu ulogu igraju matricekoje smo ispred ozna£ili sa Cp i Dq. Otuda specijalni slu£ajevi koji slede mogupomo¢i u njihovoj interpretaciji.

• Razmotrimo, najpre, slu£aj kada je p = q = 1. Tada se slu£ajni vektori (2.21)svode na jednodimenzionalne promenljive X(1)

1 i X(2)1 , pa za proizvoljne a, b ∈ R\{0}

vaºi:∣∣∣∣∣∣ Cov(aX(1)1 , bX

(2)1 )√

Var(aX(1)1 )

√Var(bX

(2)1 )

∣∣∣∣∣∣ =∣∣∣∣∣∣ abσ11

|a|√σ(1)11 |b|

√σ(2)11

∣∣∣∣∣∣ =∣∣∣∣∣∣ σ11√

σ(1)11

√σ(2)11

∣∣∣∣∣∣ , (2.121)

odakle zaklju£ujemo da je|ρ1| = |ρ11| , (2.122)

gde je ρ1 koe�cijent korelacije izme�u "kanoni£kih promenljivih"

U1 = aX(1)1 i V1 = bX

(2)1 . (2.123)

Dakle, u slu£aju kada se skupovi promenljivih £iju vezu ispitujemo sastoje od pojedne promenljive, imamo da za "kanoni£ku korelaciju"λ1 vaºi:

λ1 = |ρ11| , (2.124)

odnosno, jednaka je apsolutnoj vrednosti koe�cijenta korelacije izme�u promenljivihiz jedno£lanih posmatranih skupova.


S druge strane, u ovom slu£aju se matrice na osnovu kojih odre�ujemo kanoni£kekoe�cijente svode na skalar:

C1 = D1 =σ11σ11

σ(1)11 σ

(2)11

= ρ211. (2.125)

Ako slu£ajni vektori (2.21) sadrºe vi²e od jedne promenljive (p, q > 1) tada¢e prva kanoni£ka korelacija biti ve¢a od apsolutne vrednosti bilo kog elemenatakorelacione matrice ρ12. Zaista, uzmimo vektore α(p×1) i β(q×1) takve da je

α = [0 · · · 0 1 0 · · · 0]T i β = [0 · · · 0 1 0 · · · 0]T , (2.126)

pri £emu se kod vektora α jedinica nalazi na i-tom mestu, dok se kod vektora βnalazi na k-tom. Tada je

αTX(1) =[0 · · · 0 1 0 · · · 0

]

X(1)1...

X(1)i...

X(1)p

= X

(1)i , (2.127)

i analogno βTX(2) = X(2)k , odakle sledi da je

λ1 = maxa,b

Cov(aTX(1),bTX(2))√Var(aTX(1))

√Var(bTX(2))

≥

∣∣∣∣∣ Cov(αTX(1),βTX(2))√Var(αTX(1))

√Var(βTX(2))

∣∣∣∣∣ = |ρik|.(2.128)

• Razmotrimo sada slu£aj kada prvi skup sadrºi p > 1, a drugi skup jednupromenljivu (q = 1). Tada dobijamo:

D1 =Σ21Σ

−111 Σ12

σ(2)11

= R2, (2.129)

gde je Σ12 = ΣT21 p-dimenzionlni vektor kovarijansi izme�u X

(2)1 i X(1). Matrica

Dq se u ovom slu£aju svodi na skalar R2 koji nosi naziv koe�cijent determinacije ide�ni²e se kao kvadrat vi²estrukog koe�cijenta korelacije

ρX

(2)1 (X(1))

def= max

a

Cov(X(2)1 , aTX(1))√

Var(X(2)1 )√Var(aTX(1))

= +

√Σ21Σ

−111 Σ12

σ(2)11

. (2.130)

Za vi²e detalja o ovome videti [5], (7.8).


Iz poslednjeg izraza moºemo uo£iti da je u ovom slu£aju

λ1 = ρX

(2)1 (X(1))

. (2.131)

Analogno, ukoliko prvi skup sadrºi jednu promenljivu (p = 1), dok drugi skup sadºiq > 1 promenljivih, dobijamo da je

λ1 = ρX

(1)1 (X(2))

, (2.132)

dok ako je p, q > 1, tada je

λ1 ≥ ρX

(1)i (X(2))

, ρX

(2)j (X(1))

, i = 1, . . . , p, j = 1, . . . , q. (2.133)

Pretpostavimo, sada, da je 1 < p ≤ q. Tada vaºi da je

ρUi(X(2)) = maxb

Cov(Ui,bTX(2))√

Var(Ui)√

Var(bTX(2))=

Cov(Ui, Vi)√Var(Ui)

√Var(Vi)

= λi, (2.134)

i sli£no

ρVi(X(1)) = maxa

Cov(Vi, aTX(1))√

Var(Vi)√

Var(aTX(1))=

Cov(Vi, Ui)√Var(Vi)

√Var(Ui)

= λi, (2.135)

pri £emu i = 1, . . . , t, t ≤ p. Odavde, na osnovu interpretacije koe�cijenta vi²estrukekorelacije, odnosno koe�cijenta determinacije, imamo da kvadrat i-te kanoni£ke ko-relacije, λ2i , predstavlja udeo totalne varijacije u kanoni£koj promenljivoj Ui koji jeobja²njen pomo¢u promenljivih slu£ajnog vektora X(2), i tako�e, to je udeo totalnevarijacije u kanoni£koj promenljivoj Vi, obja²njen sa X(1). Otuda se λ2i £esto nazivadeljena (zajedni£ka) varijansa izme�u dva skupa promenljivih, a λ21 se uzima kaoukupni pokazatelj korelacije izme�u posmatranih skupova.

Me�utim, veli£ine λ2i tako�e mogu dovesti do pogre²ne interpretacije jer uka-zuju na deo varijanse koju me�u sobom dele linearne kombinacije promenljivih izposmatrana dva skupa, a ne varijansu koja je izdvojena iz svakog od skupova. Sajedne strane, moºe se desiti da kanoni£ke promenljive ne mogu da izdvoje zna£ajnedelove varijanse iz svojih skupova promenljivih, dok sa druge strane me�u njimamoºe postojati jaka kanoni£ka korelacija. Da bismo odredili obja²njenu varijansu,moramo uzeti u obzir ne samo kanoni£ku korelaciju, ve¢ i kanoni£ka optere¢enja.U cilju jasnije interpretacije i prevazilaºenja nesigurnosti u kori²¢enju λ2i , kao meradeljene varijanse predlaºe se tzv. indeks ukupne redundantnosti (Stewart & Love,1968).

De�nisa¢emo najpre individualne indekse redundantnosti za svaku kanoni£kupromenljivu posebno. Nalazimo zbir kvadrata kanoni£kih optere¢enja i delimo ga sa


brojem promenljivih u skupu:

ρUi;X(1) =

p∑k=1

ρ2Ui,X

(1)k

p, (2.136)

ρVi;X(2) =

q∑k=1

ρ2Vi,X

(2)k

q(2.137)

Kvadriranjem svakog kanoni£kog optere¢enja se dobija proporcija deljene varijanseizme�u odgovaraju¢e originalne promenljive i njoj odgovaraju¢e kanoni£ke promen-ljive, pa prosek kvadrata (2.136) pokazuje koliko je ukupne varijanse originalnihpromenljivih prvog skupa obja²njeno kanoni£kom promenljivom Ui. Sli£no, (2.137)predstavlja koli£inu deljene varijanse drugog skupa promenljivih obja²njene sa Vi.Sumiranjem veli£ina iz (2.136) nalazimo proporciju varijanse prvog skupa promen-ljivih obja²njenu kanoni£kim promenljivama ovog skupa, dok zbir veli£ina iz (2.137)daje proporciju varijanse drugog skupa promenljivih obja²njenu kanoni£kim pro-menljivama tog istog skupa.

Indeks redudantnosti kanoni£ke promenljive Ui de�ni²e se sa:

IUi= λ2i ρVi;X(2) (2.138)

i on daje proporciju varijanse drugog skupa promenljivih obja²njene kanoni£kom pro-menljivom Ui. Kona£no, zbir individualnih indekasa (2.138) formira indeks ukupneredudantnosti, koji ukazuje na to u kom stepenu promenljive prvog skupa prekosvojih kanoni£kih promenljivih dobro obja²njavaju varijansu promenljivih drugogskupa.

Analogno prethodnom, indeks redudantnosti kanoni£ke promenljive Vi de�ni²ese sa:

IVi= λ2i ρUi;X(1) (2.139)

a njihova suma daje drugi indeks ukupne redudantnosti i ukazuje u kom stepenupromenljive drugog skupa preko svojih kanoni£kih promenljivih dobro obja²njavajuvarijansu promenljivih prvog skupa.

Glava 3

Uzora£ka kanoni£ka korelacionaanaliza

Da bismo u praksi sproveli analizu kanoni£ke korelacije koristimo uzora£ke ko-varijansne matrice, odnosno uzora£ke korelacione matrice, ukoliko se u analizi vr²iprethodna standardizacija promenljivih. Ranije de�nisane veli£ine u populacionommodelu u uzora£koj korelacionoj analizi "menjamo"njima odgovaraju¢im ocenama.

Pretpostavimo da je izvr²eno n merenja za svaku od promenljivih iz posmatranadva skupa, ²to moºe biti predstavljeno matricom podataka dimenzije n× (p+ q):

X(1)11 · · · X

(1)1k · · · X

(1)1p X

(2)11 · · · X

(2)1l · · · X

(2)1q

... · · · ... · · · ...... · · · ... · · · ...

X(1)j1 · · · X

(1)jk · · · X

(1)jp X

(2)j1 · · · X

(2)jl · · · X

(2)jq

... · · · ... · · · ...... · · · ... · · · ...

X(1)n1 · · · X

(1)nk · · · X

(1)np X

(2)n1 · · · X

(2)nl · · · X

(2)nq

, (3.1)

gde X(1)jk ozna£ava slu£ajnu vrednost j-tog merenja promenljive X(1)

k , a X(2)jl ozna-

£ava slu£ajnu vrednost j-tog merenja promenljive X(2)l , j = 1, . . . , n, k = 1, . . . , p,

l = 1, . . . , q. Matrica (3.1) se zapravo moºe tuma£iti kao polazni skup podataka usituaciji kada na n elemenata neke populacije razmatramo p+ q obeleºja. U skladusa takvim tuma£enjem, kolone u datoj matrici odgovaraju obeleºjima, a vrste izve-denim merenjima, pa se na uobi£ajen na£in de�ni²u statistike:

� uzora£ka sredina:

X(1)

k =1

n

n∑j=1

X(1)jk , k = 1, . . . , p (3.2)

X(2)

l =1

n

n∑j=1

X(2)jl , l = 1, . . . , q (3.3)

34

Uzora£ka kanoni£ka korelaciona analiza 35

� uzora£ka disperzija (varijansa):

S(1)2

k =1

n− 1

n∑j=1

(X

(1)jk −X

(1)

k

)2, k = 1, . . . , p (3.4)

S(2)2

l =1

n− 1

n∑j=1

(X

(2)jl −X

(2)

l

)2, l = 1, . . . , q (3.5)

� uzora£ka kovarijansa:

S(1)k1k2

=1

n− 1

n∑j=1

(X

(1)jk1−X(1)

k1

)(X

(i)jk2−X(i)

k2

), k1, k2 = 1, . . . , p (3.6)

S(2)l1l2

=1

n− 1

n∑j=1

(X

(2)jl1−X(2)

l1

)(X

(i)jl2−X(i)

l2

), l1, l2 = 1, . . . , q (3.7)

Skl =1

n− 1

n∑j=1

(X

(1)jk −X

(1)

k

)(X

(2)jl −X

(2)

l

), k = 1, . . . , p, l = 1, . . . , q (3.8)

Jasno, S(1)kk = S

(1)2

k i S(2)ll = S

(2)2

l , dok S(1)k i S(2)

l predstavljaju uzora£ke standardnedevijacije za obeleºja X(1)

k i X(2)l , redom.

� uzora£ki koe�cijent korelacije:

R(1)k1k2

=S(1)k1k2

S(1)k1S(1)k2

, R(1)kk = 1, k, k1, k2 = 1, . . . , p (3.9)

R(2)l1l2

=S(2)l1l2

S(2)l1S(2)l2

, R(2)ll = 1, l, l1, l2 = 1, . . . , q (3.10)

Rkl =Skl

S(1)k S

(2)l

, k = 1, . . . , p, l = 1, . . . , q (3.11)

Neka je X(i)j = [X

(i)j1 · · · X

(i)jk · · · X

(i)jp ]

T slu£ajni vektor koji odgovara j-tom me-renju sprovedenom na promenljivama iz prvog skupa. Tada se (3.1) moºe predstavitikao

X =[X(1) X(2)

]=

X

(1)T

1 X(2)T

1

X(1)T

2 X(2)T

2...

...

X(1)T

n X(2)T

n

=

XT

1

XT2...

XTn

, (3.12)


gde su, sada, X(1) i X(2) matrice dimeznija n× p i n× q, redom. Koristimo u ovomtrenutku istu oznaku za ove slu£ajne matrice kao u (2.21) za slu£ajne vektore, bezopasnosti od zabune. U nastavku ¢e biti napomenuto kada se oznaka odnosi navi²edimenzionalnu promenljivu (slu£ajan vektor), a ukoliko to nije nagla²eno, bi¢elako uo£iti iz samih izraza.

Za podatke (3.12) se moºe de�nisati vektor uzora£kih sredina:

X =

X(1)

1...

X(1)

p

X(2)

1...

X(2)

q

=

[X

(1)

X(2)

]=

1

n

n∑j=1

X(1)j

1

n

n∑j=1

X(2)j

, (3.13)

a dalje, de�ni²u¢i uzora£ke kovarijansne matrice sa:

S11 = [S(1)k1k2

] =1

n− 1

n∑j=1

(X

(1)j −X

(1))(

X(1)j −X

(1))T

, (3.14)

S22 = [S(2)l1l2

] =1

n− 1

n∑j=1

(X

(2)j −X

(2))(

X(2)j −X

(2))T

, (3.15)

S12 = [Skl] =1

n− 1

n∑j=1

(X

(1)j −X

(1))(

X(2)j −X

(2))T

, (3.16)

pri £emu vaºi da jeS12 = ST

21, (3.17)

uzora£ka kovarijansna matrica za (3.12) moºe biti prikazana kao

S =

[S11 S12

S21 S22

]. (3.18)

Na kraju, uzora£ku korelacionu matricu koja odgovara podacima (3.12) ozna£a-vamo sa R i predstavljamo pomo¢u blok matrice:

R =

[R11 R12

R21 R22

], (3.19)

pri £emu je R11 = [R(1)k1k2

], R22 = [R(2)l1l2

] i R12 = [Rkl] = RT21.


3.1 Uzora£ke kanoni£ke promenljive i uzora£ke ka-

noni£ke korelacije

Posmatrajmo linearnu kombinaciju

U = aTX(1) = a1X(1)1 + a2X

(1)2 + · · ·+ apX

(1)p , (3.20)

kojoj na j-tom posmatranju odgovaraju¢a linearna kombinacija je

aTX(1)j = a1X

(1)j1 + a2X

(1)j2 + · · ·+ apX

(1)jp , j = 1, . . . , n. (3.21)

Tada, za izvedena posmatranja (3.21), uzora£ka sredina je jednaka

1

n

n∑j=1

aTX(1)j = aTX

(1), (3.22)

a kako je (aTX

(1)j − aTX

(1))2

=(aT(X

(1)j −X

(1)))2

= aT(X

(1)j −X

(1))(

X(1)j −X

(1))T

a, (3.23)

dobija se da je uzora£ka disperzija za (3.20) jednaka

aTS11a. (3.24)

Sli£no, za linearnu kombinaciju

V = bTX(2) = b1X(2)1 + b2X

(2)2 + · · ·+ bqX

(2)q , (3.25)

£ija je odgovaraju¢a linearna kombinacija j-tog posmatranja data sa

bTX(2)j = b1X

(2)j1 + b2X

(2)j2 + · · ·+ bqX

(2)jq , j = 1, . . . , n, (3.26)

uzora£ka sredina je

bTX(2), (3.27)

dok je uzora£ka disperzijabTS22b. (3.28)

Tako�e, moºe se odrediti i uzora£ka kovarijansa za (3.20) i (3.25), koja je u tomslu£aju jednaka

1

n− 1

n∑j=1

(aTX

(1)j − aTX

(1))(

bTX(2)j − bTX

(2))= aTS12b. (3.29)


Na osnovu prethodnih rezultata, imamo da je uzora£ka korelacija za (3.20) i(3.25) odre�ena sa

ρuv =Cov(U, V )√

Var(U)

√Var(V )

=aTS12b√

aTS11a√

bTS22b. (3.30)

Po analogiji sa de�nicijom 1 iz dela 2.2 imamo slede¢u de�niciju:

De�nicija 2. Prvi par uzora£kih kanoni£kih promenljivih je par linearnih kombina-cija

U1 = aT1 X(1) i V1 = bT

1 X(2)

koje imaju jedini£nu uzora£ku disperziju i maksimiziraju koe�cijent (3.30).Drugi par uzora£kih kanoni£kih promenljivih je par linearnih kombinacija

U2 = aT2 X(1) i V2 = bT

2 X(2)

koje imaju jedini£nu uzora£ku disperziju i maksimiziraju koe�cijent (3.30) me�u svimmogu¢im linearnim kombinacijama koje su nekorelirane sa prvim parom uzora£kihkanoni£kih promenljivih.

...

i-ti par uzora£kih kanoni£kih promenljivih je par linearnih kombinacija

Ui = aTi X(1) i Vi = bT

i X(2)

koje imaju jedini£nu uzora£ku disperziju, maksimiziraju koe�cijent (3.30) i za kojevaºi da su nekorelirani sa parovima uzora£kih kanoni£kih promenljivih

(U1, V1), . . . , (Ui−1, Vi−1) .

Uzora£ka korelacija izme�u promenljivih i-tog uzora£kog kanoni£kog para se nazivai-ta uzora£ka kanoni£ka korelacija. Uzora£ke vektore koe�cijenata linearnih kombi-nacija ai i bi zovemo vektorima uzora£kih kanoni£kih koe�cijenata.

Vektore uzora£kih kanoni£kih koe�cijenata konstrui²emo analogno opisanoj kon-strukciji u slu£aju populacionih vektora koe�cijenata linearnih kombinacija. Otuda,i-ti par uzora£kih kanoni£kih promenljivih je dat sa

Ui = gTi S−1/211︸︷︷︸

=aTi

x(1), Vi = hTi S−1/222︸︷︷︸

=bTi

x(2), (3.31)

pri £emu:

∗ x(1) i x(2) su vrednosti promenljivih X(1) i X(2) za odgovaraju¢e posmatranje,

∗ gi je sopstveni vektor matrice S−1/211 S12S

−1/222 S21S

−1/211 ,


∗ hi je sopstveni vektor matrice S−1/222 S21S

−1/211 S12S

−1/222 ,

∗ uz pretpostavku da je rang(S12) = p ≤ q, λ21 ≥ λ22 ≥ · · · ≥ λ2p su, redom, odgo-varaju¢e sopstvene vrednosti sopstvenim vektorima g1, g2, . . . , gp , a istovremeno suto i sopstvene vrednosti odgovaraju¢e sopstvenim vektorima h1, h2, . . . , hp, redom,

∗ vaºe relacijegi =

1

λiS−111 S12S

−1/222 hi, i = 1, . . . , p, (3.32)

hi =1

λiS−122 S21S

−1/211 gi, i = 1, . . . , p, (3.33)

∗ i-ta uzora£ka kanoni£ka korelacija koja odgovara i-tom kanoni£kom paru (Ui, Vi)je

λi = ρuv(ai, bi) = aiTS12bi (3.34)

Ako pretpostavimo da je X1,X2, . . . ,Xn iid (independent identically distributed)slu£ajni uzorak iz (p + q)− dimenzionalne normalne raspodele sa sredinom (2.36)i kovarijansnom matricom (2.37) , tada umesto matrice (3.18) moºemo posmatratimatricu

Σ =

[Σ11 Σ12

Σ21 Σ22

], (3.35)

koja predstavlja ocenu maksimalne verodostojnosti za (2.37), i pri £emu je

Σ11 =1

n

n∑j=1

(X

(1)j −X

(1))(

X(1)j −X

(1))T

, (3.36)

Σ22 =1

n

n∑j=1

(X

(2)j −X

(2))(

X(2)j −X

(2))T

, (3.37)

Σ12 =1

n

n∑j=1

(X

(1)j −X

(1))(

X(2)j −X

(2))T

= ΣT21. (3.38)

3.2 Matrice uzora£kih kanoni£kih optere¢enja

Neka su, na osnovu slu£ajnog uzorka X1,X2, . . . ,Xn iz zajedni£ke raspodele sasredinom µ i kovarijansnom matricom Σ formirane matrice A i B koje predstavljajuocene matrica datih u (2.105). Vrste matrice A £ine vektori uzora£kih kanoni£kihkoe�cijenata ai, dok vrste matrice B £ine vektori uzora£kih kanoni£kih koe�cijenata


bi:

A =

a11 a12 · · · a1p

a21 a22 · · · a2p...

... . . . ...

ap1 ap2 · · · app

, B =

b11 b12 · · · b1q

b21 b22 · · · b2q...

... . . . ...

bq1 bq2 · · · bqq

. (3.39)

Ako pretpostavimo da je p ≤ q, od vaºnosti nam je samo prvih p vrsta matrice B.Analogno ranijim rezultatima datih za populacione modele, imamo da je

U = Ax(1), V = Bx(2), (3.40)

RU,x(1) = AS11V−1/2S11

, RU,x(2) = AS12V−1/2S22

, (3.41)

RV,x(1) = BS21V−1/2S11

, RV,x(2) = BS22V−1/2S22

. (3.42)

U slu£aju standardizovanih podataka

Z =[Z(1) Z(2)

]=

Z

(1)T

1 Z(2)T

1

Z(1)T

2 Z(2)T

2...

...

Z(1)T

n Z(2)T

n

=

ZT

1

ZT2...

ZTn

, (3.43)

gde jeZ

(1)j = V

−1/2S11

(X

(1)j − µ(1)

), Z

(2)j = V

−1/2S22

(X

(2)j − µ(2)

), (3.44)

imamo da je

U(z) = A(z)z(1) = AV

1/2S11

z(1) i V(z) = B(z)z(2) = BV

1/2S22

z(2), (3.45)

pri £emu su z(1) i z(2) vrednosti promenljivih Z(1) i Z(2) za odgovaraju¢e posmatranje.

Kako je

RU,x(1) = AS11V−1/2S11

= (AV1/2S11

)(V−1/2S11

S11V−1/2S11

) = A(z)R11 = RU(z),z(1) , (3.46)

i sli£noRU,x(2) = RU(z),z

(2) , RV,x(1) = RV(z),z(1) , RV,x(2) = RV(z),z

(2) , (3.47)

to zaklju£ujemo da standardizacija ne uti£e na vrednosti uzora£kih kanoni£kih ko-relacija.


3.3 Dodatna merenja

Skupove promenljivih za koje se utvr�uje postojanje veze i ja£ina povezanosti,reprezentuju kanoni£ke promenljive, pa je otuda jasno da nas zanima u kojoj merione jesu dobri reprezentatori. Ukoliko one dobro reprezentuju svaka svoj skup,me�usobna povezanost ovih skupova se moºe izu£avati sa ve¢om pouzdano²¢u.

3.3.1 Matrice gre²ke aproksimacije

Pretpostavimo da je r ≤ p ≤ q. Najpre, na osnovu (3.40) dobijamo da je

x(1) = A−1U i x(2) = B−1V. (3.48)

Primetimo, dalje, da jeCov(U) = AS11A

T = Ip×p, (3.49)

odakle sledi

S11 = A−1(AT )−1 = A−1(A−1)T , (3.50)

pa ukoliko stavimo da je

A−1 =

α11 α12 · · · α1p

α21 α22 · · · α2p

...... . . . ...

αp1 αp2 · · · αpp

, (3.51)

tada na osnovu (3.50) moºemo pisati

S11 =

p∑j=1

αjαTj , (3.52)

gde smo sa αj ozna£ili j-tu kolonu matrice A−1.

Sli£no, kako je Cov(V) = BS22BT = Iq×q, sledi da je

S22 = B−1(B−1)T =

q∑j=1

βjβTj , (3.53)

gde je βj j-ta kolona matrice B−1.


Tako�e, vaºi rezultat

Cov(U, V) = AS12BT =

λ1 0 · · · 0 0 · · · 0

0 λ2 · · · 0 0 · · · 0...

... . . . ......

......

0 0 · · · λp 0 · · · 0

= λuv, (3.54)

pa se uzora£ka kovarijansna matrica S12 moºe predstaviti kao

S12 = A−1λuv(B−1)T =

p∑j=1

λjαjβTj . (3.55)

Ukoliko u analizi koristimo prvih r uzora£kih parova kanoni£kih promenljivih, tona osnovu (3.48) imamo da je

x(1) =

α11 α12 · · · α1r

α21 α22 · · · α2r

...... . . . ...

αp1 αp2 · · · αpr

U1

U2

...

Ur

i x(2) =

β11 β12 · · · β1r

β21 β22 · · · β2r...

... . . . ...

βq1 βq2 · · · βqr

V1

V2...

Vr

. (3.56)

U tom slu£aju, uzora£ka kovarijansna matrica S12 je aproksimirana sa Cov(x(1), x(2)),dok su uzora£ke kovarijansne matrice Sii aproksimirane sa Cov(x(i)).

Odgovaraju¢e matrice gre²ke aproksimacije su:

� S11 −r∑

j=1

αjαTj = αr+1α

Tr+1 + · · ·+ αpα

Tp (3.57)

� S22 −r∑

j=1

βjβTj = βr+1β

Tr+1 + · · ·+ βqβ

Tq (3.58)

� S12 −r∑

j=1

λjαjβTj = λr+1αr+1β

Tr+1 + · · ·+ λpαpβ

Tp (3.59)

i one pokazuju u kojoj meri prvih r uzora£kih kanoni£kih promenljivih uspe²no repro-dukuju uzora£ke kovarijacione matrice. Zbog samog na£ina konstrukcije kanoni£kihpromenljivih, parovi uzora£kih kanoni£kih promenljivih (U1, V1), . . . , (Ur, Vr), boljereprodukuju elemente matrice S12 = ST

21 , nego elemente matrica S11 i S22. Razlogleºi u tome ²to je, kako vidimo iz (3.59), tu posmatrana matrica gre²ke direktnopovezana sa poslednjih p − r uzora£kih koe�cijenata korelacije koji obi£no imaju


vrednost jako blisku nuli i za koje vaºi, sad ve¢ dobro poznata relacija

λ1 ≥ · · · ≥ λr ≥ λr+1 · · · ≥ λp, (3.60)

dok s druge strane, matrice gre²ke aproksimacije date u (3.57) i (3.58) zavise samood vektora koe�cijenata, £iji elementi mogu imati i jako velike vrednosti.

Ako u analizi polazimo od standardizovanih podataka, u prethodnim izvo�enjimase uzora£ke kovarijansne matrice zamenjuju odgovaraju¢im uzora£kim korelacionimmatricama.

3.3.2 Proporcija obja²njene uzora£ke varijanse

Kovarijansne matrice nam pruºaju informacije o varijansama i kovarijansama zaskupove £iju vezu ispitujemo. Uzora£ka kovarijaciona matrica S11 sadrºi p uzora£-kih varijansi i p(p−1)

2potencijalno razli£itih uzora£kih kovarijansi, dok S22 sadrºi q

uzora£kih varijansi i q(q−1)2

potencijalno razli£itih uzora£kih kovarijansi. Me�utim,ukoliko ºelimo da za svaki od skupova promenljivih iskaºemo stepen varijabilitetana osnovu jednog broja, u tom cilju se koristi tzv. generalizovana uzora£ka vari-jansa. Ona moºe biti de�nisana kao determinanta odgovaraju¢e uzora£ke kovari-jacione matrice, odnosno korelacione u slu£aju standardizovanih podataka, ili kaosuma dijagonalnih elemenenata ovih matrica. Mi ¢emo u nastavku koristiti drugude�niciju, po kojoj su, dakle, generalizovane uzora£ke varijanse za posmatrana dvaskupa podataka, redom, odre�ene sa :

� trag(S11) = S(1)2

1 + S(1)2

2 + · · ·+ S(1)2

p (3.61)

� trag(S22) = S(2)2

1 + S(2)2

2 + · · ·+ S(2)2

q (3.62)

i u tom slu£aju govorimo o tzv. totalnim uzora£kim varijansama.

Pretpostavimo da su originalne promenljive standardizovane. Tada polazimood podataka (3.43) £ija je uzora£ka kovarijansna matrica data sa (3.19). Kako sudijagonalni elementi korelacionih matrica jednaki jedinici, vaºi:

� trag(R11) = p (3.63)� trag(R22) = q (3.64)

Vrste matrice A(z) £ine vektori uzora£kih kanoni£kih koe�cijenata ai(z) , dok vrstematrice B(z) £ine vektori uzora£kih kanoni£kih koe�cijenata bi(z) . Najpre, na osnovu(3.45) dobijamo da je

z(1) = A−1(z)U(z) i z(2) = B−1(z)V(z), (3.65)

a dalje, kako jeCov(z(1)) = Cov(U(z)) = Ip×p, (3.66)


Cov(z(2)) = Cov(V(z)) = Iq×q, (3.67)

to nalazimo da je

R11 = A−1(z)(A−1(z))

T , R22 = B−1(z)(B−1(z))

T , (3.68)

RU(z),z(1) = Cov(z(1), U(z)) = A−1(z), (3.69)

RV(z),z(2) = Cov(z(2), V(z)) = B−1(z). (3.70)

Stavimo da je

A−1(z) =

α11(z) α12(z) · · · α1p(z)

α21(z) α22(z) · · · α2p(z)...

... . . . ...

αp1(z) αp2(z) · · · αpp(z)

=[α1(z) , α2(z) , . . . , αp(z)

](3.71)

i

B−1(z) =

β11(z) β12(z) · · · β1q(z)β21(z) β22(z) · · · β2q(z)...

... . . . ...

βq1(z) βq2(z) · · · βqq(z)

=[β1(z) , β2(z) , . . . , βp(z)

]. (3.72)

Tada , na osnovu (3.69) i (3.70) vaºi da je

αkj(z) = RUj(z)

,z(1)k, βkj(z) = R

Vj(z),z

(2)k, (3.73)

a kako standardizacija ne uti£e na vrednosti uzora£kih kanoni£kih korelacija, to su,dakle, elementi matrice A−1(z) uzora£ki koe�cijenti korelacije izme�u elemenata vek-

tora uzora£kih kanoni£kih promenljivih Uj i promenljivih iz prvog skupa promen-ljivih, a elementi matrice B−1(z) su uzora£ki koe�cijenti korelacije izme�u elemenata

vektora uzora£kih kanoni£kih promenljivih Vj i promenljivih iz drugog skupa. S

druge strane, na osnovu (3.63), (3.64) i (3.68) imamo da je

trag(R11) = trag

(p∑

j=1

αj(z)αTj(z)

)= p, (3.74)

²to zna£i da je totalna standarzdizovana uzora£ka varijansa prvog skupa promenljivihjednaka broju promenljivih sadrºanih u tom skupu, i sli£no, totalna standarzdizo-vana uzora£ka varijansa drugog skupa promenljivih jednaka je broju promenljivih iz


tog skupa, odnosno:

trag(R22) = trag

(q∑

j=1

βj(z)βTj(z)

)= q. (3.75)

Neka je 1 ≤ r ≤ p ≤ q, i posmatrajmo prvih r kolona matrica (3.71) i (3.72). Iz(3.73) vidimo da su elementi ovih kolona

RUj(z)

,z(1)k

i RVj(z)

,z(1)k, 1 ≤ j ≤ r, (3.76)

pa kako se uzora£ke kanoni£ke korelacije u prvih r kolona matrica A−1(z) i B−1(z) odnose

samo na prvih r parova uzora£kih kanoni£kih promenljivih (U1, V1), . . . , (Ur, Vr),de�ni²emo:

• doprinos prvih r kanoni£kih promenljivih U1, . . . , Ur totalnoj standardizovanojuzora£koj varijansi prvog skupa promenljivih sa

trag

(r∑

j=1

αj(z)αTj(z)

)=

p∑k=1

r∑j=1

R2

Uj(z),z

(1)k

(3.77)

• doprinos prvih r kanoni£kih promenljivih V1, . . . , Vr totalnoj standardizovanojuzora£koj varijansi drugog skupa promenljivih sa

trag

(r∑

j=1

βj(z)βTj(z)

)=

q∑k=1

r∑j=1

R2

Vj(z),z

(2)k

(3.78)

Stavljanjem u odnos veli£ina iz izraza (3.77) i (3.74) dobijamo proporciju totalnestandardizovane uzora£ke varijanse prvog skupa promenljivih obja²njene sa prvih ruzora£kih kanoni£kih promenljivih:

R2z(1);U1,...,Ur

=

trag

(r∑

j=1

αj(z)αTj(z)

)

trag

(p∑

j=1

αj(z)αTj(z)

) =

p∑k=1

r∑j=1

R2

Uj(z),z

(1)k

p, (3.79)

dok se proporcija totalne standardizovane uzora£ke varijanse drugog skupa promen-ljivih obja²njene sa prvih r uzora£kih kanoni£kih promenljivih dobija stavljanjem uodnos veli£ina iz izraza (3.78) i (3.75):

R2z(2);V1,...,Vr

=

trag

(r∑

j=1

βj(z)βTj(z)

)

trag

(q∑

j=1

βj(z)βTj(z)

) =

q∑k=1

r∑j=1

R2

Vj(z),z

(2)k

q. (3.80)


Veli£ine (3.79) i (3.80) nam ukazuju na to u kojoj meri uzora£ke kanoni£ke pro-menljive dobro predstavljaju svoje skupove. Primetimo da ih, na osnovu linearnostitraga matrica, moºemo izraziti i preko odgovaraju¢ih matrica gre²aka na slede¢ina£in:

R2z(1);U1,...,Ur

= 1−trag

(R11 −

(r∑

j=1

αj(z)αTj(z)

))p

, (3.81)

R2z(2);V1,...,Vr

= 1−trag

(R22 −

(r∑

j=1

βj(z)βTj(z)

))q

. (3.82)

3.4 Svojstva i testovi kod velikih uzoraka

U op²tem slu£aju, iz nezavisnosti slu£ajnih vektora (2.21) bi sledilo da je

Σ12 = 0 . (3.83)

Tada bi za sve vektore a i b vaºilo da je aTΣ12b = 0 , ²to zna£i da poslednji uslov(3.83) implicira da sve kanoni£ke korelacije moraju biti jednake nuli, pa ne bi bilosmisla izvoditi kanoni£ku korelacionu analizu. U slu£aju pretpostavke o normalnostiraspodele vektora (2.35), tj. ako pretpostavimo da (2.21) imaju vi²edimenzionalnenormalne raspodele:

X(1) ∼ Np(µ(1),Σ11), X(2) ∼ Nq(µ

(2),Σ22), (3.84)

nezavisnost skupova promenljivih koje predstavljamo slu£ajnim vektorima X(1) iX(2) ekvivalentna je uslovu (3.83). Slede¢i rezultat pruºa teorijsku osnovu za te-stiranje (kod velikih uzoraka) nulte hipoteze H0 : Σ12 = 0 protiv alternativneH1 : Σ12 6= 0 , ²to je , kako smo videli ispred, ekvivalentno sa testiranjem

H0 : λ1 = λ2 = · · · = λp = 0 protiv H1 : λi 6= 0, za (bar) neko i , (3.85)

pri £emu, kao i obi£no, pretpostavljamo da je p ≤ q .


Teorema 2. Neka je X1,X2, . . . ,Xn slu£ajni uzorak iz populacije sa raspodelomNp+q(µ,Σ) , gde su slu£ajni vektori Xj dati sa

Xj =

[X

(1)j

X(2)j

]=

X(1)j1...

X(1)jp

X(2)j1...

X(2)jq

, j = 1, 2, . . . , n, (3.86)

i pri £emu je

µ = E(Xj) =

[E(X

(1)j )

E(X(2)j )

]=

[µ(1)

µ(2)

], (3.87)

Σ = Cov(Xj) =

[Cov(X

(1)j ) Cov(X

(1)j ,X

(2)j )

Cov(X(2)j ,X

(1)j ) Cov(X

(2)j )

]=

[Σ11 Σ12

Σ21 Σ22

]. (3.88)

Tada, test koli£nika verodostojnosti za H0 : Σ12 = 0 protiv H1 : Σ12 6= 0 odbijanultu hipotezu za velike vrednosti statistike

−2 ln (Λ) = n ln

(|Σ11| |Σ22||Σ|

)= −n

p∑i=1

ln (1− λ2i ), (3.89)

gde je

Σ =

[Σ11 Σ12

Σ21 Σ22

](3.90)

ocena maksimalne verodostojnosti za Σ. Pritom, za veliko n, test statistika (3.89)je pribliºno raspodeljena kao χ2 slu£ajna promenljiva sa pq stepeni slobode.

Dokaz. Ukoliko vaºi nulta hipoteza, tada ΣT21 = Σ12 = 0, pa ocena maksimalne

verodostojnosti za Σ postaje

Σ0 =

[Σ11 0

0T Σ22

]. (3.91)

S druge strane, ukoliko vaºi alternativna hipoteza, ocena maksimalne verodostoj-nosti za Σ je data sa (3.90). Odatle, na osnovu osobina matri£nog ra£una, imamoda je

|Σ| = |Σ22| |Σ11 − Σ12Σ−122 Σ21| = |Σ22| |Σ11| |Ip×p − Σ−111 Σ12Σ

−122 Σ21|, (3.92)


i dalje dobijamo

−2 ln (Λ) = n ln

(|Σ11| |Σ22||Σ|

)= n ln

(1

|Ip×p − Σ−111 Σ12Σ−122 Σ21|

)= n

[ln (1)− ln

(|Ip×p − Σ−111 Σ12Σ

−122 Σ21|

)]= −n ln

(|Ip×p − Σ−111 Σ12Σ

−122 Σ21|

)= −n ln

(|Σ−1/211 Σ

1/211 − Σ

−1/211 Σ

−1/211 Σ12Σ

−122 Σ21|

)= −n ln

(|Σ1/2

11 | |Σ−1/211 Σ

1/211 − Σ

−1/211 Σ

−1/211 Σ12Σ

−122 Σ21| |Σ−1/211 |

)= −n ln

(|Ip×p − Σ

−1/211 Σ12Σ

−122 Σ21Σ

−1/211 |

). (3.93)

U poslednjem izrazu, vrednost determinante matrice je jednaka proizvodu njenihsopstvenih vrednosti. Sopstvene vrednosti matrice Σ

−1/211 Σ12Σ

−122 Σ21Σ

−1/211 su uzo-

ra£ke kanoni£ke korelacije λ21 ≥ λ22 ≥ · · · ≥ λ2p, pa su otuda sopstvene vrednostimatrice iz izraza (3.93) jednake

1− λ21 , 1− λ22 , · · · , 1− λ2p. (3.94)

Sledi da je

−2 ln (Λ) = −n ln

(p∏

i=1

(1− λ21)

)= −n

p∑i=1

ln (1− λ2i ), (3.95)

²to je i trebalo pokazati. �

Kao ²to moºemo videti, centalno mesto u naj£e²¢e kori²¢enom i najpoznatijemstatisti£kom postupku za odre�ivanje zna£ajnosti kanoni£kih koe�cijenata datomiznad, zauzima statistika

Λ2/n =|Σ||Σ0|

, (3.96)

poznata pod nazivom Wilks-ova lambda.

Bartlett(1939) je predloºio modi�kaciju test statistike (3.89) :

−(n− 1

2(p+ q + 3)

) p∑i=1

ln (1− λ2i ) ∼ χ2pq, (3.97)

£ime se pobolj²ava aproksimacija χ2 raspodele. Za dati nivo zna£ajnosti α imamoda je

P{−(n− 0.5(p+ q + 3))

p∑i=1

ln (1− λ2i ) ≤ χ2pq(α)} ≈ 1− α, (3.98)

gde je χ2pq(α) gornji (1−α)100% percentil χ2 raspodele sa pq stepeni slobode. Drugim


re£ima, ako je realizovana vrednost test statistike (3.97) ve¢a od χ2pq(α), odbacujemo

hipotezu H0 iz (3.85). Ukoliko se to desi, prirodno se teºi ispitivanju zna£ajnostipojedina£nih kanoni£kih korelacija. Kako vaºi da je

λ1 ≥ λ2 ≥ · · · ≥ λp ≥ 0, (3.99)

to moºemo pretpostaviti da je prva kanoni£ka korelacija razli£ita od nule, dok suostale jednake nuli. U slu£aju odbacivanja i ove hipoteze dalje pretpostavljamo dasu prve dve kanoni£ke korelacije razli£ite od nule, dok su ostale p− 2 jednake nuli,itd., ²to nas dovodi do niza hipoteza

H(k)0 : λ1 6= 0, . . . , λk 6= 0, λk+1 = 0, . . . , λp = 0, (3.100)

H(k)1 : λi 6= 0, za neko i ≥ k + 1. (3.101)

Za testiranje hipoteze da je samo k populacionih kanoni£kih korelacija razli£ito odnule Bartlett (1939) predlaºe test statistiku

−(n− 1

2(p+ q + 3)

) p∑i=k+1

ln (1− λ2i ), (3.102)

koja asimptotski ima χ2 raspodelu sa (p − k)(q − k) stepeni slobode. Potrebnoje napomenuti da, ukoliko se nulte hipoteze H0 , H

(1)0 , H

(2)0 , itd. testiraju jedna za

drugom sve dok ne odbacimo H(k)0 , za neko k , uzastopna testiranja nisu statisti£ki

nezavisna, ukupan nivo zna£ajnosti nije α i jako ga je te²ko odrediti.

Kao ²to je to slu£aj sa svim statisti£kim tehnikama, u istraºivanju se zadrºavajui istpretiraju samo statisti£ki zna£ajne kanoni£ke promenljive. Upotrebe kriterijumaza odlu£ivanje koje kanoni£ke promenljive treba tuma£iti uslovljena je samom pri-rodom istraºiva£kog problema. Pored veli£ine kanoni£kog koe�cijenta i testiranjazna£ajnosti kanoni£kih koe�cijenata, kao pomo¢ u tuma£enju rezultata kanoni£kekorelacione analize, uvodi se i analiza redundantnosti. Kao i u slu£aju kanoni£kihkorelacija, ne postoji op²te prihva¢ena minimalna vrednost indeksa redundantnostikoja bi opravdala interpretaciju kanoni£kih promenljivih, ve¢ istraºiva£ sam trebada proceni da li je li je ovaj koe�cijent dovoljan za opravdanje interpretacije.

Glava 4

Primena

4.1 Primer

(izvor :[11]) Utvr�ivana je povezanost izme�u izvr²nih funkcija i vidno-motori£kihsposobnosti kod dece sa intelektualnim pote²ko¢ama, uzrasta od 7 do 15 godina. Is-traºivanje je sprovedeno na uzorku od 90 u£enika. S jedne strane imamo originalanskup promenljivih vidno-motori£kih sposobnosti, X(1):

X(1) =

X

(1)1

X(1)2

X(1)3

X(1)4

=

Purdue Pegboard - dominantna ruka

Purdue Pegboard - nedominantna ruka

Acadia vidno-motori£ka koordinacija

Acadia vidno-motori£ka integracija

i sa druge originalan skup promenljivih izvr²nih funkcija, X(2):

X(2) =

X(2)1

X2)2

X(2)3

X(2)4

X(2)5

X(2)6

X(2)7

X(2)8

=

Inhibicija pona²anja

Fleksibilnost paºnje

Emotivna kontrola

Iniciranje aktivnosti

Radno pam¢enje

Planiranje

Organizacija materijala

Monitoring izvedbe

Kanoni£kom korelacionom analizom je utvr�eno da postoji statisti£ki zna£ajna

povezanost izme�u posmatranih skupova promenljivih X(1) i X(2). Deo rezultataanalize je dat u tabeli (4.1).

Broj dobijenih kanoni£kih promenljivih jednak je broju promenljivih u manjemskupu. Dobijeno je da one izdvajaju 100% varijanse iz skupa vidno-motori£kih spo-

50

Primena 51

sobnosti i oko 78% varijanse iz skupa izvr²nih funkcija. Dobijene mere ukupne re-dundantnosti, koje su pribliºno jednake, ukazuju na to da rezultati izvr²nih funkcijamogu objasniti oko 26.4% varijanse u rezultatima vidno-motori£kih sposobnosti,dok rezultati na testovima vidno-motori£kih sposobnosti mogu objasniti oko 22%varijanse u rezultatima izvr²nih funkcija.

Testiranja zna£ajnosti kanoni£kih koe�cijenata vr²ena su primenom predloºenogBartlett-ovog postupka, opisanog u 3.4. Rezultati testiranja, kao i vrednosti kano-ni£kih korelacija date su u tabeli (4.2). Utvr�eno je da se u analizi zadrºava samoprvi par kanoni£kih promenljivih. Povezanost izme�u ovog para je relativno visoka.To potvr�uje veli£ina njihovog kanoni£kog koe�cijenta (0.64), kao i obja²njeni deozajedni£ke varijanse (41%).

Daljom analizom kanoni£kih optere¢enja se do²lo do zaklju£ka da na prvi parkanoni£kih promenljivih zna£ajno uti£u skoro sve promenljive izvr²nih funkcija osimemocionalne kontrole i �eksibilnosti paºnje, kao i gotovo sve promenljive vidno-motori£kih sposobnosti, osim purdue nedominantna ruka.

skup promenljivih broj promenljivih izdvojena varijansa ukupna redundantnost

X(1) 4 100% 26.39%

X(2) 8 78.15% 22.06%

Tabela 4.1: Kanoni£ka analiza

i λi λ2i χ2 stepeni slobode p-vrednost Wilks-ova Λ

1 0.64 0.41 74.14 32 0.001 0.407

2 0.45 0.20 30.49 21 0.082 0.691

3 0.35 0.12 11.79 12 0.462 0.866

4 0.097 0.09 0.79 5 0.977 0.990

Tabela 4.2: Kanoni£ke korelacije i testiranje zna£ajnosti

Primena 52

4.2 Kanoni£ka korelaciona analiza u R-u

U programskom jeziku R, za kanoni£ku korelacionu analizu postoji ugra�enafuncijacc ( )

koja je deo paketa CCA, koju je mogu¢e koristiti ukoliko je u skupu podataka brojopaºanja ve¢i od broja promenljivih (n ≥ p + q). Naglasimo da naredni primer nepokriva sve aspekte jednog istraºiva£kog procesa. Posluºi¢e nam da ukaºemo nasamo neke od komandi za analizu podataka u kanoni£koj korelacionoj analizi.

Primer 4. Na uzorku od 600 studenata, prikupljenii su podaci za tri psiholo²kepromenljive:

X(1) =

X

(1)1

X(1)2

X(1)3

=

Lokus kontrole

Self-koncept

Motivacija

(4.1)

i za £etiri akademske promenljive kojoj je dodata indikatorska promenljiva koja opi-suje pol studenta (da bi se ispravile mogu¢e razlike izme�u mu²karaca i ºena) i uzimavrednost 0 ako je osoba mu²kog pola, odnosno 1 ako je ºenskog:

X(2) =

X(2)1

X(2)2

X(2)3

X(2)4

X(2)5

=

�itanje

Pisanje

Matematika

Druge prirodne nauke

Pol

. (4.2)

Ispituje se povezanost izme�u skupova (4.1) i (4.2).

Re²enje:i n s t a l l . p a c k a g e s ( "CCA" )require (CCA)

# pristupamo ugradjenom skupu podataka sa 600 opservacija na 8 obelezja

# na osnovu kojeg formiramo matricu

x ← data .matr ix ( r e ad . c s v ( " https : // s t a t s . i d r e . u c l a . e d u /stat/data/mmreg.csv" ) )colnames ( x ) ← c ( "Lokus_kontrole" , "Sel f−koncept " , "Motivac i ja " , "Citan je " ,"Pisan j e " , "Matematika" , "Nauke" , "Pol" )x

# izdvajamo prve tri kolone gornje matrice; nova matrica predstavlja

# skup podataka koji odgovara prvom skupu psiholoskih promenljivih

x1 ← x [ , 1 : 3 ]x1

# preostalih 5 kolona izdvajamo u matricu podataka koja odgovara

# drugom skupu promenljivih

x2 ← x [ , 4 : 8 ]x2

Primena 53

Moºemo najpre vizualizirati korelacione matrice. Paket CCA predlaºe dva na£inaza to, od kojih je jedan ilustrovan na slici (4.1).

img.matcor (matcor ( x1 , x2 ) , type = 1) #prvi nacin

img.matcor (matcor ( x1 , x2 ) , type = 2) #drugi nacin (slika 4.1)

Slika 4.1: Korelacione matrice: R11 (gore levo), R22 (gore desno), R12 (dole). Vred-nosti se prevode u boje, od plave (negativna korelacija) do crvene (pozitivna kore-lacija).

Ukoliko bismo dobili da se slike ravnomerno boje u svetlo-zelenu boju koja od-govara korelaciji bliskoj nuli, ovde bismo se zaustavili. Kako to u datom primerunije slu£aj, ima smisla primeniti kanoni£ku korelacionu analizu.

# primenjujemo kanonicku korelacionu analizu

KKA← cc ( x1 , x2 )

# izdvajamo kanonicke korelacije

KKA$cor

# izdvajamo vektore kanonickih koeficijenata koji odgovaraju psiholoskim

# promenljivama i sa njima grade odgovarajucu kanonicku promenljivu;

# vektori odgovarajucih kanonickih parova su grupisani po kolonama

KKA$xcoe f

Primena 54

# isto cinimo i za drugi skup promenljivih

KKA$ycoe f

# izdvajamo kanonicka opterecenja

KKA$ s c o r e s$ c o r r .X . x s c o r e s #koeficijenti korelacije strukture

KKA$ s c o r e s$ c o r r .Y . x s c o r e s #koeficijenti korelacije strukture

KKA$ s c o r e s$ c o r r .X . y s c o r e s #kanonicka unakrsna opterecenja

KKA$ s c o r e s$ c o r r .Y . y s c o r e s #kanonicka unakrsna opterecenja

Pored ranije pomenutog testa Wilks-ove lambde, dostupni multivarijatni testovistatisti£ke zna£ajnosti svih kanoni£kih korelacija su i Hotelling-ov trag, Pillai-ovtrag, i Roy-ev najve¢i koren. Svi testovi su deo paketa CCP.

i n s t a l l . p a c k a g e s ( "CCP" )require (CCP)

l ← KKA$corn ← dim( x1 ) [ 1 ]p ← dim( x1 ) [ 2 ]q ← dim( x2 ) [ 2 ]

p.asym ( l , n , p , q , t s t a t = "Wilks" )p.asym ( l , n , p , q , t s t a t = "Hote l l i n g " )p.asym ( l , n , p , q , t s t a t = " P i l l a i " )p.asym ( l , n , p , q , t s t a t = "Roy" )

Glava 5

Dodatak A

Odre�ivanje matrica Σ−111 ,Σ−122 ,Σ

−1/211 i Σ

−1/222 (2.3, primer 1)

s i g ← matrix (c (3 , 2 ,−1, 3 , 2 , 3 , 1 , 1 ,−1, 1 , 6 , 2 , 3 , 1 , 2 , 8 ) ,nrow=4,byrow=T)sig_11 ← s i g [ 1 : 2 , 1 : 2 ]sig_12 ← s i g [ 1 : 2 , 3 : 4 ]sig_22 ← s i g [ 3 : 4 , 3 : 4 ]sig_21 ← t ( sig_12 )

inv_11 ← solve ( sig_11 )inv_11################

# [,1] [,2]

#[1,] 0.6 -0.4

#[2,] -0.4 0.6

################

inv_22 ← solve ( sig_22 )inv_22##############################

# [,1] [,2]

#[1,] 0.18181818 -0.04545455

#[2,] -0.04545455 0.13636364

##############################

inv_kk_11 ← solve ( eigen ( sig_11 )$vec t o r s %∗% diag ( sqrt ( eigen ( sig_11 )$va lue s ) )%∗% t ( eigen ( sig_11 )$vec t o r s ) )inv_kk_11############################

# [,1] [,2]

#[1,] 0.7236068 -0.2763932

#[2,] -0.2763932 0.7236068

#############################

inv_kk_22 ← solve ( eigen ( sig_22 )$vec t o r s %∗% diag ( sqrt ( eigen ( sig_22 )$va lue s ) )%∗% t ( eigen ( sig_22 )$vec t o r s ) )inv_kk_22#############################

# [,1] [,2]

#[1,] 0.42247377 -0.05774162

#[2,] -0.05774162 0.36473215

##############################

55

Dodatak A 56

Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.54) (2.3, primer 1)

C_2 ← inv_kk_11 %∗% sig_12 %∗% inv_22 %∗% sig_21 %∗% inv_kk_11C_2############################

# [,1] [,2]

#[1,] 0.8434281 -0.3000000

#[2,] -0.3000000 0.1929356

#############################

eigen (C_2)##########################

#eigen () decomposition

#$values#[1] 0.96065795 0.07570569

#############################

#$vectors# [,1] [,2]

#[1,] -0.9314128 -0.3639647

#[2,] 0.3639647 -0.9314128

#################################

l_1 ← sqrt ( eigen (C_2)$va lue s ) [ 1 ]l_1################

#[1] 0.9801316

#################

l_2 ← sqrt ( eigen (C_2)$va lue s ) [ 2 ]l_2################

#[1] 0.2751467

################

g_1 ← matrix (c ( eigen (C_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)g_2 ← matrix (c ( eigen (C_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)

a_1 ← inv_kk_11 %∗% g_1a_1#################

# [,1]

#[1,] -0.7745740

#[2,] 0.5208035

#################

b_1 ← (1/l_1 ) ∗ inv_22 %∗% sig_21 %∗% inv_kk_11 %∗% g_1b_1#################

# [,1]

#[1,] 0.3239096

#[2,] -0.3109106

#################

a_2 ← inv_kk_11 %∗% g_2a_2##################

# [,1]

#[1,] -0.005931159

#[2,] -0.573379237

###################

b_2 ← (1/l_2 ) ∗ inv_22 %∗% sig_21 %∗% inv_kk_11 %∗% g_2b_2##################

# [,1]

#[1,] -0.2773099

#[2,] -0.1992442

##################

Dodatak A 57


D_2 ← inv_kk_22 %∗% sig_21 %∗% inv_11 %∗% sig_12 %∗% inv_kk_22D_2############################

# [,1] [,2]

#[1,] 0.4665482 -0.4394532

#[2,] -0.4394532 0.5698154

############################

eigen (D_2)#######################


#$values#[1] 0.96065795 0.07570569

############################

#$vectors# [,1] [,2]

#[1,] -0.6645704 -0.7472257

#[2,] 0.7472257 -0.6645704

##############################

l_1 ← sqrt ( eigen (D_2)$va lue s ) [ 1 ]l_1###############

#[1] 0.9801316

################

l_2 ← sqrt ( eigen (D_2)$va lue s ) [ 2 ]l_2###############

#[1] 0.2751467

################

h_1 ← matrix (c ( eigen (D_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)h_2 ← matrix (c ( eigen (D_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)

b_1 ← inv_kk_22 %∗% h_1b_1##################

# [,1]

#[1,] -0.3239096

#[2,] 0.3109106

#################

a_1 ← (1/l_1 ) ∗ inv_11 %∗% sig_12 %∗% inv_kk_22 %∗% h_1a_1#################

[ , 1 ][ 1 , ] 0 .7745740[ 2 , ] −0.5208035#################

b_2 ← inv_kk_22 %∗% h_2b_2#################

# [,1]

#[1,] -0.2773099

#[2,] -0.1992442

##################

a_2 ← (1/l_2 ) ∗ inv_11 %∗% sig_12 %∗% inv_kk_22 %∗% h_2a_2##################

# [,1]

#[1,] -0.005931159

#[2,] -0.573379237

####################

Dodatak A 58

Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.87) (2.3, , primer 2)


M_2 ← solve ( sig_11 ) %∗% sig_12 %∗% solve ( sig_22 ) %∗% sig_21M_2#############################

# [,1] [,2]

#[1,] 0.9545455 -0.009090909

#[2,] -0.5909091 0.081818182

###############################

eigen (M_2)###########################


#$values#[1] 0.96065795 0.07570569

############################

#$vectors# [,1] [,2]

#[1,] 0.8298578 0.01034366

#[2,] -0.5579749 0.99994650

##############################

l_1 ← sqrt ( eigen (M_2)$va lue s ) [ 1 ]l_1################

#[1] 0.9801316

#################

l_2 ← sqrt ( eigen (M_2)$va lue s ) [ 2 ]l_2#################

#[1] 0.2751467

#################

a1 ← matrix (c ( eigen (M_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)a1###################

# [,1]

#[1,] 0.8298578

#[2,] -0.5579749

###################

a2 ← matrix (c ( eigen (M_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)a2###################

# [,1]

#[1,] 0.01034366

#[2,] 0.99994650

####################

var1 ← t ( a1 ) %∗% sig_11 %∗% a1var1###############

# [,1]

#[1,] 1.147841

################

sqrt ( var1 )################

# [,1]

#[1,] 1.071373

################

Dodatak A 59

a_1 ← a1 %∗% solve ( sqrt ( var1 ) )a_1#################

# [,1]

#[1,] 0.7745740

#[2,] -0.5208035

###################

b_1 ← ( l_1 )∧ (−1) ∗ solve ( sig_22 ) %∗% sig_21 %∗% a_1b_1###################

# [,1]

#[1,] -0.3239096

#[2,] 0.3109106

####################



N_2 ← solve ( sig_22 ) %∗% sig_21 %∗% solve ( sig_11 ) %∗% sig_12N_2#############################

# [,1] [,2]

#[1,] 0.4545455 -0.5272727

#[2,] -0.3636364 0.5818182

#############################

eigen (N_2)#########################


#$values#[1] 0.96065795 0.07570569

###########################

#$vectors# [,1] [,2]

#[1,] 0.7214347 -0.8121157

#[2,] -0.6924825 -0.5834964

##############################

l_1 ← sqrt ( eigen (N_2)$va lue s ) [ 1 ]l_1#################

#[1] 0.9801316

#################

l_2 ← sqrt ( eigen (N_2)$va lue s ) [ 2 ]l_2###################

#[1] 0.2751467

####################

b1 ← matrix (c ( eigen (N_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)b1#################

# [,1]

#[1,] 0.7214347

#[2,] -0.6924825

##################

Dodatak A 60

b2 ← matrix (c ( eigen (N_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)b2##################

# [,1]

#[1,] -0.8121157

#[2,] -0.5834964

####################

var1 ← t ( a1 ) %∗% sig_11 %∗% a1var1###############

# [,1]

#[1,] 1.147841

###############

sqrt ( var1 )###############

# [,1]

#[1,] 1.071373

################

b_1 ← b1 %∗% solve ( sqrt ( var1 ) )b_1#################

# [,1]

#[1,] 0.6733738

#[2,] -0.6463503

###################

a_1 ← ( l_1 )∧ (−1) ∗ solve ( sig_11 ) %∗% sig_12 %∗% b_1a_1##################

# [,1]

#[1,] -1.610258

#[2,] 1.082695

##################


s i g ← matrix (c (3 , 2 ,−1, 3 , 2 , 3 , 1 , 1 ,−1, 1 , 6 , 2 , 3 , 1 , 2 , 8 ) ,nrow=4,byrow=T)

kor_mat ← solve (diag ( sqrt (diag ( s i g ) ) ) ) %∗%s i g %∗% solve (diag ( sqrt (diag ( s i g ) ) ) )

kor_mat###############################################

# [,1] [,2] [,3] [,4]

#[1,] 1.0000000 0.6666667 -0.2357023 0.6123724

#[2,] 0.6666667 1.0000000 0.2357023 0.2041241

#[3,] -0.2357023 0.2357023 1.0000000 0.2886751

#[4,] 0.6123724 0.2041241 0.2886751 1.0000000

#################################################

kor_11 ← kor_mat [ c ( 1 , 2 ) ,c ( 1 , 2 ) ]kor_22 ← kor_mat [ c ( 3 , 4 ) ,c ( 3 , 4 ) ]kor_12 ← kor_mat [ c ( 1 , 2 ) ,c ( 3 , 4 ) ]kor_21 ← t ( kor_12 )

inv_11 ← solve ( kor_11 )inv_22 ← solve ( kor_22 )

inv_11

Dodatak A 61

################

# [,1] [,2]

#[1,] 1.8 -1.2

#[2,] -1.2 1.8

#################

inv_22############################

# [,1] [,2]

#[1,] 1.0909091 -0.3149183

#[2,] -0.3149183 1.0909091

#############################

inv_kk_11 ← solve ( eigen ( kor_11 )$vec t o r s %∗% diag ( sqrt ( eigen ( kor_11 )$va lue s ) )%∗% t ( eigen ( kor_11 )$vec t o r s ) )

inv_kk_22 ← solve ( eigen ( kor_22 )$vec t o r s %∗% diag ( sqrt ( eigen ( kor_22 )$va lue s ) )%∗% t ( eigen ( kor_22 )$vec t o r s ) )

inv_kk_11###########################

# [,1] [,2]

#[1,] 1.2533237 -0.4787271

#[2,] -0.4787271 1.2533237

############################

inv_kk_22#############################

# [,1] [,2]

#[1,] 1.0332897 -0.1523863

#[2,] -0.1523863 1.0332897

############################

E_2 ← inv_kk_11 %∗% kor_12 %∗% inv_22 %∗% kor_21 %∗% inv_kk_11E_2###########################

# [,1] [,2]

#[1,] 0.8434281 -0.3000000

#[2,] -0.3000000 0.1929356

############################

eigen (E_2)#######################


#$values#[1] 0.96065795 0.07570569

############################

#$vectors# [,1] [,2]

#[1,] -0.9314128 -0.3639647

#[2,] 0.3639647 -0.9314128

#############################

l_1 ← sqrt ( eigen (E_2)$va lue s ) [ 1 ]l_1##############

#[1] 0.9801316

###############

l_2 ← sqrt ( eigen (E_2)$va lue s ) [ 2 ]l_2###############

#[1] 0.2751467

################

g_1 ← matrix (c ( eigen (E_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)g_2 ← matrix (c ( eigen (E_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)

a_1z ← inv_kk_11 %∗% g_1a_1z

Dodatak A 62

################

# [,1]

#[1,] -1.3416015

#[2,] 0.9020581

#################

b_1z ← (1/l_1 ) ∗ inv_22 %∗% kor_21 %∗% inv_kk_11 %∗% g_1b_1z################

# [,1]

#[1,] 0.7934132

#[2,] -0.8793880

#################

a_2z ← inv_kk_11 %∗% g_2a_2z##################

# [,1]

#[1,] -0.01027307

#[2,] -0.99312197

###################

b_2z ← (1/l_2 ) ∗ inv_22 %∗% kor_21 %∗% inv_kk_11 %∗% g_2b_2z##################

# [,1]

#[1,] -0.6792677

#[2,] -0.5635476

###################

Glava 6

Zaklju£ak

U ovom radu smo se upoznali sa kanoni£kom korelacionom analizom, koja pred-stavlja multivarijacionu statisti£ku metodu koja olak²ava prou£avanje linearnih od-nosa izme�u dva skupa promenljivih. Kako kanoni£ka korelaciona analiza sa sobomdonosi dosta uzajamnih veza, ²to unutar skupova, tako i veze izme�u njih, u radusmo de�nisali osnovne veli£ine kojima se te veze izraºavaju i interpretiraju. Videlismo da se jedinstvena karakteristika korelacione analize sastoji u tome ²to ona iz-dvaja vi²e parova kanoni£kih promenljivih, pri £emu je svaki od njih nezavisan odostalih parova, u smislu da predstavlja neku drugu vezu koja je prona�ena me�uskupovima originalnih promenljivih koje razmatramo.

Kao najteºi zadatak cele analize javlja se interpretacija rezultata. Me�utim, tone umanjuje vaºnost primene ove metode u analizama odnosa u raznim sferamaºivota i oblastima nauke.

63

64

Literatura

[1] Rao C. Radhakrishna, Linear Statistical Inference and Its Applications, 2nd edi-tion, John Wiley & Sons, New York, 2002.

[2] Anderson T.W., An Introduction to Multivariate Statistical Analysis, 3rd edition,John Wiley & Sons, New Jersey, 2003.

[3] Hardle W., Simar L., Applied Multivariate Statistical Analysis, 2nd edition,Springer, Berlin, 2007.

[4] Hardle W., Hlavka Z.,Multivariate Statistics : Exercises and Solutions, Springer,Berlin, 2007.

[5] Johnson R., Wichern D., Applied Multivariate Statistical Analysis, 6th edition,Pearson, New Jersey, 2007.

[6] Kova£i¢ Z., Multivarijaciona analiza, Univerzitet u Beogradu, Ekonomski fakul-tet, Beograd, 1994.

[7] Alan Julian Izenman,Modern Multivariate Statistical Techniques , Springer, Phi-ladelphia, 2008.

[8] K. V. Madria, J. T. Kent , J. M. Bibby, Multivariate Analysis, San Diego, 1995.

[9] Hair J. F., Tatham R. L. , Anderson R. E., Black W. C, Multivariate DataAnalysis, 5th edition, New York, Prentice Hall, 1998.

[10] Gonzalez I., Dejean S., Martin P., Baccini A., CCA: An R Package to ExtendCanonical Correlation Analysis, article in Journal of statistical software, Novem-ber, 2007.

[11] Memi²evi¢ H., Ze£i¢ S., Bi²£evi¢-Ibrali¢ I., Mujkanovi¢ E., Kanoni£ka korela-cija izvr²nih funkcija i vidno-motori£kih sposobnosti kod djece sa intelektualnimte²ko¢ama, Putokazi - £asopis Fakulteta dru²tvenih znanosti, Hercegovina, 2015

[12] https://stats.idre.ucla.edu/r/dae/canonical-correlation-analysis/

Biogra�ja

Martina �iki¢ ro�ena je 16. maja 1989. godine u Ni²u. Osnovnu ²kolu �DobrilaStamboli¢� u Svrljigu zavr²ila je 2004. godine. Te godine upisuje Gimnaziju �BoraStankovi¢� u Ni²u, prirodno-matemati£ki smer, koju zavr²ava 2008. godine.

Osnovne akademske studije matematike upisuje na Prirodno-matemati£kom fa-kultetu u Ni²u 2008. godine, a zavr²ava ih 2015. godine. Iste godine upisuje masterakademske studije na istom fakultetu, smer Verovatno¢a, statistika i �nansijska ma-tematika. Poslednji ispit polaºe oktobra 2018. godine i time sti£e pravo na odbranumaster rada.

65

Documents

KANONI KA KORELACIONA ANALIZA I PRIMENE - pmf.ni.ac.rs · anoni£kak korelaciona analiza se koristi za re²aanjev raznih teorijskih i primenjenih problema u ekonometriji, posloanju,v