Analiza czynnikowa i wnioskowanie dla właściwości macierzy ... · Analiza czynnikowa może być uznawana, jako rozszerzenie do analizy głównych składowych. Obie mogą być postrzegane,

WstępPodstawowy model analizy czynnikowej

Metody szacowaniaRotacja czynników

Wartości czynnikowePodsumowanie

Analiza czynnikowa i wnioskowanie dla właściwościmacierzy kowariancji

Wioleta Arym, Daria Szlagowska, Martyna Zarach, AndrzejRebell

Wydział FTiMS, Politechnika Gdańska

9 maja 2014

Wioleta Arym, Daria Szlagowska, Martyna Zarach, Andrzej Rebell Analiza czynnikowa i wnioskowanie dla właściwości macierzy kowariancji




Początki analizy czynnikowejIstota i cel analizy czynnikowejPorównanie z analizą głównych składowych

Początek analizy czynnikowej sięga pierwszej połowy XX wieku.Naukowcy w swoich badaniach stwierdzili, ze wyniki różnychtestów, które badają uzdolnienia intelektualne są zawsze ze sobądodatnio skorelowane. Charles Spearman wysunął hipotezę, żemoże istnieć jeden ogólny czynnik występujący w większościtestów, którego istnienie miałoby wyjaśniać współzmiennośćwyników testów. W swojej pracy Spearman podał macierz korelacjimiędzy następującymi zmiennymi-wyniki testów uzdolnień wzakresach:C-języki klasyczne, F-język francuski, E-język angielski,M-matematyka, D-rozróżnianie tonacji, Mu-słuch muzyczny.






Zauważył on, że macierz ta ma interesującą własność: jakiekolwiekdwie jej kolumny(wiersze) są niemal proporcjonalne (pomijającwyrazy na przekątnej). Na przykład weźmy kolumny C i M:

0,830,67 ≈

0,780,64 ≈

0,660,45 ≈

0,630,51 ≈ 1, 2






Równanie przedstawiające wyniki pewnej liczby testów uzdolnieńwedług Spearmana wyraża się wzorem

Xi = aiF + ei

F-wspólny czynnik dla wszystkich pomiarówai -miara udziału wspólnego czynnika F w wyjaśnieniu i-tego testuuzdolnieńei -część Xi , która jest charakterystyczna dla konkretnego testuuzdolnień i.Zakładamy, że F i ei są niezależne. F ma wariacje równą 1.Wówczas jeżeli Xi są standaryzowane to:

wariancja jest równa

a2i + Var(ei ) = 1

czyli a2i jest częścią wariancji wyjaśnioną przez czynnik F.






Rozważania Spearmana o wpływie jednego czynnika głównegozostały rozszerzone na większą liczbę czynników przez L.L.Thurstone’a w połowie XX wieku. Podał on teoretyczne podstawyanalizy wieloczynnikowej, jak i możliwości praktycznych rozwiązań.






Istota i cel analizy czynnikowej

Analiza czynnikowa jest metodą statystyczną. Tłumaczykorelacje i poszukuje przyczyn współzmienności, która jestgenerowana przez czynniki wspólne. Czynniki te nie sąbezpośrednio obserwowane- są to wielkości abstrakcyjne. Celemanalizy jest wykrycie tych wspólnych czynników i opisanieobserwowanych zmiennych za pomocą kombinacji liniowej tychczynników. Prowadzi to do redukcji wymiaru przestrzeni zmiennych.






Porównanie z analizą głównych składowych

Analiza czynnikowa może być uznawana, jako rozszerzenie doanalizy głównych składowych. Obie mogą być postrzegane, jakopróby zbliżenia się do macierzy kowariancji Σ.






Porównanie dwóch metod

Analiza czynnikowa Analiza głównych składowychorientacja kowariancyjna: orientacja wariancyjna:punktem wyjścia jest punktem wyjścia jestzredukowana macierz zwykła macierzkorelacji lub macierz korelacjikowariancjimodel otwarty: model zamknięty:obok wariancji cech uwzględnia sięuwzględnia się także wyłącznie wariancję badanychwariancję nieobjaśnianą zmiennych(zm. pominięte, losowośćobserwacji)






każda zmienna zmienne pierwotne sąpierwotna jest funkcją liniową funkcją składowychnieobserwowanych czynników głównych(a główne składowewspólnych i czynnika można przedstawić jakoswoistego kombinacje liniowe

zmiennych pierwotnych)buduje się teoretyczny wychodzi się od obserwacjimodel zjawiska i sprawdza, empirycznych, aczy jest zgodny z danymi następnie budujeempirycznymi model teoretycznycelem analizy jest celem analizy jestidentyfikacja ukrytych uproszczenie strukturyzmiennych danych





Założenia modelu analizy czynnikowejStruktura kowariancji modeluPrzykład- brak odpowiedniego rozwiązaniaNiejednoznaczność rozwiązania

Podstawowy model analizy czynnikowej

Model ten zakłada, że X-macierz zmiennych obserwowanych,jest liniowo zależny od kilku nieobserwowalnych zmiennychlosowych F1,F2, . . . ,Fm.

Szczegółowy wzór analizy czynnikowej

Macierzowy wzór analizy czynnikowej






µi -wartość oczekiwana zmiennej Xi ;

εi -(i = 1, 2, ..., p)czynnik specyficzny zmiennej Xi ; odpowiadato interpretacji, że każda zmienna ma swój własny szczególnyelement niezależny od centralnego zjawiska; mówią one ocechach wyróżniających obserwowane zmienne, a częstoobejmują też efekt działania czynników losowych;

Fj -(j = 1, 2, ...,m, gdzie m < p)czynnik wspólny; przyjmujesię, że opisuje on w więcej niż jedną zmienną, jeżeli opisujewszystkie zmienne nazywamy go czynnikiem ogólnym;

`ij -stałe parametry(współczynniki modelu) zwane ładunkamiczynnikowymi; są one przedmiotem szacowania w analizieczynnikowej; ładunki te mają charakter podobny dowspółczynnika regresji i wskazują jak każdy z czynnikówwspólnych wpływa na konkretną zmienną obserwowaną.






Założenia modelu

czynniki wspólne są zestandaryzowane, czyli: E (Fj) = 0 iVar(Fj) = 1 dla j = 1, 2, ...,m;

czynniki wspólne Fj nie są skorelowane ze sobą;

dla czynników specyficznych zachodzi: E (εi ) = 0, dlai = 1, 2, ..., p oraz Cov(ε) = Ψ, gdzie Ψ jest macierządiagonalną:

Ψ =

ψ1 0 · · · 00 ψ2 · · · 0...

.... . .

...0 0 · · · ψp

czynniki wspólne Fj nie są skorelowane z czynnikamispecyficznymi εi , czyli zachodzi: Cov(ε,F ) = 0






Struktura kowariancji modelu






Następuje podział wariancji poszczególnych zmiennych nawariancję wspólną i specyficzną:

h2i - wariancja wspólna (communality), czyli ta część

całkowitej wariancji, która jest wspólna z innymi zmiennymi,lub inaczej- która jest wyjaśniona przez wspólne czynniki.Zasób zmienności wspólnej i jest sumą kwadratów ładunkówzmiennej i na m wspólnych czynnikach.

ψi - wariancja specyficzna (specific variance), czyli ta częśćwariancji całkowitej, która jest właściwa tylko tej konkretnejzmiennej.






Zatem:

Wariancja zmiennej Xi

Var(Xi ) =wariancja wspólna + wariancja specyficzna






Wzór na macierz wariancji- kowariancji wektora X zakłada, żep + p(p − 1)/2 = p(p + 1)/2 wariancji i kowariancji X może byćodtworzona z pm ładunków czynnikowych lij i p wariancjispecyficznych ψi . Jeśli m = p, to każda macierz kowariancji Σmoże być przedstawiona jednoznacznie z mnożenia macierzy LL’,dlatego też Ψ może być macierzą zerową. Jednakże, analizaczynnikowa jest użyteczna wtedy, gdy m jest stosunkowo małe dop. W tym wypadku wzór na macierz kowariancji X umożliwia w’prosty’ sposób wyliczenie wszystkich elementów p(p + 1)/2 zapomocą mniejszej liczby elementów. Na przykład jeśli X zawierap=12 wartości i nasz podstawowy model analizy czynnikowejzawiera m=2 czynniki wspólne, wtedy p(p + 1)/2 = 12(13)/2 = 78elementów Σ są opisane, w odniesieniu domp + p = 2(12) + 12 = 36 parametrów lij oraz ψi z modelu.






Przykład- brak odpowiedniego rozwiązania

Niech p=3 i m=1 i niech zmienne losowe X1, X2 i X3 majądodatnio określoną macierz kowariancji:

Σ =

1 .9 .7.9 1 .4.7 .4 1

Wzór na macierz kowariancji zakłada, że: Σ = LL′ + Ψ, lub inaczej:






Para równań:.70 = l11l31

.40 = l21l31

daje nam:

l21 =

(.40.70

)l11

Zastąpienie l21 tym wynikiem w równaniu:

.90 = l11l21

daje l11 = ±1.255. Niech Var(F1) = 1 i Var(X1) = 1,l11 = Cov(X1,F1) = Corr(X1,F1). Teraz współczynnik korelacji(wwartości bezwzględnej) nie może być większy niż 1. Zatem z tegopunktu widzenia |l11| = 1.255 jest zbyt duże.






Także równanie:1 = l211 + ψ1

daje ψ1 = −0.575, które jest niedostateczne, ponieważ dajewartość ujemną dla Var(ε1) = ψ1.

Zatem dla tego przykładu z m=1, jest możliwe otrzymanierozwiązania liczbowego dla równania Σ = LL′ + Ψ, jednakżerozwiązanie to nie jest zgodne z interpretacją statystyczną, a więcnie jest to poprawne rozwiązanie problemu.






Niejednoznaczność rozwiązania

Jeśli m > 1 zawsze istnieje jakaś niejednoznaczność związana zwyznaczeniem modelu analizy czynnikowej. By to zauważyć,weźmy dowolną macierz ortogonalną T o wymiarach mx m, takąże: TT ′ = T ′T = I . Wtedy wzór modelu można zapisać:

X − µ = LF + ε = LTT ′F + ε = L∗F ∗ + ε

gdzie L∗ = LT i F ∗ = T ′F .

Zachodzi: E (F ∗) = T ′E (F ) = 0 iCov(F ∗) = T ′Cov(F )T = T ′T = I






Nie jest więc możliwe, żeby na postawie obserwacji X, rozróżnićładunki L od L∗. Oznacza to, że współczynniki F i F ∗ = T ′F mająte same właściwości statystyczne i oba generują tę samą macierzkowariancji Σ. To znaczy, że:

Σ = LL′ + Ψ = LTT ′L′ + Ψ = (L∗) (L∗)′ + Ψ






Ta niejednoznaczność daje uzasadnienie dla rotacji czynników,ponieważ macierze ortogonalne odpowiadają za obroty (i odbicia)układu współrzędnych X. Analiza czynników modelu postępujeprzez nakładanie warunków, które pozwolą na jednoznaczneokreślenie L i Ψ. Następnie modyfikujemy macierz ładunkówmnożąc ją przez macierz ortogonalną, tak aby otrzymać łatwiejszedo interpretacji wyniki. Ale o tym powiemy dokładniej w dalszejczęści prezentacji...





Metoda Głównych SkładowychZmodyfikowane podejście- rozwiązanie głównych składowychPrzykład1-metoda głównych składowychMetoda największej wiarygodnościPrzykład2Przykład1-metoda największej wiarygodności

Metoda Głównych Składowych

Wśród metod obliczania ładunków czynnikowych wyróżniamymetodę znaną z analizy głównych składowych.

Należy przyjrzeć się początkowym zmiennym. Jeżeli analizowanezmienne są porównywalne (wyrażają się w tych samychjednostkach i są tego samego rzędu), to w dalszej analiziewykorzystuje się macierz kowariancji. Jeżeli natomiast zmiennemają różne jednostki lub są różnego rzędu, analize składowychgłównych przeprowadza się wykorzystując macierz korelacji.






Przyjmijmy, ze punktem wyjścia w analizie czynnikowej jestmacierz kowariancji Σ, która ma pary wartości i wektorówwłasnych (λi , ei ), dla i = 1, 2, ..., p, przy czymλ1 λ2 ... λp 0. Wtedy

Macierz Σ jest postaci






Chociaż przedstawione w analizie czynnikowej Σ jest dokładne, niejest ono szczególnie użyteczne:

używa tyle samo wspólnych czynników ile jest zmiennych

nie pozwala na jakąkolwiek wariancje specyficzną ψ (czyliψi = 0)

Wolimy wzory, które wyjaśniają strukturę kowariancji w odniesieniudo kilku wspólnych czynników.






Jednym sposobem, stosowanym kiedy ostatnie p-m wartości własnesą małe, jest pominięcie udziału λm+1em+1e

′m+1 + ...+ λpepe

′p

w Σ.Pomijając ten udział, otrzymujemy obliczenie przybliżone

Przybliżona macierz Σ

Zakłada się w ten sposób, ze czynniki specyficzne εi mają małeznaczenie i mogą być pominięte w macierzy Σ.






Jeśli specyficzne współczynniki są zawarte we wzorze, ich wariancjemogą być brane za elementy diagonalne Σ− LL′, gdzie LL’ równasię przybliżonej macierzy Σ. Ostatecznie okazuje się, żeobliczeniem przybliżonym staje się

Ostateczna przybliżona macierz Σ

gdzie Ψi = σii −∑m

j=1 `2ij dla i = 1, 2, ..., p.






By zastosować tę metodę do zbioru danych x1, x2, ..., xn najpierwtrzeba odjąć od nich średnią z próby x . Skupione obserwacje

mają taką samą macierz kowariancji próby S jak pierwotneobserwacje. W przypadkach, w których jednostki zmiennych nie sąproporcjonalne, wskazane jest pracować z ujednoliconymizmiennymi






których macierz kowariancji próby (S) jest macierzą korelacji próby(R) na obserwacjach x1, x2, ..., xn. Ujednolicanie pozwala uniknąćproblemów związanych z występowaniem jednej zmiennej z dużąwariancją nadmiernie wpływającą na określenie ładunkówczynnikowych.

Analiza czynnikowa głównego składnika dla macierzy kowariancjipróby S jest określona w odniesieniu do jej par wartości i wektorówwłasnych macierzy (λ1, e1), (λ2, e2), ..., (λp, ep), gdzieλ1 λ2 ... λp. Niech m < p będzie liczbą wspólnychczynników. Wtedy macierz przybliżonych ładunków czynnikowych˜ij jest dana przez

L =

[√λ1e1;

√λ2e2; ...;

√λmem

]






Przybliżone wariancje specyficzne dostarczone są przez elementydiagonalne macierzy S − LL′, więc

Ψ =

ψ1 0 · · · 00 ψ2 · · · 0...

.... . .

...0 0 · · · ψp

gdzie ψi = sii −

∑mj=1

˜2ij






Zasoby zmienności wspólnej są zatem określone wzorem

h2i =

∑mj=1

˜2ij =

∑mj=1 λj e

2ij

Rozważmy macierz residuum

S −(LL′ + Ψ

)wynikającą z przybliżenia S przez rozwiązanie głównego składnika.Elementy diagonalne są równe zeru i jeśli inne element są równieżmałe, możemy subiektywnie uznać model m-czynnikowy zastosowny.






Udziały pierwszych kilku czynników w wariancjach próbkowychzmiennych powinny być duże. Udział pierwszego wspólnegoczynnika w wariancji próby sii to ˜2

i1. Stąd udział tego czynnika wcałkowitej wariancji próby s11 + s22 + ...+ spp jest równy

˜211 + ˜2

21 + ...+ ˜2p1 =

(√λ1e1

)′ (√λ1e1

)= λ1

ponieważ wektor własny macierzy ei ma długość 1.

część całkowitej wariancji próbki ze względu na j-ty czynnik dlaanalizy czynnikowej S i R

λjs11+s22+...+spp

i λjp






Kryterium to jest często używane, jako urządzenie heurystyczne dlaokreślenia odpowiedniej liczby wspólnych czynników. Liczbawspólnych czynników zachowanych we wzorze jest zwiększanadopóki „odpowiednia proporcja” całkowitej próby wariancjizostanie wyjaśniona.






Zmodyfikowane podejście- Rozwiązanie GłównegoCzynnika

Czasem rozważane jest zmodyfikowane podejście do głównegoskładnika. Opiszemy rozumowanie w odniesieniu do analizyczynnikowej dla R, chociaż procedura jest także odpowiednia dla S.Rozważmy dobrze określony model ρ = LL′ + Ψ. Wówczas:ρii = 1 = h2

i + ψi . Jeżeli udział ψi z przekątnej jest usunięty, lubrównoważnie- h2

i = 1, to otrzymana macierz wygląda następująco:ρ−Ψ = LL′.Przypuśćmy teraz, że wstępne oszacowania ψ∗i wariancjispecyficznej są podane. Zastępując elementy diagonalne macierzyR przez h2∗

i = 1− ψ∗i otrzymujemy ’zredukowaną’ macierz korelacjipróby.






Rr =

h∗21 r12 · · · r1pr12 h∗22 · · · r2p...

.... . .

...r1p r2p · · · h∗2p

Zachodzi wówczas relacja: Rr = L∗r L

∗′r , gdzie L∗r = {l∗ij} są

szacowanymi ładunkami.Metoda Głównych Składowych dla analizy czynnikowej używaszacunków:

L∗r =

[√λ∗1e∗1 ;√λ∗2e∗2 ; ...;

√λ∗me

∗m

]i ψ∗i = 1−

∑mj=1 `

∗2ij , hi

∗2=∑m

j=1 `∗2ij






Krótkie przypomnienie

Wartość własna

Mówi nam jaka część całkowitej zmienności została wyjaśnionaprzez główną składową. Okazuje się, ze każda kolejna głównaskładowa określa coraz mniejszą część wariancji więc kolejnewartości własne maleją. Suma wartości własnych jest całkowitąwariancją więc można określić jaki procent wariancji wyjaśniająposzczególne składowe.

Wektor własny

Przedstawia jaki wpływ mają wartości pierwotne na głównąskładową. Pokazuje współczynniki kombinacji liniowej, którewyznaczają główną składową.






Ładunki czynnikowe

Również pokazują jaki mają wpływ poszczególne czynnikipierwotne na główną składową. Mówią jaką część zmiennejwariancji naszej składowej stanowią zmienne pierwotne.

Naszym celem jest wyznaczenie takich ładunków, żeby składowagłówna wyjaśniała maksymalną część wariancji zmiennychpierwotnych.






Kryterium Kaisera

Polega na tym, aby odrzucić wszystkie czynniki, których wartościwłasne są mniejsze bądź równe 1.

Test osypiska

To drugi sposób na określenie, ile czynników powinniśmypozostawić. Szukamy miejsca, gdzie występuje łagodny spadekwartości własnych i na prawo od tego miejsca najprawdopodobniejznajduje się osypisko czynnikowe i możemy na podstawie wykresuodczytać, ile zmiennych należy pozostawić.






Kod w SAS

data spearman (type=corr);_type_=’corr’;if _n_=1 then _type_=’N’;infile cards missover;input _name_ $ c f e m d mu;lines;n 33c 1.0f .83 1.0e .78 .67 1.0m .70 .67 .64 1.0d .66 .65 .54 .45 1.0mu .63 .57 .51 .51 .40 1.0;

proc factor data=spearman method=prin res scree;var c f e m d mu;title3 ’Principal Component Method’;run;

proc factor data=spearman method=prin res nfact=2;title3 ’PC Method: Res matrix for nfact=2’;run;

proc factor data=spearman method=prin res nfact=3;title3 ’PC Method: Res matrix for nfact=3’;run;






W procedurze PROC FACTOR używamy opcji PRINCIPAL, cozapisujemy METHOD = PRINCIPAL lub METHOD = PRIN.Możemy użyć jedną z trzech opcji wybory liczby czynników:

NFACTOR=...lub NFAC=...lub N=... - tu podajemy od razuliczbę czynników, którą chcemy użyć;

MINEIGE=...lub MIN=... - wybiera nam czynniki, którychwartości własne większe bądź równe od wpisanej wartości-domyślnie jest to 1.

PROPORTION=... lub P=... - aby wybrać wartości własnepotrzebne do otrzymania zadanej proporcji całkowitejwariancji. Można również użyć opcji PRECENT = ... czylipodajemy w procentach, gdzie najwyższa wartość to 100 ( wprzypadku proporcji najwyższa wartość to 1)






Wykres osypiska wskazuje, że powinniśmy przyjąć model z jednymczynnikiem.






Biorąc pod uwagę również kryterium Kaisera, widzimy że tylkojedna wartość własna jest większa niż 1, zatem nasz modelbędzie jednoczynnikowy.Kolumna ’Udział’ pokazuje jaki udział w sumie bierze danawartość własna, czyli w ilu procentach została wyjaśniona.Kolumna ’Skumulowany’ jest sumą udziału poprzedzającychwartości własnych, aż dojdziemy do całkowitej wariancjirównej 1.






Nasz model jest jednoczynnikowy, zatem macierz L jest wektorempostaci: L = (0.93653; 0.89396; ...; 0.72070)






Jest to pierwsza wartość własna, która wyjaśnia zmiennośćcałkowitej wariancji w 68, 38%.

Końcowe oszacowania ładunków to wartości początkowepodniesione do kwadratu- `2

i . Suma daje nam wariancje wyjaśnionąprzez nasz czynnik.






Dzięki procedurze RES użytej w kodzie wyświetlna się nam macierzkorelacji resztowej. Wzdłuż przekątnej znajdują się wartości 1− h2

i ,czyli nasza wariancja specyficzna lub inaczej wyjątkowość(uniquness).











Wartości te są obliczane według następującego wzoru:






Gdy zwiększamy ręcznie w kodzie liczbę ładunków to wartości takiejak: łączne końcowe oszacowanie ładunków oraz procent całejzmienności wariancji, są coraz większe. Natomiast korelacjeresztowe są coraz mniejsze. Należy jednak pamiętać, że nasz modelanalizy czynnikowej ma sens wtedy, gdy liczba czynników jest maław porównaniu z liczbą zmiennych wejściowych.






Metoda największej wiarygodności

Określenie największej wiarygodności dla ładunków czynnikowychi wariancji specyficznych możemy otrzymać, jeśli wspólne czynnikiF i specyficzne czynniki ε mają rozkład normalny (przypomnienie:Xj − µ = LFj + εj) oraz X1,X2, ...,Xn są losową próbą z Np(µ,Σ).Funkcja prawdopodobieństwa przedstawia się wzorem

co zależy od L i Ψ, występujące we wzorze Σ = LL′ + Ψ.






Ten wzór wciąż nie jet dobrze zdefiniowany przez wielokrotnośćwyboru L (dzięki transformacjom ortogonalnym). Jednoznacznegowyboru L dokonujemy przez nałożenie dodatkowego warunku:∆ = L′Ψ−1L, gdzie ∆ jest macierzą diagonalną.

W metodzie największej wiarygodności należy maksymalizowaćwzór funkcji prawdopodobieństwa podany powyżej.

Istnieją już skuteczne programy komputerowe, które umożliwiająłatwe otrzymanie tych estymacji.Zasoby zmienności wspólnej, określone metodą największejwiarygodności, wynoszą: h2

i = 2i1 + 2

i2 + ...+ 2im dla i = 1, 2, ..., p

a więc

Część całkowitej wariancji z próby ze względu na j-ty czynnik21j + 2

2j + ...+ 2pj

s11 + s22 + ...+ spp






Do określenia liczby wspólnych czynników wykorzystujemy:

badanie współczynnika wiarygodności (likelihood ratio test) -daje ono możliwość sprawdzenia hipotezy, że k-czynnikowymodel jest właściwy, gdzie k jest znaną liczbą całkowitą.Używając tego testu można zweryfikować hipotezę zerową

H0 : Σ = LL′ + Ψ,Rank(L) = k

kryterium informacyjne Akaike - model k-czynnikowy z koznaczającym najmniejszą wartość AIC(k) jest uważany zanajlepszy.






Przykład2-Analiza czynnikowa dla danych cen akcji przyużyciu metody największej wiarygodności

Rozważmy ceny akcji składające się z n=100 tygodniowych stópzwrotu. Stopy zwrotu są określone następującym wzorem: (cenazamknięcia w bieżącym tygodniu - cena zamknięcia w poprzednimtygodniu)/(cena zamknięcia w poprzednim tygodniu). Mamy pięćzmiennych(akcji):

X1 = J P MORGAN

X2 = CITIBANK

X3 = WELLS FARGO

X4 = ROYAL DUTCH SHELL

X5 = EXXON MOBILE






Kod SAS

data set1;infile "G:\STATYSTYKA-PREZENTACJA\stocks.dat.txt";input x1-x5;label x1 = J P MORGAN

x2 = CITIBANKx3 = WELLS FARGOx4 = ROYAL DUTCH SHELLx5 = EXXON MOBILE;

run;

proc factor data=set1 method=mlnfact=1 res;var X1-X5;priors smc;run;






Do użycia metody największej wiarygodności wykorzystujemy opcjęMETHOD=ML w procedurze FACTOR. Dla tego algorytmu,estymatory h2

i muszą być podane używając opcji PRIOR=. Istniejekilka możliwości wyboru estymatorów h2

i . Opcją domyślną jestwielokrotna korelacja kwadratowa,która jest definiowana przezprocedurę PRIOR=SMC. Wyróżniamy również:

PRIOR=ASMC - skorygowana wieloraka korelacja kwadratowa

PRIOR=MAX - maksimum wartości bezwzględnej korelacji






Estymacja h2i metodą wielorakiej korelacji kwadratowej

Niech R−1 = (r ij) będzie macierzą odwrotną do macierzy korelacjiR. Popularnym podejściem do estymowania Ψi jest przyjęcie

Ψi =1r ii

, i = 1, .., p

Jest to równoważne estymacji i-tego elementu h2i , którego

estymator jest postaci

h2i = 1− Ψi = 1− 1

r ii= SMCi

który jest równy współczynnikowi wielokrotnej korelacjikwadratowej między zmienną xi (i-tym elementem wektorazmiennych x) i pozostałymi p-1 elementami wektora x.






Macierz pseudo korelacji Ra zadana równaniem

Ra = R − Ψ,

gdzie elementy na diagonali h2i zastępują h2

i , jest teraz użyta dowykonania analizy czynnikowej.W SAS, używając opcji PRIORS = SMC w procedurze PROCFACTOR estymacja zasobów wariancji wspólnej jest realizowana zapomocą metody SMC. Całkowita wariancja wspólna jest wtedyestymowana przez ∑p

i=1 SMCi .






Chcemy wyznaczyć najmniejszą liczbę czynników, które mogąopisać dane , za pomocą formalnych testów statystycznych orazkryterium AIC.

Hipoteza zerowa dla modelu k- czynnikowego

H0: liczba czynników k jest wystarczająca

W SASie liczbę czynników wybieramy procedurą NFACT=k lubNFACTORS=k






Widzimy, że dla modelu jednoczynnikowego (k = 1) p = 0.0085.Stąd wniosek, że ten model jest niewystarczający.






Model z k = 2 czynniki jest wystarczających, gdyż p jestdostatecznie duże i wynosi 0.4482. Dla tej wartości k, kryteriumAIC osiąga swoje minimum równe -1.4016027.






Model 1- czynnikowy






Dla modelu jednoczynnikowego ostateczne estymatory h2i to

wartości w kolumnie ’Wspólna wariancja czynnikowa’. Wariancjatłumaczona pojedynczym czynnikiem (podana w tabelce’Wariancja wyjaśniona przez każdy z czynników- nieważone’) to2.33012443.Ważona suma wariancji, pokazana w kolumnie ’Ważona’ jestliczona za pomocą wzoru:

5∑i=1

wih2i =

5∑i=1

h2i

ψi=

5∑i=1

h2i

1− h2i

wynosi 4.65060640.






Model 2- czynnikowy

Pierwszy czynnik wyjaśnia 2.42474652 całkowitej wariancji, a drugi0.56672977.Łącznie dwa czynniki wyjaśniają 2.99147629 wariancji.






Interpretacja: Wszystkie zmienne mają ładunki dodatnie dla F1

oraz ładunki te mają podobne (stosunkowo wysokie) wartości.Zatem czynnik F1 przedstawia ogólne warunki ekonomiczne i możebyc nazywany czynnikiem rynkowym. Drugi czynnik F2

kontrastuje akcje bankowe z akcjami ropy naftowej- czy akcjachbankowych pojawiają się współczynniki ujemne, a przy akcjachropy naftowej współczynniki dodatnie. Może być on nazwanyczynnikiem sektorowym.






Kod SAS- kontynuacja przykładu 1.

data spearman (type=corr);_type_=’corr’;if _n_=1 then _type_=’N’;infile cards missover;input _name_ $ c f e m d mu;lines;n 33c 1.0f .83 1.0e .78 .67 1.0m .70 .67 .64 1.0d .66 .65 .54 .45 1.0mu .63 .57 .51 .51 .40 1.0;

proc factor data=spearman method=ml res scree;var c f e m d mu;title3 ’Maximum Likelihood Method’;run;






Wyniki w SAS

























Założenia i cel rotacji czynnikówRotacja VarimaxInne rotacje ortogonalne

Rotacja czynników

Jak wspomnieliśmy wcześniej, macierz ładunków L nie zmieniaswoich własności po wymnożeniu jej przez dowolną macierzortogonalną. Taką transformację utożsamiać można z obrotem osiukładu współrzędnych, które w naszym przypadku odpowiadająkolejnym czynnikom F1, ...Fm. Z tego powodu transformację tąnazywamy rotacją czynników.






Jeśli jako L oznaczymy p x m - wymiarową macierzwyestymowanych ładunków to macierz

L∗ = LT , gdzie TT ′ = T ′T = I

jest p x m - wymiarową macierzą obróconych ładunków. Równanie

LL′ + ψ = LTT ′L′ + ψ = L∗L∗′ + ψ.

pokazuje, że macierz kowariancji (lub korelacji) nie ulega zmianie wwyniku tej transformacji. Również wariancje specyficzne ψ,wariancje wspólne h2

i i macierz residuów nie zmieniają się. Dlategoz matematycznego punktu widzenia nie ma znaczenia której zmacierzy, L czy L∗, użyjemy do obliczeń.






Celem rotacji czynników jest uzyskanie macierzy L∗, którapozwoliłaby na prostą interpretację zależności poszczególnychzmiennych od czynników F1, ...,Fm. Idealna jest sytuacja, w którejkażda ze zmiennych ma duży ładunek na tylko jednym czynniku imałe ładunki na pozostałych. Zdarza się to bardzo rzadko, aleistnieje wiele sposobów rotacji macierzy L, które pomagają wotrzymaniu możliwie prostych w interpretacji wyników.






Aby zobrazować ideę rotacji posłużymy się prostym przykładem dladwóch czynników (m=2). W tym przypadku problem można częstorozwiązać graficznie: osie układu współrzędnych oznaczamy przezF1 i F2, a pary ładunków (li1, li2) dla i=1,..,p traktujemy jakopunkty układu.Najprostszym przykładem rotacji jest obrót osi o kąt φ. Wówczasmacierz obrotu T ∈ M2x2 ma postać:

T =

[cosφ sinφ− sinφ cosφ

]






Przykład

Poniżej przedstawiona jest macierz korelacji wyników egzaminów zp=6 przedmiotów dla 220 studentów.






Za pomocą metody największej wiarygodności estymujemy ładunkiotrzymując następujące wyniki:






Ładunki na czynniku F1 są dodatnie na wszystkich zmiennych.Można interpretować go więc jako czynnik ogólnej inteligencji.Ładunki na czynniku F2 są dodatnie dla przedmiotówhumanistycznych, a ujemne dla matematycznych, więc możnazałożyć, że wskazuje on na typ inteligencji (zdolnościmatematyczne lub humanistyczne).Rysunek na kolejnym slajdzie przedstawia graficznie umiejscowieniepunktów (li1, li2) odpowiadających kolejnych zmiennym naukładzie współrzędnych F1,F2.






Układ współrzędnych obrócono o kąt φ = 20◦ tak, aby oś F ∗1przechodziła przez punkt 4. W ten sposób uzyskaliśmy układ, wktórym zmienne 1,2,3 są skupione blisko osi F ∗2 , a zmienne 4,5,6blisko osi F ∗1 .






Możemy z tego wywnioskować, że zmienne 1,2 i 3 mają dużeładunki na F ∗1 , a zmienne 4,5 i 6 na F ∗2 . Czynnik F ∗1 interpretujemywięc jako czynnik zdolności matematycznych, a F ∗2 jako czynnikzdolności humanistycznych.Wpływ czynnika ogólnej inteligencji F1 rozbił się więc na dwa noweczynniki umożliwiając bardziej precyzyjną interpretację.Rezultaty otrzymane z graficznego przedstawienia problemupotwierdzić można wyliczając macierz L∗.

L∗ = L ∗ T =

.553 .429

.568 .288

.392 .450

.740 −.273

.724 −.211

.595 −.132

∗[

cos 20◦ sin 20◦

− sin 20◦ cos 20◦

]











Rotacja Varimax

W bardziej złożonych przypadkach np. gdy mamy więcej niż trzyczynniki metoda graficzna jest nieskuteczna.Wtedy najczęściej stosowanym typem rotacji jest znormalizowanarotacja varimax. Procedura varimax polega na znalezieniumacierzy ortogonalnej T ∈ Mmxm, która maksymalizuje wartośćwyrażenia

V =m∑j=1

{1p

p∑i=1

(l∗2ij

hi

)2

−[

1p

p∑i=1

l∗2ij

hi

]2}

gdzie l∗ij dla są elementami obróconej macierzy ładunków

L∗ ∈ Mpxm.






Wyrażenie V to suma liczonych kolumnowo wariancji zpodniesionych do kwadratu i skalowanych wartościami hiładunków. Maksymalizacja V to próba jak największegozróżnicowania wartości lij dla każdego czynnika Fj tak, aby możliwebyło zidentyfikowanie zmiennych, na które dany czynnik wpływa wdużym stopniu i takich, na które ma tylko śladowy wpływ.






Przykład

W 1970 roku Sinha i Lee przeprowadzili badania prób ziarenpszenicy, owsa, jęczmienia i żyta pochodzących z różnych częścikanadyjskiej prerii. Próby pobrane zostały w terminalachrozładunkowych Thunder Bay (Ontario)podczas rozładowywaniawagonów kolejowych. Celem badania było ustalenie ewentualnychzależności między własnościami ziarna a jego zarobaczeniempewnymi gatunkami stawonogów. Zebrano 165 próbek i nierozróżniano ich pod względem gatunku zboża.






Zmienne środowiskowe:GRADE - określa jakość ziarna w skali od 1 (najniższa) do 6(najwyższa)MOIST - wyrażona w procentach wilgotność ziarnaDOCK - (dockage - potrącenie) mierzy ilość ziaren chwastów,zniszczonych ziaren zbóż i innych niepożądanych materii w próbie

Zmienne zliczające ilość znalezionych w próbie osobnikówstawonogów 6 wyróżnionych gatunków:roztocza: ACAR - Acarus, Rozkruszek, CHEY - Cheyletus,GLYC - Glycychagus, LARS - LarsonemusorazCRYP - Cryptolestes - rodzaj chrząszczaPSOC -Psocoptera, Psotniki - rząd owadów (do kilku mmdługości)






Zmienne GRADE i DOCK przekształcono, jako nowe zmienneprzyjmując pierwiastki kwadratowe wartości pierwotnych.6 zmiennych określających ilość stawonogów przekształconoużywając tranformacji logarytmicznej o podstawie 10.

Wybrano estymację metodą głównych czynnikówMETHOD=PRIN. Nie określamy z góry liczby czynników.






Kod w SAS
















Na podstawie wyjściowej (nieobróconej) macierzy L trudno jestznależć oczekiwane zależności między zmiennymi. Nie daje onazadowalającego wyniku, więc konieczne jest zastosowanie rotacji.

Po transformacji macierzy L nowy czynnik F ∗1 wskazuje nazależność między występowaniem roztoczy z gatunków Cheyletus iLarsonemus a wilgotnością ziarna - można wnioskować że rozwijająsię one dobrze w wilgotnym środowisku.Czynnik F ∗2 zdaje się opisywać szerzej pojętą jakość towaru: jakośćziarna GRADE i ilość odpadów DOCK. Zależność między tymizmiennymi zdaje się logiczna.Czynnik F ∗3 opisuje ilość stawonogów z gatunków Glycychagus iCryptolestes. Ładunki na tych zmiennych mają przeciwne znaki, cosugeruje, że odpowiadają im skrajnie różne środowiska lub sąnaturalnymi wrogami.






Inne rotacje ortogonalne

Poniżej prezentujemy inne powszechnie stosowane rotacjeortogonalne. Każda z nich polega na znalezieniu macierzyortogonalnej T maksymalizującej wartość pewnego wyrażenia.„surowa” rotacja varimax maksymalizująca

V 2 =m∑j=1

{1p

p∑i=1

(l∗2ij

)2−[

1p

p∑i=1

l∗2ij

]2}

czyli sumę liczonych po kolumnach wariancji z kwadratówładunków.rotacja equamax maksymalizująca wyrażenie

1p

m∑j=1

[p∑

i=1l∗4ij − m

2p

( p∑i=1

l∗2ij

)2]

która próbuje przypisać każdej zmiennej duży ładunek na tylkojednym czynniku.






rotacja quartimax maksymalizująca wartość wyrażenia

Q = 1pm

∑i , j

l∗4ij −(

1pm

∑i , j

l∗2ij

)2

czyli wariancję z kwadratów ładunków.

rotacja orthomax maksymalizująca wyrażenie

1p

m∑j=1

[p∑

i=1l∗4ij −

γp

( p∑i=1

l∗2ij

)2]

dla dowolnie wybranego γ ∈ (0, 1)






Aby zastosować wybraną metodę rotacji w SAS-ie wystarczywykorzystać opcję ROTATE= i wpisać nazwę rotacji. Dodatkowo,dla rotacji orthomax należy określić wartość parametru gammaopcją GAMMA= .






Kod dla danych z poprzedniego przykładu











Jeśli żadna z ortogonalnych rotacji nie da zadowalającychrezultatów możemy zastosować rotację ukośną. Jej celem jestopisanie każdej ze zmiennych przy pomocy jak najmniejszej ilościczynników, w idealnym przypadku od jednego. Polega ona natakim przesunięciu osi, aby przechodziły one dokładnie przezskupiska punktów oznaczających ładunki. Osie wynikowe nie sąwzględem siebie ortogonalne.Takie przekształcenie prowadzi do otrzymania czynników, którebędą między sobą skorelowane.





Podstawowe informacjeWażona metoda najmniejszych kwadratówMetoda RegresjiKrótki przykład zależnościKrótki przykład tworzenia różnych wyników sumarycznych

Wartości czynnikowe

W analizie czynnikowej najczęściej skupiamy się na interpretacjiwpływu poszczególnych czynników na badane zmienne. Jednakczasem aby przeprowadzić dalszą analizę na zredukowanej ilościdanych potrzebujemy oszacować wartości nieobserwowalnychzmiennych Fi . Te estymacje nazywamy wartościami czynnikowymi.

Nie należy ich jednak rozumieć jako zwykłej estymacji nieznanychparametrów, ale raczej jako estymacje wartości na m-wymiarowychnieobserwowalnych wektorach losowych Fj , j = 1, .., n.






Oznaczenie

fj := estymacje wartości wektorów fj przyjętych przez zmienną Fj

Tak więc współrzędne wektora fj to wartości kolejnych czynnikówF1, ....Fm przyjęte przez te zmienne dla j-tej obserwacji.

Naszym zadaniem jest estymowanie wartości m-wymiarowychwektorów fj dla każdego j ∈ 1, ..., n.






Przedstawimy dwie metody estymacji wartości czynnikowych:ważoną metodę najmniejszych kwadratów i metodę regresji. W obumusimy potraktować estymowane wartości ładunków lij orazwariancji specyficznych ψi jako wartości rzeczywiste. Potrzebnenam są wartości obserwacji na poszczególnych zmiennychX1, ...,Xp, które zwykle przekształcamy odejmując wartość średniąlub standaryzując je.

Zwykle do obliczeń wykorzystujemy macierz obróconą L∗ zamiastmacierzy L. Jak wiemy mają one te same własności, więc wdalszym opisie metod użyjemy dla uproszczenia zapisu L.






Ważona metoda najmniejszych kwadratów

Załóżmy, że znane są wektor średnich µ, macierz ładunkówczynnikowych L i wariancje specyficzne ψ dla modelu:

X − µ = LF + ε

i niech ε′ = [ε1, ε2, ..., εp] będą błędami.Wykorzystując fakt, że wariancje specyficzne Var(εi ) = ψi niemuszą być równe, chcemy wybrać taką macierz f estymującą f ,aby zminimalizować sumę kwadratów błędów ważonych przez ichwariancję, czyli wyrażenie:

p∑i=1

ε2iψi

= ε′ψ−1ε = (x − µ− Lf )′ψ−1(x − µ− Lf )






Stosując ważoną metodę najmniejszych kwadratów otrzymujemyrozwiązanie:

f = (L′ψ−1L)−1L′ψ−1(x − µ)

Podstawiając estymatory L, ψ i µ = x w miejsce odpowiednio L,ψ iµ otrzymujemy następującą estymację wektora wartości j-tegoczynnika:

Estymator wartości czynnikowych na j-tej obserwacji

fj = (L′ψ−1L)−1L′ψ−1(xj − x)






Jeśli L i ψ były estymowane metodą największej wiarygodności tomuszą one spełniać założenie o jednoznaczności wyboru macierzyL : L′ψ−1L = ∆, gdzie ∆ jest macierzą diagonalnąStąd otrzymujemy:

fj = ∆−1L′ψ−1(xj − x)

lub dla macierzy korelacji:

fj = ∆−1z L′z ψ

−1z zj

gdzie zj = D−1/2(xj − x) i ρ = Lz L′z + ψz






Metoda Regresji

W Metodzie regresji ponownie startujemy od modelu wyjściowegotzn. X − µ = LF + ε oraz zakładamy, że macierz ładunkówczynnikowych L oraz macierz specyficznych wariancji Ψ są znane.Przy założeniu łącznego rozkładu normalnego czynników F i εotrzymujemy, że liniowa kombinacja X − µ = LF + ε ma rozkład:Np(0, LL′ + Ψ). Dodatkowo łączny rozkład X − µ oraz F toNm+p(0,Σ∗) gdzie:

a 0 jest (m + p) x 1 wekorem 0.Wioleta Arym, Daria Szlagowska, Martyna Zarach, Andrzej Rebell Analiza czynnikowa i wnioskowanie dla właściwości macierzy kowariancji





Rozkład warunkowy F |x jest wielowymiarowy normalny zwartościami:

Wartości L′(LL′ + Ψ)−1 są współczynnikami w regresji czynników.Estymacja tych współczynników da nam wartości czynnikowe.Biorąc jakikolwiek wektor obserwacji xj oraz wyestymowane zMetody Największej Wiarygodności L i Ψ uzyskujemy, że j-tewartości czynnikowe wektora dane są przez:






Możemy uprościć to wyrażenie stosując następującą równość:

dzięki temu uproszczeniu możemy porównywać wartościczynnikowe uzyskane obiema metodami, tj. metodą najmniejszychkwadratów oraz regresjii. Wykorzystujemy do tego poniższy wzór:

Z estymacji metodą największej wiarygodności mamy

(L′Ψ−1L)−1 = ∆−1

oraz łatwo zauważyć, że jeżeli elementy diagonalne tej macierzy sąbliskie 0 to obie metody dają bliskie sobie wartości czynnikowe.






Wartości czynnikowe otrzymywane Metoda Regresji

By zredukować możliwość otrzymania błędnej ilości wartościowychczynników, praktycy zamiast Σ korzystają z oryginalnej macierzykowariancji S wtedy otrzymujemy wzór:

fj = L′S−1(xj − x) dla j = 1, 2, ..., n

lub gdy uwzględniamy macierz korelacji:

fj = L′zR−1zj dla j = 1, 2, ..., n

dodatkowo jeżeli korzystamy z ładunków obróconych zamiastoryginalnych(L∗ = LT ) to otrzymujemy wzór:

f ∗j = T ′fj dla j = 1, 2, ..., n















Przepis na sukcesPrzykład

Najważniejszym problemem w Analizie Czynnikowej jest wybórodpowiedniego m, czyli ilości wspólnych czynników.Najczęściej końcowa decyzja o tym ile ich wziąć wynika z 3 rzeczy:

jaki odsetek wariancji z próbki został wyjaśniony

znajomości tematu

sensowności wyników

Wybór rotacji oraz metody rozwiązywania jest mniejskomplikowany, tak naprawdę najbardziej satysfakcjonująca analizato taka w której rotację wypróbowano w paru metodach i wszystkiewyniki pokrywają się ze sobą, wtedy można uznać, że wykonaliśmydobrą robotę.






Przepis na sukces

1 Przeprowadź Metodę Głównych Składowych. Ta metoda jestnajodpowiedniejsza do pierwszych „zmagań” z naszymidanymi.(np. nie potrzeba założeń o nieosobliwości R i S)

1 Zwróć uwagę na podejrzane obserwację robiąc npwykresy.Warto również sprawdzić czy dane nie różnią się zabardzo.

2 Spróbuj rotacji varimax.

2 Przeprowadź Metodę Największej Wiarygodności, pamiętając orotacji varimax.

3 Porównaj wyniki obu metod.1 Sprawdź czy grupy ładunków są takie same2 Sporządź wykres zależności wartości czynikowych z dwóch

różnych metod.






Przepis na sukces

4 Powtórz pierwsze 3 kroki dla innego m. Sprawdź czy istotniepoprawiło to interpretację wyników.

5 Dla dużej ilości danych, podziel je na pół i przeprowadź analizę nakażdej grupie oddzielnie. Porównaj wyniki między sobą orazposzczególne z całym zbiorem.(Podział grupy według czasu ujawnidodatkowo zachodzące zmiany w czasie)






Oznaczenia

Badanie dotyczyło analizy kości i czaszki kogutów. Pełen zestawdanych zawierał n=276 wymiarów kości:

Głowa:{X1 = długość czaszkiX2 = szerokość czaszki

Noga:{X3 = długość kości udowejX4 = długość kości piszczelowej

Skrzydło:{X5 = długość kości „ramienia”X6 = długość kości „łokciowej”






Kod w SASDATA set1(type=corr);INPUT TYPE $ NAME $ X1-X6;Datalines;CORR X1 1.000 0.505 0.569 0.602 0.621 0.603CORR X2 0.505 1.000 0.422 0.467 0.482 0.450CORR X3 0.569 0.422 1.000 0.926 0.877 0.878CORR X4 0.602 0.467 0.926 1.000 0.874 0.894CORR X5 0.621 0.482 0.877 0.874 1.000 0.937CORR X6 0.603 0.450 0.878 0.894 0.937 1.000N N 276 276 276 276 276 276run;

PROC PRINT data=set1;run;

PROC FACTOR data=set1(type=corr)method=ML nfact=3 rotate=varimax res Heywood;run;

PROC FACTOR data=set1(type=corr)method=prin nfact=3 rotate=varimax res Heywood;run;






Macierz korelacji






Wyniki dla Metody Największej Wiarygodności






Wyniki dla Metody Głównych Składowych






Porównanie






Macierze korelacji

Podzielmy teraz grupę badawczą na 2 zbiory.n1 = 137 in2 = 139.Otrzymamy macierze korelacji odpowiednio:






Wyniki






DZIEKUJEMY


Documents

Analiza czynnikowa i wnioskowanie dla właściwości macierzy ... · Analiza czynnikowa może być uznawana, jako rozszerzenie do analizy głównych składowych. Obie mogą być postrzegane,