Analiza czynnikowa i wnioskowanie o strukturze macierzy ... · Analiza czynnikowa i wnioskowanie o strukturze macierzy kowariancji Katarzyna Hoﬀmann, Magdalena Czaplińska Paulina

Ortogonalny model czynnikowyMetody estymacji

Analiza czynnikowaRotacja czynnika

Wyniki czynnikoweWażona Metoda Najmniejszych Kwadratów

Metoda RegresjiPrzykłady w SAS

Analiza czynnikowa i wnioskowanie o strukturze macierzykowariancji

Katarzyna Hoffmann, Magdalena CzaplińskaPaulina Filipiak, Szymon Flohr

Politechnika Gdańska

20 maja 2014

Katarzyna Hoffmann, Magdalena Czaplińska Paulina Filipiak, Szymon Flohr Analiza czynnikowa i wnioskowanie o strukturze macierzy kowariancji





Model czynnikowy

Definicja modelu

X1-µ1=l11F1+l12F2+...+l1mFm+ε1

X2-µ2=l21F1+l22F2+...+l2mFm+ε2

.

.

.Xp-µp=lp1F1+lp2F2+...+lpmFm+εp

gdzie :X - obserwowalny wektor losowy z p-elementami,µ1,...,µp - średnie - wartości oczekiwane,F1,...,Fm - nieobserwowalne zmienne losowe zależne liniowo od X (tzw. czynnikiwspólne),ε1,...,εp - źródła zmienności - błędy, zależne liniowo od X( tzw. czynniki specyficzne),lij - czynnik ładunkowy - ładunek i-tej zmiennej na j-ty czynnik






Model czynnikowy - ciąg dalszy

Macierz kowariancji

Zakładamy istnienie macierzy kowariancji :Σ! (patrz : slajdy kolejne).

Notacja macierzowa

Zapis macierzowy przedstawia się następująco :

X(px1) - µ(px1) = L(pxm) F(mx1) + ε(px1)

gdzie :L(pxm) - macierz ładunków czynnikowych,µ(px1) - wektor średni,F(mx1) - wektor czynników wspólnych,ε(px1) - wektor błędów.






Model czynnikowy - ciąg dalszy

Uwagi

Czynniki εi powiązane są z i-tą odpowiedzią Xi

oraz p-odchylenia X1-µ1, ... ,Xp-µp są wyrażone za pomocą p+m zmiennychlosowych F1, ... ,Fm, ε1, ... ,εp, które są nieobserwowalne.To właśnie odróżnia modele czynnikowe od wielowymiarowych modeli regresji,w których zmienna losowa może być obserwowalna.






Ortogonalny model czynnikowy - wprowadzenie

Ortogonalny model czynnikowy - uwagi

Przy tak dużej ilości nieobserwowalnych wielkości bezpośrednia weryfikacjamodelu czynnikowego z obserwacji X1, ..., Xp jest kwestią beznadziejną,dlatego wektory F oraz ε zawierają dodatkowe założenia :

E(F) = 0(mx1), Cov(F) = E(FF′) = I(mxm)

E(ε) = 0(px1), Cov(ε) = E(εε′) = ψ(pxp)(macierz diagonalna)

oraz Cov(ε,F) = E(εF′) = 0(pxm)

ORTOGONALNY MODEL CZYNNIKOWY

Tak postawione założenia tworzą ortognalny model czynnikowy :X(px1) - µ(px1) = L(pxm)F(mx1) + ε(px1)






Ortogonalny model czynnikowy

Macierz kowariancji dla modelu

Jak wspomniano wczesniej ortogonalny model czynnikowy posiada macierzkowariancji :

Σ = Cov(X) = E(X-µ)(X−µ)′

= LL′

+ ψ

Krótkie uzasadnienie na podstawie założeń(patrz slajdy poprzednie):






Struktura kowariancji dla modelu ortogonalnego

Dla modelu czynnikowego ortognalnego zachodzą :

Cov(X) = LL′

+ ψ

Var(Xi ) = l2i1 + ... + l2im + ψi

Cov(Xi ,Xk ) = li1lk1 + ... + limlkm

Z powyższego wynika :

σii︸︷︷︸Var(Xi )

= l2i1 + ...+ l2im︸︷︷︸tzw.communality

+ ψi︸︷︷︸wariancjaspecyficzna

lub :h2

i = l2i1 + ... + l2im ⇒σii = h2i + ψi , gdzie σii = σ2






Struktura kowariancji dla modelu ortogonalnego - ciąg dalszy

Uwagi:

h2i - część zmienności i-tej zmiennej spowodowana m-czynnikiami wspólnymi (

common factors )ψi - część zmienności i-tej zmiennej spowodowana czynnikami specyficznymi (błędami )

Dla modelu czynnikowego ortogonalnego zachodzą również:

Cov(X,F) = L

Cov(Xi ,Fj ) = lij






Struktura kowariancji dla modelu ortogonalnego - ciąg dalszy

Charakterystyka struktury kowariancji

Model czynnikowy zakłada że p(p + 1)/2 wariancji i kowariancji dla X możebyć powielone z pm czynników ładunkowychi p wariancji specyficznych ( zmienności ).Jednakże założenie to jest poprawne, gdy p jest relatywnie większe od m.

Przykład I:

X zawiera p=12 elementów i m=2 zmienne, wtedy 12*(12+1)/2 = 78elementów Σ opisane jest przez 12*2 + 12 = 36 parametrów lij i ψi

Przykład II:

Dla m = p macierz kowariacji przedstawia się : Σ = LL′

+ ψ,gdzie : ψ to macierz zerowa.






Metody estymacji - wstęp

Uwagi

Dane mamy obserwacje x1, ... ,xn dla p skorelowanych zmiennych.Analiza czynnikowa szuka odpowiedzi na następujące pytanie :

Czy ortogonalny model czynnikowy z małą ilością czynników odpowiednioreprezentuje dane ?






Metoda głównego składnika ( i głównego czynnika )

Wstęp

Zakładamy rozkład spektralny macierzy kowariancji Σ dla par(λi ,ei )gdzie :λi - wartość własna macierzy kowariancjiei - wektor własny macierzy kowariancjiλ1 ... λp 0







Wstęp - ciąg dalszy

Taka struktura macierzy kowariancji pasuje do modelu czynnikowego, który matyle samo czynników m, co zmiennych p⇒ m=p i ψ = 0. Zatem ostatecznie możemy przedstawić aproksymację:

Gdzie :Macierz ładunków ma j-kolumn danych przez

√λjej







Wstęp - ciąg dalszy

Chociaż przedstawiona analiza i rozkład macierzy Σ z analitycznego punktuwidzienia są poprawne, w praktyce są mało użyteczne.Angażują taką samą ilość czynników jak liczba zmiennych, i nie pozwalają nawystępowanie zmienności w zakresie czynników specyficzny (blędów) - ε1.Preferujemy modele, które wyjaśniają strukturę kowariancji tylko za pomocąkilku czynników wspólnych ( common factors ).

Jedno z podejść do problemu : kiedy p - m wartości własne są małe, wtedyopuszczamy warunek :λm+1em+1e

′m+1 + ... + λpepe

′p otrzymując aproksymację:







Dołączając do wspomnianej aproksymacji czynniki specyficzne, otrzymujemynastępującą aproksymację :







Obserwacje - dane

W celu zastosowania danych (obserwacji) x1, ... ,xn zwyczajowo najpierw się”centruje” obserwacje poprzez odjęcie sredniej wektora próbki x . Zatem :

UWAGA

Tak zdefiniowane obserwacje mają macierz kowariancji S ( notabene taką samąjak ”oryginalne” obserwacje )







Standaryzacja obserwacji

Zazwyczaj stosuje się standaryzacje obserwacji :

Gdzie :macierz kowariacnji próbek S jest macierzą korelacji R obserwacjix1, ... ,xnKatarzyna Hoffmann, Magdalena Czaplińska Paulina Filipiak, Szymon Flohr Analiza czynnikowa i wnioskowanie o strukturze macierzy kowariancji






Ostatecznie model aproksymacji :

Gdzie = oznacza przybliżenie.Przy zastosowaniu macierzy kowariacnji próbek S lub macierzy korelacji Rnazywany jest rozwiązaniem składnika głównego (principal componentsolution )






Rozwiązanie czynnika głównego - principal component solution

Analiza głównego składnika modelu czynnikowego macierzy próbki kowariacnjiS jest określona za pomocą par (wartość własna,wektor własny) : (λ1,ep) , .... ,(λp,ep). Niech m < p będzie liczbą czynników wspólnych (common factors),wtedy macierz wyestymowanych ładunków czynnikowych wygląda następująco :







Wyestymowane wartości wariancji specyficznej są zapewnione przez diagonalneelementy macierzy S-LL

′, więc :

Czynniki communalities (wyestymowane) :







Jeśli liczba czynników wspólnych nie jest zdeterminowana przez odgórniepostawione założenia, wybór liczby m czynników może bazować na nawyestymowanych wartościach własnych w taki sam sposób jak na czynnikchgłównych.Rozważmy Macierz rezydualną :

Diagonalne elemnety są zerami, i jeśli elementy niediagonalne są także małe,możemy subiektywnie wiąść m- czynnikowy model jako poprawny







Idealna sytuacją przedstawiałaby się następująco - wpływ tylko kilku pierwszychczynników na wariancje próbki powiennien być duży. Wpływ kilku pierwszychczynników wspólnych na wariancje próbki sii to l2

i1,wtedy wpływ na całkowitąwariancje próbki ( s11+ ... +spp = tr(S) ) z kilku pierwych czynnikówprzedstawia się :






Kryterium

W ogólności mamy : część całkowitej wariancji próbki spowodowanej j-tymczynnikiem przedstawia się :

Wniosek

Kryterium to określa liczbę czynników wspólnych m w modelu : liczba m użytamodelu wzrasta dopóki ”odpowiednia część” całkowitej wariancji próbki niezostanie wyjaśniona






Dane preferencji konsumentówDane cen akcjiMetoda czynnika głównegoMetoda największej wiarygodnościDane cen akcji- metody największej wiarygodnościDane z Igrzysk OlimpijskichTest stosunku wiarygodności

Przykład

Przykład: Analiza czynnikowa danych preferencji konsumentów

W badaniu preferencji konsumentów losowa próbka konsumentów zostałapoproszona o ocenienie kilku atrybutów (cech) nowego produktu. Odpowiedzi,w 7-punktowej skali, zostały wprowadzone do tabeli oraz została skonstruowanamacierz korelacji atrybutów. Macierz korelacji prezentuje się następująco:







Przykład

Jest jasne z zaznaczonych kółkiem wpisów w macierzy korelacji, że zmienne 1 i3 i zmienne 2 i 5 tworzą grupy. Zmienna 4 jest ”bliżej” do grupy (2,5) niż grupy(1,3). Podając te wyniki oraz małe liczby zmiennych, możemy oczekiwać, żeoczywista liniowa zależność pomiędzy zmiennymi może być wyjaśniona wkategorii co najwyżej dwóch, trzech wspólnych czynników.Dwie pierwsze wartości własne λ1 = 2.85 i λ2 = 1.81 z R są jedynymiwartościami własnymi większymi od jedności. Co więcej, m=2 wspólnychczynników stanowi skumulowaną proporcje:

λ1+λ2p

= 2.85+1.815 = 0.93

z całkowitej (ustandaryzowanej) wariancji próbkowej.







Przykład

Estymowane ładunki czynników, wspólne czynniki (communalities) i swoiste(specific) wariancje są podane w Tabeli 9.1.







Przykład

Teraz:

Prawie odtwarza macierz korelacji R.







Przykład

Zatem, możemy ocenić dwuczynnikowy model wraz z danymi zawartymi wtabeli 9.1 jako dobre dopasowanie do danych.Wspólne czynniki (communalities) (0.98, 0.88, 0.98, 0.89, 0.93) wykazują, żedwa czynniki stanowią znaczny procent wariancji próbki każdej zmiennej.







Przykład

Przykład: Analiza czynnikowa cen akcji

Dane cen akcji składają się z n=103 tygodniowych stop zwrotu dla p=5 akcji.Weźmy m=1 i m=2, w prosty sposób uzyskamy wartości głównych składowychdla ortogonalnego modelu czynnikowego. Na ogół estymowane ładunkiczynnikowe są wartościami współczynników składowych głównych skalowanymiprzez pierwiastek kwadratowy z odpowiednich współczynników. Estymowaneładunki czynnikowe, wspólne czynniki (communalities), wariancja swoista orazudział w całkowitej wariancji próbki są wyjaśnione przez każdy czynnik dlam=1 i m=2. Wartości czynnika są przedstawione w tabeli.







Przykład

Przykład: m = 2, h21 = 0.7322 + (−0.437)2 = 0.73







Przykład

Macierz reszt odpowiadająca rozwiązaniu dla m=2 czynników ma postać:

Część całkowitej wariancji wyjaśnionej za pomocą rozwiązania z dwomaczynnikami jest znacznie większa, niż w przypadku rozwiązania z jednymczynnikiem. Jednakże w przypadku m = 2, LL′ generuje liczby, które są na ogółwiększe niż korelacja próbki. Jest to w szczególności prawdziwe dla r13







Przykład

Wydaje się to dość oczywiste dla czynnika F1, który przedstawia ogólne warunkiekonomiczne i można go nazwać czynnikiem rynku.Wszystkie akcje mająwysokie ładunki na tym czynniku i są one prawie równe. Drugi czynnikrozróżnia akcje bankowe od akcji ropy (banki mają stosunkowo dużenegatywnych ładunki, a ropa ma duże pozytywne ładunki czynnikowe).Wydajesię zatem, że F2 rozróżnia akcje w różnych branżach i może być nazwanyczynnikiem gospodarczym. Podsumowując stopy zwrotu wydają się byćustalone przez ogólne warunki rynkowe i działalności, które są unikalne dlaróżnych gałęzi przemysłu.







Zmodyfikowane podejście – metoda czynnika głównego.


Jeżeli model czynnika ρ = LL′ + ψ jest poprawnie określony, wspólne mczynników powinno stanowić część elementów spoza przekątnej macierzy ρ, jakrównież część wspólnych czynników elementów znajdujących się na przekątnej:

ρii = 1 = h2i + ψi

Jeżeli zaś udział konkretnego czynnika ψi jest usunięty z przekątnej macierzylub, równoznacznie, 1 zastępuje się h2

i , wynikowa macierz ma postaćρ− ψ = LL′.








Przypuśćmy, że mamy dostęp do początkowych obliczeń szacunkowych ψ∗i dlasprecyzowanych wariancji. Następnie zastąpmy i-ty element przekątnej macierzyR przez h∗2

i = 1− ψ∗i . Uzyskamy „zredukowany” fragment macierzy korelacji








Teraz, poza wariancją próbki, wszystkie elementy zredukowanego fragmentumacierzy korelacji R, powinny zostać zastąpione przez m wspólnych czynników.W szczególności Rr jest określone jako:

Rr = L∗r L∗r′

gdzie L∗r = l∗ij są oszacowanymi ładunkami.

Metoda głównego czynnika analizy czynnikowej wykorzystuje następująceestymatory:

L∗r = [√λ∗1 e∗1 : ... :

√λ∗me

∗m]

oraz

ψ∗i = 1−m∑

j=1

l∗2ij








Gdzie (λ∗i , e∗i ) i=1,2,...,m są największymi parami (wartość własna, wektor

własny) określonymi przez Rr . W rezultacie, wspólne czynniki mogą być wtedyszacowane (ponownie szacowane) przez:

h∗2i =

m∑j=1

l∗2ij

Rozwiązanie matody głównego czynnika może być uzyskiwane iteracyjnie (krokpo kroku) z wykorzystaniem obliczeń szacunkowych dla czynników wspólnych,które mogą stać się początkowymi oszacowaniami w następnym kroku.








W duchu rozwiązania głównego składnika, rozpatrywanie szacunkowychwartości własnych:

λ∗1 , λ∗2 , ..., λ

∗p

pomaga ustalić liczbę wspólnych czynników, które należy zachować. Dodatkowąkomplikacją jest teraz to, że niektóre z wartości własnych mogą być liczbąujemną, co jest spowodowane zastosowaniem początkowych obliczeńszacunkowych wykonanych dla czynników wspólnych. Żeby było idealnie,powinniśmy wziąć liczbę wspólnych czynników równą rzędowi zredukowanejmacierzy populacji. Niestety, rząd ten nie zawsze jest dobrze określony z Rr inasz osąd jest w tej sytuacji niezbędny.








Chociaż jest wiele możliwości wyboru początkowych szacowań wariancji,najbardziej popularnym sposobem, który wykorzystuje macierz korelacji, jest:

ψ∗i = 1/r ii

gdzie r ii oznacza i-ty element przekątnej macierzy R−1. Początkoweoszacowania czynników wspólnych mają wówczas następującą postać:

h∗i2 = 1− ψ∗i = 1

r ii

co jest równe kwadratowi współczynnika korelacji wielokrotnej między Xi ipozostałymi ρ–1 zmiennymi. Związek ze współczynnikiem korelacji wielorakiejoznacza, że h∗2

i może zostać wyliczony nawet gdy macierz R nie ma pełnegorzędu. Żeby rozłożyć S na czynniki, do oszacowania początkowej wartościwariancji używa się s ii , czyli elementów diagonali macierzy S−1.








Chociaż metoda głównej składowej dla macierzy R może być traktowana jakometoda głównego czynnika z początkowymi szacowaniami czynników wspólnychjedności lub wariancji równych zero, metody te są filozoficznie i geometrycznieróżne. W praktyce jednak , jeżeli liczba zmiennych jest duża i liczba wspólnychczynników jest mała obie te metody dają porównywalne ładunki czynnika.Nie dąży się do rozwiązania metodą głównego czynnika ponieważ wiadomo, żemetody rozwiązywania, które są najbardziej polecane to: metoda głównychskładowych i metoda największej wiarygodności, którą omówimy jako następną.







Metoda największej wiarygodności


Jeżeli założymy, że czynniki wspólne F i czynniki swoiste ε mają rozkładnormalny, wtedy możemy uzyskać estymatory największej wiarygodności zładunków czynnikowych i swoistej wariancji. Kiedy Fj i εj mają łączny rozkłdnormalny, obserwacje Xj − µ = LFj + εj mają rozkład normalny orazprawdopodobieństwo:

które zależy od L i Ψ i Σ = LL′ + Ψ








Ten model wciąż jest niezbyt dobrze zdefiniowany, z powodu mnogości wyborumacierzy L możliwej dzięki transformacjom ortogonalnym. Pożądanym jest, abydobrze zdefiniować L poprzez wygodny obliczeniowo wyjątkowy warunek:

L′Ψ−1L = ∆ - macierz diagonalna

Estymacje największej wiarygodności L i Ψ muszą być uzyskane przeznumeryczną maksymalizację prawdopodobieństwa L(µ,Σ) .








Rezultat

Niech X1,X2, . . . ,Xn będą losową próbą z wielowymiarowego rozkładunormalnego Np(µ,Σ), gdzie Σ = LL′ + Ψ jest macierzą kowariancji modeluortogonalnego z m wspólnymi czynnikami omówionego na poprzednichslajdach. Estymatory największej wiarygodności L, ψi µ = x maksymalizująprawdopodobieństwo L(µ,Σ) wyliczone na poprzednim slajdzie z zastrzeżeniem,że L′Ψ−1L jest macierzą diagonalną.

Estymacje największej wiarygodności wspólnych czynników wynosząh2

i = l2i1 + ...+ l2

im dla i = 1, ..., p zatem:







Analiza czynnikowa danych dotyczących ceny akcji przy użyciu metodynajwiększej wiarygodności

Analiza czynnikowa danych dotyczących ceny akcji przy użyciu metodynajwiększej wiarygodności

Dane ceny akcji zostały ponownie przeanalizowane przy użyciu metodynajwiększej wiarygodności, zakładając model czynnika m=2. Oszacowaneładunki czynnika, czynniki wspólne, konkretne wariancje oraz stosunek wariancjicałej próbki (standaryzowanej) wyjaśnionej przez każdy z czynników zostałyprzedstawione w tabeli:







Przykład

Odpowiednie wykresy dla m = 2 , uzyskane za pomocą metody głównychskładowych również są dane. Wspólne czynniki odpowiadające największemuprawdopodobieństwu rozkładu macierzy R na czynniki mają postać:

h2i = l2

i1 + l2i2

Niech, na przykład: h21 = 0.1152 + 0.7652 = 0.58

Macierz reszt ma postać:







Przykład

Elementy macierzy R − LL′ − Ψ są znacznie mniejsze niż te, które występują wmacierzy reszt R, odpowiadającej rozkładowi na czynniki metodą głównychskładowych.Łączny stosunek wariancji całej próbki wyjaśnionej przez czynniki jest większydla rozkładu metodą głównych składowych niż metodą największejwiarygodności.Skupiając się na rozwiązaniu uzyskanym metodą największej wiarygodności,możemy zauważyć, że wszystkie zmienne mają dodatnie ładunki na F1. Czynnikten nazywamy czynnikiem rynkowym. Interpretacja drugiego czynnika nie jesttak łatwa, jak wydaje się być przy rozwiązaniu uzyskanym metodą głównychskładowych. Akcje banku mają większe dodatnie ładunki, zaś akcje ropy mająnieistotne ładunki drugiego czynnika F2. Z tej perspektywy, drugi czynnikodróżnia akcje banku od akcji ropy i może być nazywany czynnikiemgospodarczym, lub po prostu czynnikiem bankowym.







Przykład

Wzorce obciążeń początkowego czynnika rozwiązania otrzymanego metodąnajwiększej wiarygodności są ograniczone przez unikalny warunek, czyli że

LΨ−1L

jest macierzą diagonalną. Zatem użyteczne wzorce czynników często nieujawniają się, dopóki czynniki nie zostaną obrócone.







Analiza czynnikowa

Analiza czynnikowa danych z Igrzysk Olimpijskich w dziesięcioboju

Linden pierwotnie przeprowadzał analizę czynnikową badając wyniki z IgrzyskOlimpijskich w dziesięcioboju z wszystkich 160 ukończonych startów od końcaII Wojny Światowej, aż do połowy lat siedemdziesiątych. Naśladując jegopodejście badamy n=280 ukończonych startów od 1960 do 2004.Zarejestrowane dla każdych konkurencji sportowych wartości zostałystandaryzowane i dla określonych w czasie wydarzeń znaki zmieniały się tak ,żeduże wyniki są pozytywne dla wszystkich konkurencji sportowych. Analizujemyrównież macierz korelacji, która opiera się na wszystkich 280 przypadkachpostaci







Analiza czynnikowa cd.

Z perspektywy analizy czynnikowej głównych składowych, pierwsze czterywartości własne 4.21, 1.39, 1.06, 0.92 z R sugerują rozwiązanie dla czynnika zm=3 lub m=4. Późniejsza interpretacja, podobnie jak oryginalna analizyLinden’a, popiera wybór m=4.








W tym przypadku te dwie metody rozwiązania wygenerują bardzo różne wyniki.Rozkład na czynniki pierwsze głównej składowej dla wszystkich konkurencjisportowych poza biegiem na 1500 ma wielkości dodatnie ładunków napierwszym czynniku. Czynnik ten może oznaczać ogólne zdolności sportowe.Czynnik 2, którego ładunek w dużej mierze zależy od biegu na 400 metrów ibiegu na 1500 metrów, może być nazywany czynnikiem wytrzymałości biegu.Naszym zadaniem pozostałe czynniki nie mogą być łatwo zinterpretowane.Dla metody największej wiarygodności, pierwszy czynnik wydają się byćczynnikiem ogólnych zdolności sportowych, ale ładunek próbki nie jest tak silnyjak w metodzie głównych składowych. Drugi czynnik jest zasadniczo silniejszymczynnikiem, ponieważ pchnięcie kulą i dyskiem zwiększa bardzo ładunek na tymczynniku. Trzeci czynnikiem jest wytrzymałość biegu, ponieważ bieg na 400metrów i bieg na 1500 metrów ma duży ładunek czynnikowy. Ponownie czwartyczynnik nie jest prosty do zinterpretowania, chociaż może mieć coś wspólnego zumiejętnością skoku lub wytrzymałością nóg.








Czwarty czynnik w metodzie głównych składowych wyjaśnia lepiej całkowitąwariancje próbki, ponieważ estymowane swoiste wariancje są duże w pewnychprzypadkach (np. rzut oszczepem). Sugeruje to, że niektóre konkurencjesportowe mogą wymagać unikalnych lub specyficznych cech nie wymaganych winnych konkurencjach sportowych. Czwarty czynnik w metodzie największejwiarygodności wyjaśnia mniej całkowitą wariancję próbki, ale poniższe macierzereszt wskazują, że metoda największej wiarygodności estymuje L i Ψ lepiejodtwarza R niż metoda głównych składowych estymuje L i Ψ.








Metoda głównych składowych:








Metoda największej wiarygodności:







Test stosunku wiarygodności

Założenie o rozkładzie normalnym populacji prowadzi bezpośrednio do testutrafności modelu. Przypuśćmy że m to liczba czynników wspólnych w modelu.W tym przypadku:

Σ = LL′ + Ψ

Testowanie trafności modelu z m czynnikami wspólnymi jest równoważne z H0

H0 : Σ(p×p) = L(p×m)L′(m×p) + Ψ(p×p)

Przeciwko H1:Σ każda inna dodatnio określona macierz. Kiedy Σ nie ma żadnejspecjalnej postaci maksimum funkcji prawdopodobieństwa jest proporcjonalnedo

|Sn|n/2e−np/2 (9-34)







Test stosunku wiarygodności cd.

Według H0 Σ jest ograniczona do postaci :

H0 : Σ(p×p) = L(p×m)L′(m×p) + Ψ(p×p)

W tym przypadku maksimum funkcji prawdopodobieństwa jest proporcjonalnedo:








Stosując 9-34 i 9-35 przeprowadzimy test stosunku wiarygodności dla H0:

Z stopniami swobody:

v − v0 = 12p(p + 1)− [p(m + 1)− 1

2 (m − 1)] = 12 [(p −m)2 − p −m]








tr(Σ−1Sn)− p = 0 zapewnia, że Σ = LL′ + Ψ jest największymprawdopodobieństwem estymacji z Σ = LL′ + Ψ. Tak więc mamy:

Bartlett wykazał, że przybliżenie chi-kwadrat do rozkładu próbkowania z −2lnΛmożna poprawić przez zastąpienie n w (9-38) mnożeniem przez czynnik:

(n − 1− (2p + 4m + 5)/6)

Stosując korektę Bartlett’a odrzucam H0 na alfa poziomie istotności jeśli:








Zapewnia to, że n i n-p są duże. Ponieważ liczba stopni swobody12 [(p −m)2 − p −m] musi być dodatnia, w następstwie tego:

m < 12 (2p + 1−

√8p + 1)

W celu zastosowania testu 9-39.

Komentarz

W realizacji testu 9-39 testujemy odpowiedniość modelu z m czynnikamiwspólnymi poprzez porównywanie ogólnej wariancji |LL′ + Ψ| i Sn. Jeśli n jestduże i m jest małe w stosunku do p, hipoteza H0 zwykle zostanie odrzucona,prowadzi to do utrzymania czynników wspólnych. Jednakże Σ = LL′ + Ψ możebyć na tyle bliska do Sn tak, że dodanie większej liczby czynników nie dostarczadodatkowej informacji, nawet jeśli te czynniki są istotne. Niektóre osądy muszązostać dokonane przy wyborze m.






Wprowadzenie- rotacja ortogonalnaPrzykład rotacji czynnikaRotacja ukośnaKryterium varimax- rotacja ortogonalnaRotacja promax- rotacja ukośna

Rotacja czynnika- podejście analityczne

Rotacja czynnika

Ładunki czynnika otrzymane z początkowych ładunków poprzez ortogonalnątransformację, mają taką samą możliwości do otworzenia macierzy kowariancji(lub korelacji). Z algebry macierzy wiemy, że ortogonalna transformacjaodpowiada niezmiennie rotacji (lub odbiciu) z osią współrzędnych. Z tegopowodu ortogonalna transformacja ładunków czynnika oraz jak wynika z tegoortogonalna transformacja czynnika nazywana jest rotacją czynnika.








Jeśli L jest p x m macierzą estymacji ładunków czynnika otrzymaną poprzezmetodę (głównych składowych, największej wiarygodności , itd.) wtedy:

L∗ = LT , gdzie TT ′ = T ′T = I

jest p x m macierzą rotacji ładunków. Ponadto estymacja macierzy kowariancji(korelacji) pozostaje bez zmian, ponieważ:

LL′ + Ψ = LTT ′L + Ψ = L∗L∗′

+ Ψ








Równanie to wskazuje, że macierz reszt pozostaje bez zmian. Ponadtowariancja swoista i wskutek tego wspólne czyniki są niezmienne. A zatem zmatematycznego punktu widzenia nie ma znaczenia, czy uzyskano L albo L∗.Ponieważ ortogonalne ładunki mogą nie być łatwo zinterpretowane, normalnąpraktyką jest obrócenie ich, aż do czasu uzyskania prostszej struktury.Uzasadnieniem jest tu bardzo zbliżony przykład wyostrzania ostrościmikroskopu w celu ujrzenia szczegółów.

Chcielibyśmy najlepiej zobaczyć wzór ładunków taki, że każda zmienna ładunkujest wysoka na pojedynczym czynniku i ma niewielkie umiarkowane ładunki napozostałych czynnikach. Jednakże nie zawsze jest możliwe uzyskanie takiejprostej struktury.








Będziemy koncentrować się na metodach graficznych i analitycznych dookreślenia rotacji ortogonalnej dla prostej struktury. Kiedy m=2 albo gdyrozważane są naraz dwa czynniki wspólne, transformacja do struktury prostejmoże być ustalona graficznie. Nieskorelowane czynniki wspólne są traktowanejako wektory jednostkowe prostopadłe wzdłuż osi współrzędnych. Wykres parładunków czynnikowych (li1, li2) daje punkt p, gdzie każdy punkt odpowiadazmiennej. Osie współrzędnych mogą być wizualnie obracane o kąt zwany φ inowe rotacje ładunków l∗ij są określone zależnością:








Zależność w (9-44) rzadko realizowana jest w dwuwymiarowej analiziegraficznej. W tej sytuacji skupiska zmiennych często są widoczne gołym okiemi skupiska te umożliwiają wyłączenie jedego z czynników wspólnych bezkonieczności sprawdzania wielkości obróconych ładunków. Z drugiej strony, dlam > 2 orientacje nie są łatwe do wyobrażenia i wielkości obróconych ładunkówmuszą być sprawdzone, aby znaleźć sensowną interpretację oryginalnychdanych.







Rotacja czynnika

Pierwsze przyjrzenie się rotacji czynnika

Lawley i Maxwell zaprezentowali macierz korelacji próbki z wyników badań dlap=6 zakresów tematycznych dla n=220 studentów płci męskiej. Macierzkorelacji :







Rotacja czynnika

Pierwsze przyjrzenie się rotacji czynnika cd.

Maksymalna wartość prawdopodobieństwa dla m = 2 czynników wspólnychdaje estymacje podaną w tabeli:







Rotacja czynnika


Wszystkie zmienne mają dodatnie ładunki na pierwszym czynniku. Lawley iMaxwell sugerują, że ten czynnik odzwierciedla ogólną reakcję studentów nanauczanie i może być oznaczony jako czynnik ogólnej inteligencji. Połowaładunków jest dodatnia, a druga połowa ujemna na drugim czynniku. Czynnik ztakim wzorcem ładunków jest nazywany dwubiegunowym czynnikiem.(Przypisanie ujemnych i dodatnich biegunów jest dowolne, ponieważ znaki zładunków na czynniku można odwrócić bez wpływu na analizę). Ten czynniknie jest prosty do zidentyfikowania, ale ma taką własność, że ludzie którzyotrzymują ponadprzeciętne wyniki na teście werbalnym uzyskująponadprzeciętne wyniki na tym czynniku. Osoby z ponadprzeciętnym wynikiemna teście z matematyki uzyskują wyniki poniżej przeciętnej na tym czynniku.Być może czynnik ten może być sklasyfikowany jako ’matematyczny-niematematyczny’ czynnik.







Rotacja czynnika


Ładunki czynnikowe pary (li1, li2) wykreślono jako punkty w figurze 9.1.

Punkty oznaczone są numerami odpowiadającym im zmiennym. Przedstawionyjest również obrót ortogonalny osi współrzędnych o kąt φ = 20. Kąt tenwybrany został w taki sposób, aby jedna z nowych osi przechodziła przez(l41, l42). Gdy tak się stanie, wszystkie punkty mieszczą się w pierwszej ćwiartce(wszystkie ładunki czynnikowe są dodatnie) i dwa odrębne skupiska zmiennychsą bardziej możliwe do zaobserwowania.







Rotacja czynnika


Ładunki zmiennych z testów matematycznych są wysokie na F ∗1 i są nieistotnena F ∗2 . Pierwszy czynnik może być nazwany czynnikiem matematycznychzdolności. Podobnie trzy zmienne testów werbalnych mają wysokie ładunki naF ∗2 i umiarkowanie małe ładunki na F ∗1 . Drugi czynnik można być nazwany jakoczynnik werbalnych umiejętności. Czynnik ogólnej inteligencji zdefiniowanypoczątkowo jest zawarty w czynniku F ∗1 i F ∗2 .







Rotacja czynnika


Obrócone ładunki czynnikowe otrzymane z (9-44) poprze obrót o φ = 20 iotrzymane estymacje wspólnych czynników pokazane są w tabeli 9.6.

Wielkości obróconych czynników ładunkowych wzmacniają interpretacjęczynników sugerowaną przez Figurę 9.1







Rotacja czynnika


Estymacje wspólnych czynników pozostają niezmienione przez ortogonalnyobrót, ponieważ:

LL′ = LTT ′L′ = L∗L∗′







Rotacja ukośna

Zwracamy uwagę, że figura 9.1 sugeruje rotację ukośną współrzędnych. Nowaoś powinna przechodzić przez grupę 1, 2, 3, a druga przez grupę 4, 5, 6. Rotacjaukośna jest tak nazywana, ponieważ odpowiada ona nieprawo stronnej rotacjiosi współrzędnych, co prowadzi do tego, że nowe osie nie są prostopadłe.

Rotacja ukośna a ortogonalna

Rozważając jako wyjściową macierz korelacji między zmiennymi i stosującrotację ortogonalną, ładunki czynnikowe są to współczynniki korelacji międzytymi zmiennymi a nowymi zmiennymi- wyodrębnionymi czynnikami. Jednakżeczasami nawet po dokonaniu ortogonalnej transformacji na macierzy ładunkówczynnikowych otrzymane wyniki mogą nadal nie być łatwe do zinterpretowania.Wtedy można zastosować rotacje ukośne prowadzące do czynnikówskorelowanych. Ortogonalna transformacja pozostawia czynniki nieskorelowane.







Rotacja czynnika

Kryterium varimax

Kaiser zasugerował środek analityczny prostej struktury zwany jako kryteriumvarimax (lub zwykłe varimax). Zdefiniowane l∗ij = l∗ij /hi obrócone zostająwspółczynniki, skalowane poprzez pierwiastek kwadratowy z wspólnychczynnków. Wtedy procedura varimax wybiera ortogonalną transformację T,która sprawia, że:

jest tak duże jak to możliwe.







Rotacja czynnika

Kryterium varimax cd.

Skalowanie obróconych współczynników l∗ij ma efekt taki, że otrzymujemyzmienne o małych wspólnych czynnikach mających stosunkowo większą wagęprzy wyznaczaniu prostej struktury. Po transformacji T jest określone, ładunkil∗ij są przemnożone przez hi więc oryginalne wspólne czynniki są zachowane.Pomimo, że (9-45) wygląda dość odpychająco ma prostą interpretację. Słownie:







Rotacja czynnika

Kryterium varimax cd.

W efekcie maksymalizacja V odpowiada rozłożeniu kwadratów z ładunków naczynniku. Z związku z tym mamy nadzieję na znalezienie skupisk z dużymi iniewielkimi współczynnikami w każdej kolumnie obróconej macierzy ładunkówL.

Istnieją algorytmy obliczeniowe w celu zmaksymalizowania V i najbardziejpopularne programy komputerowe do analizy czynnikowej (np. pakietyoprogramowania statystycznego SAS, SPSS, BMDP i MINITAB)umożliwiają użyci rotacji varimax. Jak można oczekiwać rotacja varimaxładunków czynnikowych otrzymana przez inne metody rozwiązania (metodagłównych składowych, metoda największej wiarygodności) w zasadzie niebędzie się pokrywać. Również struktura obróconych ładunków może sięznacznie zmienić, jeśli dodatkowo czynniki wspólne są zawarte w tej rotacji.Jeśli istnieje pojedynczy dominujący czynnik będzie on na ogół trudny dozinterpretowania przez rotację ortogonalną.







Rotacja czynnika

Rotacja promax

W rotacji PROMAX przyjęto, że prosta struktura otrzymana z rotacjiortogonalnej jest bliska prostej strukturze otrzymanej z rotacji ukośnej.Zaczynamy od ortogonalnie przekształconej macierzy czynników ładunkowych.Ortogonalna transformacja zazwyczaj odpowiada rotacji varimax. Zatemprzyjmujemy, że rotacją czynnikową jest VARIMAX. Niech L∗ będzie macierząładunków czynnikowych z rotacji varimax. Konstruujemy macierz wynikowąQ = (qij ) wymiaru p × k taką, że:

qij = |l∗m−1ij |l∗ij

gdzie m > 1,m ∈ Z . Zauważamy że qij oraz l∗ij mają ten sam znak i |qij | = |lmij |.







Rotacja czynnika

Rotacja promax-cd.

Uzasadnieniem, żeby wziąć qij w zależności od m-tej potęgi L∗ij jest, aby bardzomałe elementy szybko osiągnął zero. Zaproponowano, aby macierz Q byłaaproksymowana przez ukośną transformację macierzy L∗.Rotacja promax jest dana macierzą:

T = U{diag(U ′U)−1/2

}gdzie U- macierz stopnia k, U = (u1 : u2 : ... : uk ), uj - j-ta kolumna macierzy Uotrzymana w wyniku minimalizacji (qj − L∗uj )

′(qj − L∗uj ) ze wzglądu nakolumny uj macierzy U, j = 1, 2, ..., k. Wektory qj są kolumnami macierzy Q.Rozwiązania tych k problemów minimalizacji mogą być razem przedstawionejako:

U = (L∗′L∗)−1L∗′Q







Rotacja czynnika- Factor Rotation

Przykład

Przybliżony czynnik ładunków i szczególne wariancje danych dla olimpijskiegodziesięcioboju zostały już zaprezentowane. Te wielkości były pochodnymi dlamodelu 4- czynnikowego, używając obu głównych składników i maksymalnegoprawdopodobieństwa rozwiązania metod. Rotacja varmiax ładunków orazszczególne wariancje dla m=4, jest pokazana w tabeli 9.9, . Niezależnie odestymowanych ładunków, rotacja wpływa tylko na rozkład proporcjicałkowitych próbek wariancji objaśnianych przez każdy czynnik. Łącznaproporcja całkowitych próbek wariancji objaśnianych dla wszystkich czynnikównie ulega zmianie.







Rotacja czynnika

Przykład c.d.

Obracany czynnik ładunków dla obu metod rozwiązań wskazuje na te samezasadnicze atrybuty, wprawdzie czynnik 1 i 2 nie są w tej samej kolejności.Widzimy, że pchnięcie kulą, dyskiem i oszczepem (kolor czerwony) skupiają sięsilnie na 1 czynniku. Podobnie, skok wzwyż, 110 m skok przez płotki, skok otyczce i - w pewnej mierze - skok w dal (kolor zielony), skupiają się mocno nainnym (drugim) czynniku. Bieg 100m, bieg 400 m i -ponownie w pewnejmierze- skok wzwyż (kolor niebieski) skupia się mocno na trzecim czynniku. Wkońcu, bieg na 1500m i bieg na 400 m skupiają się mocno na 4 czynniku (kolorfioletowy).







Rotacja czynnika

Tabelka 9.9







Przykład c.d.

Wykres obróconego maksymalnego prawdopodobieństwa ładunków dlaczynników par (1,2) i (1,3). Punkty są ogólnie grupowane wzdłuż czynników 1)osi. Wykresy rotacyjne głównego komponentu czynników są bardzo podobne.

Wykres






Wyniki czynnikowe

W analizie czynnikowej zainteresowanie jest rzadko skoncentrowane naparametrach w czynnikowym modelu. Jednakże, szacowane wartości wspólnychczynników nazywane są wynikami czynnika, które mogą być również wymagane.Wyniki czynnikowe, nie są estymowane z nieznanych parametrów w zwykłymsensie. Raczej, są one estymowane z wartości dla niezauważonego losowegoczynnika wektorów Fj , j=1,2....n. To jest, wynik czynnika,

fj = estymowane wartości fj osiągnięte przez Fj

Estymowana sytuacja jest skomplikowana przez fakt, że niezaobserwowaneilości fj i εj przewyższają liczebnie obserwowane xj .






Wyniki czynnikowe

Opiszemy 2 z nich.Oba wyniki czynnika mają dwa wspólne elementy:

1 Traktują estymowane czynniki ładunków eij i specyficzną wariancję ψi ,jako że były prawdziwymi wartościami.

2 Angażują liniowe transformacje pierwotnych danych, być może skupionelub znormalizowane. Zwykle, estymowane obrócone ładunki, zamiastpierwotnych estymowanych ładunków, są używane do obliczania wynikówczynnika. Obliczeniowe formuły, nie zmienią się kiedy rotacyjne ładunki sązamienione na nierotacyjne ładunki, więc nie będziemy rozróżniać ichpomiędzy nimi.






Ważona Metoda Najmniejszych Kwadratów (The Weighted Least SquaresMethod)

Przypuśćmy, że dla modelu czynnikowego znane są :

µ wektor średnich,

L macierz ładunków czynnikowych

ψ specyficzne wariancje

X(px1) - µ(px1) = L(pxm) F(mx1) + ε(px1)

Dalej, zauważymy, że określone czynniki ε = [ε1, ε2, ..., εp] są błędami.Od Var(εi ) = ψi , i = 1, 2, ..., p nie wymagamy, aby były równe, Bartlettzasugerował, że ważona metoda najmniejszych kwadratów jest używana doszacowania wartości wspólnych czynnika.Suma kwadratów błędów ważonych przez ich wariancje jest postaci:∑p

i=1

ε2iψi

= εψ−1ε = (x − µ− Lf )′ψ−1(x − µ− Lf )







Bartlett proponował wybór estymatorów f z f do zminimalizowania powyższejsumy. Rozwiązaniem jest

f = (L′ψ−1L)−1L′ψ−1(x − µ)

Bierzemy estymatory L, ψ i µ = x jako prawdziwe wartości i uzyskujemyestymację wektora wartości dla j- tego czynnika

fj = (L′ψ−1L)−1L′ψ−1(xj − x)

Jeśli L i ψ są określone przez metodę największej wiarygodności, wtedy teestymatory muszą spełniać, L′ψ−1L = ∆, gdzie ∆ jest macierzą diagonalną.







Wyniki czynnikowe uzyskane przez ważoną metodę najmniejszych kwadratów zestymacji metodą największej wiarygodności

Stosując ważoną metodę najmniejszych kwadratów otrzymujemy:fj = (L′ψ−1L)−1L′ψ−1(xj − µ) = ∆−1L′ψ−1(xj − x), j = 1, 2, ..., n

lub jeśli macierz korelacji jest uwzględniona

fj = (L′z ψ−1z Lz )−1L′z ψ

−1z zj = ∆−1

z L′z ψ−1z zj , j = 1, 2, ..., n

gdzie zj = D−1/2(xj − x) i ρ = Lz L′z + ψz

Wyniki czynnikowe generowane mają średnią próbki równą 0 (wektor zerowy) izerowe kowariancje.Jeżeli obrócone ładunki L∗ = LT są użyte w miejscu oryginalnych błędów wkolejnych wynikach czynnikowych fj∗ są wyrażone jako fj przez fj∗ = T ′ fj ,j=1,2,...,n.






c.d.

Wyniki czynnikowe są następujące:

fj = (L′L)−1L′(xj − x) lub fj = (L′z Lz )−1L′zzj

dla znormalizowanych danych. Ponieważ L = [√λ1e1

...√λ2e2

.........√λmem]

mamy:

fj =

1√λ1e′1(xj − x)

2√λ2e′2(xj − x)

...1√λm

e′m(xj − x)

Dla tych wyników czynnikowych 1

n

∑n

i=1 fj = 0 (próbka średniej) i (próbkakowariancji) 1

n−1

∑n

i=1 fj f′

j = I Widziemy, że fj są niczym więcej niż pierwszymim głównymi komponentami ocenionymi na xj .






Metoda Regresji-The Regression Method

Startując ponownie z oryginalnym modelem czynnikowym X − µ = LF + ε początkowotraktujemy ładunki macierzy L i macierz specyficznych wariancji ψ jako znane. Kiedywspólne czynniki F i szczególne czynniki (lub błędy) ε mają łączny rozkład normalnyze średnimi i kowariancjami danymi przez (9-3), liniowa kombinacja X − µ = LF + εma rozkłąd Np(0, LL′ + ψ). Ponadto, łączny rozkład (X − µ) i F jest Nm+p(0,

∑∗),

gdzie

i 0 jest (m + p)xJ wektorem zerowym. Rozkład warunkowy F |x jest wielowymiarowynormalny o

średniej = E(F |x) = L′∑−1(x − µ) = L′(LL′ + ψ)−1(x − µ)

kowariancji = Cov(F |x) = I − L′∑−1

L = I − L′(LL′ + ψ)−1L






Wartości L′(LL′ + ψ)−1 są współczynnikami w regresji czynników. Szacunki tychwspółczynników produkują wyniki, które są analogiczne do oszacowań warunkowychśrednich wartości w analizach regresji wielowymiarowej. W konsekwencji, zadanywektor obserwacji xj i biorąc estymatory największej wiarygodności L i ψ otrzymujemy,że j-te wartości czynnikowe wektora dane są przez:

fj = L′∑−1

(xj − x) = L′(LL′ + ψ)−1(xj − x) j = 1, 2, ..., n

Obliczenie fj może być uproszczone przez użycie macierzy tożsamej

L′(mxp)(LL′ + ψ)−1(pxp)

= (I + L′ψ−1L)−1(mxm) L′(mxp) + ψ−1

(pxp)

Tożsamość pozwala na porównanie wyników czynnika generowanego przez argumentregresji z tymi generowanymi przez procedurę wagową najmniejszych kwadratów.Tymczasowo, oznaczamy przez f R

j i drugi przez f LSj . Potem uzyskujemy

f LSj = (L′ψ−1L)−1(I + L′ψ−1L)f R

j = (I + (L′ψ−1L)−1)f Rj






Dla estymatorów największej wiarygodności (L′ψ−1L)−1 = ∆−1 i jeżelielementy tej diagonalnej macierzy są bliskie zeru, regresja i uogólniona metodanajmniejszych kwadratów da prawie takie same wyniki czynnikowe. W próbiezredukowania efektów nieprawidłowej ilości wartościowych czynników, praktycymają tendencję do obliczania wyników czynnika przez używanie S zamiast∑

= LL′ + ψ. Następnie otrzymujemy

Wyniki czynnika otrzymane przez regresję

fj = L′S−1(xj − x), j = 1, 2, ..., n

lub jeżeli macierz korelacji jest czynnikowa

fj = L′zR−1zj , j = 1, 2, ..., n

gdzie widzimy:

zj = D−1/2(xj − x) i ρ = Lz L′z + ψz






Ponownie, jeżeli rotacyjne czynniki L∗ = LT są użyte w miejscu oryginalnychładunków kolejne wyniki czynnika fj∗ są powiązane z fj przez

fj∗ = T ′ fj j = 1, 2, ..., n

Miara liczbowa umowna pomiędzy czynnikiem wyników generowanych z dwóchróżnych kalkulacyjnych metod jest zapewniona przez próbkę korelacjiwspółczynników pomiędzy wynikami na tym samym czynniku.W zaprezentowanych metodach, żadna nie jest rekomendowana jakorównomiernie lepsza.






Przykład

Powinniśmy zilustrować obliczenia wyników czynnika przez metodęnajmniejszych kwadratów i metodę regresji używając za dane -ceny giełdowe.Rozwiązaniem największej wiarygodności z R dało szacowane rotacyjne ładunkii szczególne wariancje

Lz∗ =

0, 763 0, 0240, 821 0, 2270, 669 0, 1040, 118 0, 9930, 113 0, 675

ψz =

0, 42 0 0 0 0

0 0, 27 0 0 00 0 0, 54 0 00 0 0 0, 01 00 0 0 0 0, 53






Wektor znormalizowanych obserwacji z ′ = [0, 5 − 1, 4 − 0, 2 − 0, 7 1, 4]Ważona metoda najmniejszych kwadratów dla czynnika 1 i 2

f = (L′z ∗ ψ−1z Lz∗)−1L′z ∗ ψ−1

z z =






Regresja: f = L′z ∗ R−1z =

W tym przypadku, dwie metody produkują bardzo podobne wyniki. Wszystkie wyniki czynnikaotrzymane z regresji są zilustrowane na rys.






Przykład

Tworzenie prostych sumowań wyników z ładunku analizowanych grupowań.Główny składnik czynnikowej analizy danych cen giełdowych produkowałoszacowane ładunki

L =

0, 732 −0, 4370, 831 −0, 2800, 726 −0, 3740, 605 0, 6940, 563 0, 719

i L∗ = LT =

0, 852 0, 0300, 851 0, 2140, 813 0, 0790, 133 0, 9110, 084 0, 909

Dla każdego czynnika, bierzemy ładunki z największą absolutną wartością w Ljako równe w skali i pomijamy mniejsze ładunki. Tak więc, tworzymy liniowąkombinację :

f1 = x1 + x2 + x3 + x4 + x5

f2 = x4 + x5 − x1






c.d.

W praktyce, możemy standaryzować te nowe wartości.Jeżeli zamiast L, zaczniemy z rotacji ładunków varimax L∗, proste wynikiczynnikowe powinny być:

f1 = x1 + x2 + x3

f2 = x4 + x5

Identyfikacja wyższych ładunków i nieistotnych ładunków jest naprawdę dośćsubiektywna. Liniowe związki, które mają sens merytorycznie są korzystne






Perspektywy i Strategie dla Analizy czynnika

Najważniejszą decyzją w badaniu czynnika analitycznego jest wybór m, ilościwspólnych czynników. Badanie dużej próbki nadaje się tylko do danych, któremają przybliżony rozkład normalny.Najczęściej, ostateczny wybór m opiera się na znajomości:

jaka część wariancji próbki jest objaśniona,

znajomość tematu,

zasadność wyników.

Wybór metody rozwiązania oraz typu rotacji jest mniej istotną decyzją. Wrzeczywistości, większość zadowalających analiz czynnikowej są te, w którejrotację wypróbowano w kilku metodach, a zasadniczo wszystkie wynikipotwierdzają tę samą strukturę czynnika.






Przedstawiamy najlepszą opcję:

Przeprowadzić podstawową analizę składnika czynnika. Sposób ten jestszczególnie odpowiedni dla pierwszego przejścia przez dane (Nie jestwymagane, gdy R lub S jest nieosobliwa)a) Poszukaj podejrzanych obserwacji przez wykreślenie wyników czynnika.Oblicz znormalizowane wyniki dla każdej obserwacji i kwadraty odległości.b) Spróbuj rotacji varimax.

Wykonać analizę maksymalnego współczynnika prawdopodobieństwa, wtym rotację varimax.

Porównanie rozwiązań otrzymanych dwoma metodami.a) Czy grupy ładunków działają w ten sam sposób?b) Połącz wyniki uzyskane dla współczynnika głównych składników zwynikami z analizy prawdopodobieństwa maksymalnego.






Powtórz trzy pierwsze kroki dla innego m. Czy dodatkowe czynniki musząprzyczynić się do zrozumienia i interpretacji danych?

Dla dużej ilości danych, podziel je na pół i przeprowadzić analizę czynnikana każdej części. Porównaj te dwa rezultaty ze sobą i z tymi uzyskanymi zpełnych danych. (Podział ze względu na czas, może ujawnić informację ozmianach zachodzących w czasie.)






Przykład 1Przykład 2Przykład 3Przykład 4

Przykład 1

Przedstawione zostały badania ziaren pszenicy, owsa, jęczmienia i żytapochodzących z różnych części kanadyjskiej prerii. Celem badania jest ustalenieewentualnych zależności między własnościami ziarna a jego zarobaczeniempewnymi gatunkami stawonogów. Zebrano 165 próbek i nie rozróżniano ich podwzględem gatunku zboża. Zamiast wszystkich obserwacji, mamy daną macierzkorelacji.Oznaczenie:

GRADE - jakość ziarna w skali od 1 do 6

MOIST - wyrażona w procentach wilgotność ziarna

DOCK - ilość ziaren chwastów, zniszczonych ziaren zbóż i innych niepożądanych materii w próbie

ACAR - Acarus, Rozkruszek,

CHEY - Cheyletus,

GLYC - Glycychagus,

LARS - Larsonemus

CRYP - Cryptolestes - gatunek chrząszcza

PSOC -Psocoptera, Psotniki - rząd owadów







Kod w SAS







Rezultaty PROC FACTOR

Dla modelu 3-czynnikowego wartość p wynosi 0, 4062 > 0, 05 = α. Czyli 3czynniki wystarczają dla naszych danych.







Rezultaty PROC FACTOR

W tabelkach ”układ czynników” i ”obrócony układ czynników” koloremzielonym zaznaczyliśmy zmienne pogrupowane w czynniki.







Przykład 2

Przeanalizujemy dane społeczno-ekonomiczne zebrane przez Harman’a w 1976 (te same, którezostały poddane analizie na zajęciach z analizy głównych składowych). Mamy pięć zmiennych:całkowita populacja (Population), średnia liczba lat spędzonych w szkole (School), zatrudnienie(Employment), różnorodne profesjonalne usługi (Services), średnia wartość domu (House Value).Każda z obserwacji reprezentuje 1 z 12 obszarów spisu ludności w Los Angeles StandardMetropolitan Statistical Area.







Kod w SAS







Uzyskane rezultaty

Jeżeli do danych możemy stosować model czynników wspólnych, częściowa korelacja powinna byćmała w porównaniu do korelacji oryginalnej. Na przykład, częściowa korelacja pomiędzy zmiennymiSchool oraz House Value wynosi 0,65, czyli nieco mniej niż oryginalna korelacja (0,86). MiaraKaisera podsumowuje, dla każdej zmiennej z osobna oraz dla wszystkich wspólnie, o ile częściowakorelacja jest mniejsza niż oryginalna. Porządane są wartości tej miary na poziomie 0,8 lub 0,9, awartości poniżej 0,5 są nieakceptowalne.







Kwadraty korelacji wielokrotnej są przedstawione jako oceny ładunków a prioriw tabeli wynikowej. Opcja PRIORS=SMC zastępuje elementy przekątnejoryginalnej macierzy korelacji kwadratami korelacji wielokrotnych. Ponieważkwadraty korelacji wielokrotnych są zazwyczaj mniejsze niż 1, uzyskaną macierzkorelacji nazywamy zredukowaną.Dwie pierwsze wartości własne wyjaśniają 101, 3% wspólnej wariancji. Sugerujeto, iż możliwe jest, że nie potrzebujemy więcej niż 2 czynników wspólnych.Poniższe wykresy potwierdzają tą teorię.













PROC FACTOR zwraca nam dwa czynniki, co potwierdza tezę o dwóchczynnikach podaną na podstawie wykresów.Końcowe oszacowania ładunków są zbliżone do ocen a priori.Korelacje resztowe (pozadiagonalne) są małe, największa wynosi 0,03.Korelacje częściowe również nie są zbyt duże.







Na wykresie widzimy, że początkowy schemat czynników ukazuje dwa wyraźneskupiska zmiennych (pierwsze - Population i Employment oraz drugie - School iHouseValue). Zmienna Services jest pomiędzy nimi, jednak bliżej drugiegoskupiska.







Wyniki prerotacji Varimax

Dzięki zastosowaniu opcji REORDER możemy odczytać skupiska zmiennych z tabeli ”‘Obróconyukład czynników”’. Pierwszy czynnik związany jest bardziej z trzema pierwszymi zmiennymi, drugizaś z dwiema ostatnimi. Wariancja wyjaśniona przez każdy z czynników jest bardziej równomiernierozłożona niż na początku (bez rotacji).













Metoda rotacji Promax

Czynnik 1 wyjaśnia 2,248 wariancji zmiennych z wyłączeniem wariancjizmiennych wyjaśnionych przez czynnik 2.













Przykład 3

Dane z poprzedniego przykładu poddamy teraz analizie czynnikowej metodąnajwiększej wiarygodności.

Kod w SAS







Metoda największej wiarygodności dla 1 czynnika













Już po 3 iteracji kryterium zbieżności zostało spełnione. Patrzymy zatem na tabelkę z testami.Widzimy, że należy odrzucić obie hipotezy zerowe, ponieważ p-value jest mniejsze niż 0,05.Przechodzimy więc do sprawdzenia hipotezy o występowaniu 2 czynników.







Metoda największej wiarygodności dla 2 czynników



















W tym przypadku, po 5 iteracji kryterium zbieżności jest spełnione, zatemmożemy przejść do badania prawdziwości hipotezy, że model dwuczynnikowyjest odpowiednio dopasowany do naszych danych. Widzimy, że wartość pwynosi 0, 1382 > 0, 05 czyli nie mamy podstaw do odrzucenia hipotezy zerowej.Sprawdzimy jeszcze, jakie otrzymamy rezultaty dla 3 czynników.







Metoda największej wiarygodności dla 3 czynników



















W przypadku n=3 SAS ostrzega, że jest zbyt wiele czynników i nie uzyskamyjednoznacznego rozwiązania. Wystąpił również błąd po 4 iteracjach:rozwiązanie zbliżone, ale nie optymalne, czyli kryterium zbieżności nie jestspełnione. Liczba stopni swobody dla testu chi-kwadrat wynosi -2, zatem nieuzyskamy wartości p. Ostrzeżenie ”zmień istrukcję priors” oznacza, że SAS niemoże wykonać analizy czynnikowej i należy ”zadać” miejsce, od którego mazacząć. Trzeba wówczas dopisać w kodzie ”PRIORS=ALL” lub”PRIORS=SMC”. W powyższym przykładzie ani jedna ani druga metoda nieprzyniosła oczekiwanych rezultatów.

Podsumowanie

Metoda największej wiarygodności również potwierdza, że najbardziejodpowiedni będzie model dwuczynnikowy.







Przykład 4

Dane zostały wzięte z książki ”Modern Factor Analysys”. Mamy daną macierzkorelacji, dla wyników 24 testów psychologicznych. Wykonamy analizęczynnikową w SAS Enterprise Guide.

Po utworzeniu zbioru danych, klikamy:







W miejsce ’zmienne analizowane’ przenosimy zmienne test1-test24







W metodzie wyodrębniania czynników wybieramy: analiza czynnikowanajwiększej wiarygodności







Następnie, w menu obrót i wykresy, po prawej stronie zaznaczamy wykresosypiska wartości własnych, możemy również zmienić metodę obrotu:







W rezultatach zaznaczmy następujące wyniki i statystyki:

i klikamy uruchom.Katarzyna Hoffmann, Magdalena Czaplińska Paulina Filipiak, Szymon Flohr Analiza czynnikowa i wnioskowanie o strukturze macierzy kowariancji






Rezultaty

Z wykresu możemy odczytać, że będziemy mieli 5 czynników.Katarzyna Hoffmann, Magdalena Czaplińska Paulina Filipiak, Szymon Flohr Analiza czynnikowa i wnioskowanie o strukturze macierzy kowariancji






Po pięciu iteracjach kryterium zbieżności zostało spełnione, zatem z następnej tabeli odczytujemywartość p = 0, 1139 > 0, 05, która potwierdza hipotezę zerową mówiącą o tym, że najlepszy donaszych danych jest model pięcioczynnikowy.







W powyższej tabeli zaznaczone zostały zmienne pogrupowane w każdy zczynników. Np. testy 5,9,6,7,8 są wspólnymi czynnikami, zatem można jezastąpić jedną zmienną Factor1.







Bibliografia

Richard A.Johnson, Dean W. Wichern- Applied Multivariate StatisticalAnalysis, Sixth Edition

Ravindra Khattree, Dayanand N.Naik- Multivariate Data Reduction andDiscrimination with SAS Software

Harry H. Harman- Modern Factor Analysys


Documents

Analiza czynnikowa i wnioskowanie o strukturze macierzy ... · Analiza czynnikowa i wnioskowanie o strukturze macierzy kowariancji Katarzyna Hoﬀmann, Magdalena Czaplińska Paulina