Upload
ovid
View
31
Download
0
Embed Size (px)
DESCRIPTION
Statistické metody a hodnocení morfologických dat. Pavel Trávníček BÚ AV ČR, PřF UK [email protected]. Fenetické metody. Zpravidla mnohorozměrná data sestávající z předem definovaných znaků Studované objekty jsou posuzovány na základě podobnosti (resp. vzdálenosti) těchto znaků - PowerPoint PPT Presentation
Citation preview
Statistické metody a hodnocení morfologických dat
Pavel Trávníček
BÚ AV ČR, PřF UK
Fenetické metody
Zpravidla mnohorozměrná data sestávající z předem definovaných znaků
Studované objekty jsou posuzovány na základě podobnosti (resp. vzdálenosti) těchto znaků
Všechny znaky mají stejnou váhu a nejsou rozlišovány homologické a nehomologické znaky
Zpracování mnohorozměrných dat
Shlukové analýzy (UPGMA, SL, WARD) Ordinační metody (PCA, PCoA) Diskriminační analýzy (CDA, Klasifikační
DA)
Znaky
Kvalitativní binární vícestavové
Semikvantitativní (odhadové stupnice)
Kvantitativní nespojité (počty) spojité (metriky)
Znaky – jaké zahrnout?
Čím více tím lépe Všechny diagnostické Pokud možno kvantitativní či binární Nezávislé na prostředí Znaky s normálním rozdělením
Transformace dat
Logaritmická transformace (logarithmic transformation):
Naměřené hodnoty se nahrazují jejich logaritmem
x’ij = logc xij nebo x’ij = logc (xij + konst.)
Standardizace dat Centrování (centring, standardizace na průměr rovný nule)
x’ij = xij – xi
Centrování nemění jednotky, ve kterých jsou znaky měřené, mění se jen poloha nulového bodu v soustavě souřadnic.
Standardizace směrodatnou odchylkou (standardization by standard deviation)
kde si je směrodatná odchylka znaku i
doporučuje se použít v případech, kdy jsou znaky měřené v odlišných škálách a jednotkách
Standardizace rozpětím (standardization by range, ranging)
pro měření ve stejném měřítku, ale s velkými rozdíly hodnot (převod do intervalu [0,1])
i
iijij s
xxx
ijjijj
ijjijij xx
xxx
minmax
min
Koeficienty vyjadřující vztahy mezi objekty nebo znaky (resemblance coefficients)
koeficienty vzdálenosti pro kvantitativní a binární znaky (metric distances)
koeficienty podobnosti pro binární znaky (binary similarity coefficients)
koeficienty pro smíšená data (coefficients for mixed data)
korelační koeficienty (correlation coefficients)
Metriky (vzdálenosti)
Euklidovská vzdálenost (Euclidean distance):
EU=c
kde xij je hodnota znaku i pro objekt j, xik je hodnota znaku i pro objekt k, n je celkový
počet znaků
n
iikjikj xxEU
1
2
Manhattanská metrika(City block)
CB=a+b
n
iikijkj xxCB
1
Koeficienty podobnosti pro binární data
Koeficient jednoduché shody (simple matching):
Jaccardův koeficient:
Nei & Li (1979): Link et al. (1995):
genetické vzdálenosti podle Nei & Li (1979), Link et al. (1995) využívané při NJ, PCoA odpovídají také tomuto typu koeficientů
object 2
object 1
1 0
1 a b
0 c d
dcba
daSM
cba
aJAC
cba
aNL
2
21
acb
cbL
Koeficienty pro smíšená data
Gowerův koeficient:
a) pro binární znaky:wijk = 1 a sijk = 0 pokud xik xjk (hodnoty znaku k pro objekty i a j)wijk = sijk = 1 pokud xik = xjk = 1 nebo pokud xik = xjk = 0 a negativní shoda se bere do úvahy (odpovídá koeficientu jednoduché shody)wijk = sijk = 0 pokud xik = xjk = 0 a negativní shoda se nebere do úvahy (odpovídá Jaccardovu koeficientu)
b) pro nominální znaky:wijk = 1 pokud xik a xjk jsou známé; paksijk = 0 pokud xik xjk; sijk = 1 pokud xik = xjk (počet stavů se nebere do úvahy)
c) pro kvantitativní znaky:wijk = 1 pokud xik a xjk jsou oba známé, a sijk = 1 – {|xik - xjk| / (rozpětí znaku k)}(odpovídá Manhattanské metrice s daty stadardizovanými na rozpětí)
n
kijk
n
kijkijk
w
swGOWjk
1
1
i,j – objekty charakterizované znakem k, n – celkový počet znaků,wijk – váha – (1,0) je-li možné srovnat hodnoty znaku k u objektů i,j sijk – skóre pro znak k
Korelační koeficienty Pearsonův korelační koeficient
n počet objektů, xi1 hodnota znaku 1 pro objekt i
lineární korelace, předpokládá normální rozdělení dat
Spearmanův korelační koeficient (rank koeficient, koeficient pořadí):
do úvahy se neberou konkrétní hodnoty znaků ale pořadí objektů, kde di je rozdíl v pořadí mezi objekty
Kovariance
kovariance je podobná korelačnímu koeficientu, ale není standardizovaná vzhledem k rozdílným měřítkům znaků
n
ii
n
ii
n
iii
xxxx
xxxxr
1
222
1
211
12211
12
)()(
))((
nn
d
r
n
ii
3
1
2
12
6
1
))((1
),( 221
1121 xxxxn
xxCov i
n
ii
Shluková analýza
Shluk (klastr, cluster) je skupina objektů, které uvnitř nějaké větší skupiny nemají ani nahodilý ani rovnoměrný výskyt a jejich vzájemná vzdálenost resp. nepodobnost je menší než vzdálenost resp. nepodobnost s objekty, které patří do jiných shluků.
Těžiště (centroid) shluku je hypotetický (nikoliv nutně existující) prvek, jehož souřadnice ve znakovém prostoru jsou dány průměrnými hodnotami souřadnic jednotlivých objektů.
Metody (SAHN – sekvenční/simultánní, aglomerativní/divizivní, hierarchické/nehierarchické, nepřekrývající/překrývající se) Minimalizace vzdáleností mezi shluky (SL, UPGMA) Optimalizace homogenity shluků (Ward)
SL (single linkage), metoda nejbližšího souseda
Vzdálenost skupin (na počátku objektů) je definována jako vzdálenost mezi jejich nejbližšími objekty
UPGMA (unweighted pair-group method using arithmetic averages), metoda průměrné vzdálenosti
Vzdálenost skupin (na počátku objektů) je definována jako průměr vzdáleností mezi všemi páry OTU ve skupinách
Wardova metoda (Ward’s method)
Metoda založená na optimalizaci homogenity shluků – minimalizace přírůstku celkového vnitroskupinového součtu čtverců odchylek od shlukového průměru (centroidu)
SL – m. nejbližšího souseda
UPGMA – m. průměrné vzdálenosti
Wardova metoda
A BA
A
AB
B
Ordinační metody
Objekty (OTU) jsou charakterizované p znaky a jejich vzájemnou polohu (blízkost / podobnost) lze odvodit z jejich vzájemné polohy v p rozměrném prostoru (každý rozměr prostoru je dán jedním znakem)
Je-li znaků p > 3, pak je pro
vizualizaci a interpretaci dat nutné
snížit počet rozměrů p s co nejnižší
ztrátou informace
Ordinace v novém,
redukovaném prostoru
PCA – Principal Component(s) Analysis, Analýza hlavních komponent
Původní soubor pozorovaných znaků je nahrazen souborem nových, vzájemně nekorelovaných znaků
První hlavní komponenta (PC1) je vedena ve směru největší variability mezi OTU, druhá (PC2) pak ve směru největší variability ve směru kolmém k PC1, třetí …
Vzájemná pozice objektů (OTU) je v původním i novém prostoru stejná – jsou zachovány Euklidovské distance
PCA – požadavky a typy Lze použít kvantitativní, semikvantitativní i binární data Jakkoli je lepší zajistit mnohorozměrné normální rozdělení,
metoda je natolik robustní, že není striktně vyžadováno Počet objektů (OTU) vždy alespoň o 1 větší než je počet znaků,
obvykle se doporučuje aby počet OTU byl větší než druhá mocnina počtu znaků není-li splněno je lépe použít PCoA
Centrovaná PCA – vychází z kovarianční matice znaků (vyžaduje měření ve stejných jednotkách)
Standardizovaná PCA – vychází z korelační matice znaků (přeškálování původních znaků na jednotkový rozptyl = standardizace)
Necentrovaná PCA – vychází ze skalárních součinů – používá se v některých ekologických aplikacích nikoli v taxonomii
PCA – výstupy Komponentní skóre – souřadnice objektů v novém prostoru – lze je
interpretovat z ordinačního diagramu, nebo použít pro další analýzy (např. shlukové)
Vlastní vektory – směr vektorů vyjadřující vliv původních znaků na hlavní komponenty (viz Biploty)
Vlastní čísla (eigenvalues) – míra variability původního souboru vyjádřená danou hlavní komponentou. Důležitější je procentní vyjádření – ukazuje na procento vyjádřené variability původního souboru danou komponentní osou (též kumulativní % pro více hlavních komponent)
Ordinace objektů – grafický výstup znázorňující OTU v novém prostoru z hlavních komponent
Biploty – společné znázornění objektů i vektorů původních znaků – čím ostřejší úhel a větší délka vektoru k hlavní komponentě, tím větší vliv daného znaku na variabilitu vysvětlenou touto komponentou
Odlehlé objekty (outliers) - PCA je dobré v prvním sledu využít k odhalení odlehlých, v souboru atypických objektů a zvážit jejich vyloučení (určit příčinu jejich odlehlosti)
PCoA – Principal Coordinate(s) Analysis, Analýza hlavních koordinát
Rozmístění objektů v novém prostoru je definováno hlavními koordinátami a jejich souřadnice v tomto prostoru nejsou lineárně závislé na původních znacích (na rozdíl od PCA)
Vzájemné (eulidovské) vzdálenosti objektů odrážejí vztahy mezi původními objekty, které jsou měřené libovolným koeficinetem podobnosti nebo vzdálenosti
Metodu je možné použít pro binární znaky, vícestavové kvalitativní znaky a smíšená data (nejčastější případ v taxonomii)
Lze použít i tehdy, převyšuje-li počet znaků počet objektů Postup: primární matice dat sekundární matice vzdáleností
symetrická matice (podobná kovarianční či korelační z PCA)
výpočet vlastních čísel, vektorů a komponentních skóre
Diskriminační analýza (DA)
Zatímco ordinační a shlukovací metody jsou vhodné k vytváření hypotéz, diskriminační analýza umožňuje jejich testování
Interpretace rozdílů – kanonická DA (CDA) Zda a jak dobře je možné předem stanovené skupiny odlišit na
základě znaků, které máme k dispozici Které znaky přispívají k tomuto odlišení největší mírou
Identifikace objektů – klasifikační DA Odvození jedné či více rovnic za účelem identifikace objektů
Zjištění znaků odlišujících skupiny, a nebo zařazení OTU do skupin
DA - požadavky
Kvantitativní nebo binární znaky (vícestavové nutné převést na binární)
Žádný ze znaků nesmí být lineární kombinací jiného či jiných znaků Nelze současně použít 2 nebo více silně korelovaných znaků Kovarianční matice pro jednotlivé skupiny musí být přibližně
shodné Znaky charakterizující každou skupinu by měly splňovat kritérium
mnohorozměrného normálního rozdělení (nicméně lze použít i data kvalitativní, tj. binární či kvantitativní, které tento požadavek nesplňují – jen výsledky statistických testů je nutné brát s rezervou)
Počet dat: minimálně 2 skupiny, v každé skupině minimálně 2 objekty, počet znaků menší než počet objektů (nejlépe v každé skupině)
Žádný znak by neměl být v některé skupině konstantní
CDA – Canonical Discriminant Analysis, Kanonická diskriminační analýza Umožňuje sledovat vztahy mezi objekty v prostoru definovaném
kanonickými osami Ordinační metoda, která maximalizuje rozdíly mezi skupinami
PCA, PCoA DAPředem stanovené skupiny ne anoVysvětlení maximální variability celkové meziskupinovéVážení znaků ne ano
CDA – Interpretace výstupů Relativní pozice objektů
CDA – Interpretace výstupů Celkové strukturní koeficienty (Total canonical structure)
The CANDISC Procedure Total Canonical Structure Variable Can1 v4 0.117885 v5 0.346662 v6 -0.287614 v8 0.052686 v9 0.050521 v10 0.112037 v11 0.283950 v12 0.091190 v13 0.155711 v14 0.557724 v15 0.204874 v16 0.653946 v17 0.610899 v18 0.446755 v23 0.569472
v24 0.771032 v25 -0.340242 v26 -0.686944 v27 -0.746051 v28 -0.280575 v31 0.492997 v32 0.354392 v33 0.475133 v34 0.255562 v35 0.454197 v36 0.232812 v38 0.497403 v40 0.113318 v41 0.545646
CDA – Úskalí Pozor na nejednoznačně zařaditelné objekty
A
B
C
A
C
B
A
B
C
Klasifikační DA
Hledání identifikačního (klasifikačního) kritéria Skupina objektů známého zařazení (training set) odvození klasifikačního
kritéria (klas. funkce) zařazení objektů neznámého postavení
Zjištění účinnosti klasifikačního kritéria Testuje se na stejném souboru dat jaký sloužil k odvození klasifikační funkce =
resubstituce (resubstitution) Máme-li menší počet objektů je vhodnější použití křížového ověření (cross-
validation) – ze souboru o n objektech se vybere n-1 objektů, které použijeme jako tréninkový soubor klasifikační funkce se použije na zařazení vypuštěného případu. Celé se opakuje n-krát
Klasifikační DA – odvození klasifikačního pravidla
Kanonická diskriminační funkce Objekty se klasifikují na základě jejich skóre na kanonické diskriminační funkci,
nebo na základě jejich projekce do kanonického prostoru
Klasifikační funkce:
12LFT + 2DFT-2LTW-23
kladné hodnoty = B. pendula
záporné hodnoty = B. pubescens
Klasifikovaný objekt se zobrazí do kanonického prostoru, který je vymezen na základě DA objektůo známé příslušnosti
Klasifikační DA – odvození klasifikačního pravidla
Výpočet lineární klasifikační funkce pro každou skupinu Pro každou skupinu objektů se vypočítá samostatná lineární klasifikační funkce. Dále se vypočítá klasifikační skóre neznámého (klasifikovaného) objektu pro
každou z těchto funkcí. Objekt bude zařazen do skupiny, pro kterou klasifikační skóre dosáhne nejvyšší
hodnoty.
Klasifikační pravidla založená na pravděpodobnostních modelech Lineární diskriminační funkce Kvadratické diskriminační funkce Neparametrické metody – např. k-nejbližších sousedů (k-nearest neighbors)