Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
Psühhodiagnostika
6. Otsused testitulemuste põhjal
K. Konstabel
2016
Sisukord
• Statistilised mudelid otsustamisel
– Lineaarne regressioon
– Logistiline regressioon
• Info ja otsus
• Otsus ja inimene
Regressioonimudelid
• Sõltuva tunnuse jaotus:
– normaaljaotus lineaarne regressioon (võib
sisaldada sõltumatute muutujate
mittelineaarseid teisendusi, nt y=a+bx2).
– binoomjaotus (nt õige/vale või jah/ei)
logistiline regressioon
– Poissoni jaotus (loendamise teel saadud
arvud, nt sissemurdmiste või tulekahjude arv
mingil perioodil) Poissoni regressioon
1a. Lineaarne regressioon
yi’ = b0 + b1x1i + ... + bkxki
• Vähimruutude meetod: leitakse sellised b-d, mille
korral Σ(yi-yi’)2 on minimaalne.
• Korrelatsioon (näitab seose tugevust):
sd(y’) / sd(y)
• Standardviga:
22 1 xyy r
Lin
eaa
rne
re
gre
ssio
on
(2
)
-3 -2 -1 0 1 2
-3-2
-10
12
3
A
B
-4 -2 0 2 4
0.0
0.1
0.2
0.3
0.4 y' = bx+cy' = bx+c
y
Lineaarne regressioon (3)
• Interaktsioonid
• Ruutliikmed jm
21322110 xxbxbxbby
2
2423
2
12110 xbxbxbxbby
Lineaarne regressioon
Estimate Std.error t p (Intercept) 2.99147 0.11373 26.304 <2e-16 ***
A 1.94063 0.12890 15.055 <2e-16 ***
B 0.18453 0.09775 1.888 0.0621 .
A*B 3.90248 0.06164 63.308 <2e-16 ***
---
Residual standard error: 0.9748 on 96 degrees of freedom
Multiple R-Squared: 0.9782, Adjusted R-squared: 0.9775
F-statistic: 1435 on 3 and 96 DF, p-value: < 2.2e-16
Milline on ennustatud Y väärtus, kui A=1 ja B=0.5?
Milline on standardviga kui Y dispersioon on 42.23?
1b. Logistiline regressioon
• Kasutatakse, kui sõltuv muutuja on dihhotoomne, st võimalikud väärtused näiteks:
– 0; 1
– on; ei ole
– jah; ei
• Lineaarse regressiooni puhul võivad dihhotoomsed olla sõltumatud muutujad, kuid mitte sõltuv muutuja
Logistiline regressioon (2)
• Mudel mingi sündmuse toimumise
tõenäosusele: P(Y=1)
• Matemaatiliselt on parem tegelda
sündmuse šanssidega (odds), mis on
teisendatavad tõenäosuseks.
• Kui sündmuse toimumise tõenäosus on
0.8, siis šansid on 8:2 ehk 4:1. Üldisemalt,
šansid = p / (1 – p)
Logistiline regressioon (3)
• Kress, Peterson ja Hartzell (J of Psychosomatic
Research, 2006) uurisid depressioonisümptomite
seost ülekaalulisusega. Kontrollides rassi,
vanust, haridust jm, selgus, et
ülekaalulistel naistel on oluliselt suurem
depressioonirisk kui normaalkaalulistel:
šansside suhe (odds ratio, OR) = 3.4.
• Mida see tähendab?
Logistiline regressioon (4)
Tähistame depressiooni Y-ga (Y=1 kui esinevad depressioonisümptomid) ja kehakaalu X-ga (X=1 kui on tegu ülekaaluga). Meid huvitab, kas Y sõltub X-st, st kas siis kui X=1 esineb depressioon (Y=1) suurema tõenäosusega kui vastasel korral.
p1 = P(Y = 1 | X = 1)
p2 = P(Y = 1 | X = 0) )1/(
)1/(
22
11
pp
ppOR
Logistiline regressioon (5)
OR = AD / BC
X on riskitegur, kui OR > 1
X-i esinemine vähendab riski, kui OR < 1
X ei muuda midagi, kui OR = 1
Logistiline regressioon (6)
• Mudel sündmuse tõenäosusele /
šanssidele:
• Tagurpidi ...
ikiki XXORp
p
110log)
1log(
i
i
e
epi
1
Logistiline regressioon (7)
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) 0.498770 0.007343 67.92 <2e-16 ***
X1 1.004179 0.008591 116.88 <2e-16 ***
X2 -0.507757 0.007584 -66.95 <2e-16 ***
Aivari X1=1 ja X2=-1. Milline on Y risk?
Log šansid = eeta = 0.499 + 1.004* 1 + (-0.508 * (-1)) =
2.011
Šansid = exp(eeta) = 7.471 (risk, et Aivar on Y, on 7.5
korda suurem, kui et ta ei ole Y)
Tõenäosus = exp(eeta) / (1+exp(eeta)) = 0.882
Tõenäosus, et Aivaril on Y, on 0.882.
Logistiline regressioon (8)
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) 0.498770 0.007343 67.92 <2e-16 ***
X1 1.004179 0.008591 116.88 <2e-16 ***
X2 -0.507757 0.007584 -66.95 <2e-16 ***
Vabaliige (intercept) viitab Y tõenäosusele, kui mõlemad
X-id on võrdsed nulliga. See tõenäosus on 0.622,
šanssidena 1.647:1.
X-ide parameetrihinnangud (estimate) näitavad, kui palju
suureneb Y tõenäosus, kui X suureneb ühe võrra. NB!
Hinnangud sõltuvad muidugi ühikutest, st nt kas X on
standardiseeritud või mitte.
X2 OR = exp(-0.508) = 0.602, st kui X2 suureneb ühe võrra,
siis tuleb Y eelnevad šansid korrutada 0.602-ga
(1.647*0.602 = 0.991).
Logistiline regressioon (9)
• Vabaliige on “ennustuses” kaustatav ainult
siis kui tegu on esindava valimiga! Kui ei
(nt juhtkontrolluuringute puhul), siis peame
piirduma suhtelise hinnanguga riskile,
mida väljendab šansside suhe.
2. Info ja otsus
• Näited testi põhjal tehtavatest otsustest: “X-il on depressioon”; “X, Y ja Z on on teistest kandidaatidest nupukamad ja jäärapäisemad, st sobivad paremini ametisse A”.
• Seni rääkisime informatsioonist, mis võib aidata otsuse tegemisel. Otsus ise aga ei sõltu ainult informatsioonist, vaid ka ... – kriteeriumist: nt mitu depressiooni sümptomit on vaja
ütlemaks, et X-il on depressioon
– otsustaja eesmärkidest ja vahenditest: nt mitu inimest on vaja tööle võtta või kui palju raha on võimalik kulutada valikuprotseduurile
Millist infot on otsustamiseks vaja?
• Suhtelised otsused (A on parem kui B; millised
on 10 kõige paremat a-d, jne) – piisab
kokkuvõtlikust valiidsusinfost: korrelatsioonid,
šansside suhted jne.
• Absoluutsed otsused (A vajab abi; B kõlbab
lenduriks; C tuleb saata erikooli) – vaja on nt
regressioonivõrrandit, äralõikepunkti vmt.
• Absoluutsed otsused on alati riskantsemad kui
suhtelised.
2012
Info ja otsus
?
Kas 68-tollisel
inimesel on
kingad jalas?
McNicol 1972, figure 1.1
2012
Kriteerium:
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Vastuvõtja töökõver (Receiver Operating Curve)
p(S|n) -- valehäired
p(S
|s)
-- t
abam
used
äralõikepunkt -0.856
y=0 y=1
x=0 11 3
x=1 17 68
Tundlikkus ja spetsiifilisus
• Tundlikkus (sensitivity) kitsamas tähenduses: tabamuste protsent signaali olemasolul: p(X=1 | Y=1) ehk p(S | s)
• Spetsiifilisus (specificity): valehäirete protsent: p(X=0 | Y=0) ehk p(N | n)
• Tundlikkus signaali avastamise mõttes on nende kahe kombinatsioon:
OR = ...
d’ = Z(H) – Z(F)
2012
Tundlikkus ja spetsiifilisus
McCrae et al JP 69:2, 2001
Kriteerium
• Vastuse kriteerium: “kui tugev peab signaal olema, et sellest välja tehtaks”
c=0.5[z(H)+z(F)] ... või ... β = ed’c
• Kriteeriumi nihutamisega muutuvad korraga (samas suunas) nii tabamuse kui valehäire tõenäosus
• Milline peaks olema kriteerium, et valehäirete tõenäosus oleks 0? Et tabamusi oleks 100%?
Kriteerium (2)
• Kõige parem on äralõikepunktiks valida selline
x-i väärtus, mille korral β = P(n)/P(s). Näiteks kui
depressiooni tõenäosus on 0.1, siis õigete
tulemuste arv on maksimaalne sellise BDI
skoori korral, kus β = 0.9/0.1 = 9.
• Kui valehäirete ja tabamuste kaalukus on
erinev, siis võib optimaalsele äralõikepunktile
vastava β leidmiseks kasutada valemit
)()(
)()(
sPCV
nPCV
MH
FACR
• Üks võimalus otsustada valikuprotseduuri kasulikkuse üle:
ΔU – kui kasulik on valikuprotseduur võrreldes juhusliku
valikuga
N – mitu töötajat protseduuriga valitakse
Rxy – valiidsuskoefitsient
Zx – valitute keskmine standardskoor
SDy – kriteeriumi (soorituse) standardhälve (näiteks rahalistes ühikutes) populatsioonis enne valikut
C – valikuprotseduuri maksumus
Kasu
Guion , 1998
3. Otsus ja inimene
• Kas kliiniline kogemus muudab otsused
üksmeelsemaks?
A. Cahan et al. / Journal of Clinical Epidemiology 58 (2005) 1211–1216
2012
Otsustamise kaks mehhanismi
Daniel Kahneman
Taju
Intuitiivne
mõtlemine
(Arutlev)
mõtlemine
(sarnane
tajuga)
“Väljavaateteooria” / Prospect theory
• Otsustuse väljavaateid hinnatakse
suhteliselt, kaotuste või võitudena (st
muutusena võrreldes mingi algse seisundi
suhtes)
• Kasulikkuse teooria järgi peaksime
lähtuma ainult seisundist pärast kaotust
või võitu
GAINSLOSSES
UTILITY
Väärtusfunktsioon V(X)
• kumer võitude piirkonnas ja nõgus kaotuste piirkonnas
• tundlikkus kõige suurem väikeste võitude või kaotuste korral
• kaotuste puhul järsem kui võitude puhul (st kaotuste negatiivne mõju on suurem kui võitude positiivne mõju)
Raamimine + kaotuste
vastumeelsus
• Imagine the US is preparing for the
outbreak of an Asian disease,
expected to kill 600 people (N = 152
subjects):
– If program A is adopted, 200 people will
be saved (72% preference)
– If program B is adopted, there is one
third probability that 600 people will
be saved and two thirds probability that
no people will be saved (28% preference)
Raamimine + kaotuste
vastumeelsus (2)
• Imagine the US is preparing for the
outbreak of an Asian disease,
expected to kill 600 people (N = 155
subjects):
– If program C is adopted, 400 people will
die (22% preference)
– If program D is adopted, there is one
third probability that nobody will die
and two thirds probability that 600
people will die (78% preference)
Separate evaluation $1.66 $2.26
Joint evaluation $1.85 $1.56
• Inimesed otsustavad sageli selle variandi
kasuks, mida nad peavad objektiivselt
väärtuslikumaks, olenemata sellest, et nad
peaksid mingit muud varianti subjektiivselt
meeldivamaks
• Šokolaad: 2$ prussakakujuline vs 0.5$
südamekujuline
• Suusareis: 100$ Michigan vs 50$ Wisconsin
• Vahendi maksimeerimine
• Valikuvabadus
Pseudoratsionaalsus
Tavalised otsustusvead
• Olulise info eiramine – Baastõenäosuse (base rate) ignoreerimine
Punapead on sagedamini terroristid kui
sinisilmad. Juss on punapea.
– Kinnitava info eelistamine (eriti pärast otsust)
• Loogikavead – Tinglikke tõenäosusi peetakse sümmeetriliseks
70% hüpohondrikutest saab BHI skaalal
üle 30 palli. Oliver sai BHI skaalal 31
palli. Kui suur on tõenäosus, et
Oliveril on hüpohondria?
Otsustusvead (2)
70% hüpohondrikutest saab Baumanni
HüpohondrIa (BHI) skaalal üle 30 palli.
Oliver sai BHI skaalal 31 palli. Kui suur on
tõenäosus, et Oliveril on hüpohondria?
+ -
<=30 30 970 1000
>30 70 930 1000
100 1900
HüpohondriaB
HI
Nõuded testi kasutajale
Testistandardid
Testikasutaja rollid
Testistandardid
• Guidelines: juhised, suunised, direktiivid
• ITC suunised testide kasutamiseks (nüüd ka eesti keeles); lisaks sellele on olemas ITC suunised kahes spetsiifilises valdkonnas: – testi adapteerimine
– arvuti abil läbi viidavad testid
• Euroopa standard testide kasutamiseks töö ja organisatsiooni keskkonnas (EFPA ja EAWOP). Selle täienduseks on testi "retsensiooni" vorm.
• Testikasutaja kvalifikatsiooninõuded (näide: PAR testide jaotus kvalifikatsiooninõuete taseme järgi)
ITC suunised (1)
• Deklaratiivsed teadmised – teadmised põhilistest psühhomeetrilistest
põhimõtetest ja protseduuridest ning testide tehnilised nõuded (nt reliaablus, valiidsus, standardiseeritus);
– teadmised testidest ja mõõtmisest, mis on piisavad testi tulemuste korrektseks mõistmiseks;
– teadmised ja arusaamad asjakohastest teooriatest ning võimekuse, isiksuse ja muude psühholoogiliste konstruktide mudelitest või psühhopatoloogiast, vastavalt sellele, mida on tarvis testi valikust informeerimiseks ja testi tulemuste tõlgendamiseks, ning
– teadmised testidest ja testimüüjatest oma tegevusvaldkonnas. .
ITC suunised (2)
• Instrumentaalsed teadmised ja oskused
• Üldised isiklikud ülesandega seotud
oskused
• Kontekstuaalsed teadmised ja oskused
• Ülesande juhtimise oskused
• Situatsioonijuhtimise oskused
ITC suunised (3)
1 Eetilise testikasutuse eest vastutamine:
Testikasutaja kohustub:
1.1 Tegutsema professionaalselt ja eetiliselt
1.2 Tagama, et neil on testide kasutamiseks vajalik
pädevus
1.3 Vastutama oma testikasutuse eest
1.4 Tagama, et testimaterjale hoitakse turvaliselt
1.5 Tagama, et testitulemusi käsitletakse
konfidentsiaalselt
ITC suunised (4)
2 Testide kasutamisel heade tavade järgimine
2.1 Hinnata testimise otstarbekust
2.2 Valida tehniliselt head ja antud olukorrale sobivad testid
2.3 Pöörata testimisel piisavalt tähelepanu õiglasele kohtlemisele
2.4 Teha testimiseks vajalikud ettevalmistused
2.5 Viia testid läbi reeglipäraselt
2.6 Skoorida ja analüüsida testi tulemused täpselt
2.7 Tõlgendada tulemusi õigesti
2.8 Tutvustada tulemusi asjaosalistele selgelt ja täpselt
2.9 Analüüsida testi ja selle kasutamise õigsust
Testikasutaja rollid töö- ja
organisatsioonipsühholoogias
EFPA-EAWOP standard (Helsingi, 2005)
1A: otsustab testide kasutamise üle
organisatsioonis, kuid ei vii ise testimist läbi
1B: viib läbi testimist kindlalt piiritletud
tingimustes
2: kasutab piiratud arvu teste kindlalt piiritletud
tingimustes (nt tööle kandideerijate
hindamine)
3: ekspert
Algtase: 1A • Tunneb testide kasutamist
organisatsioonikeskkonnas
• Oskab hinnata testide tehnilisi omadusi (sh kõlblikkust mingiks otstarbeks)
• Teab, kust leida informatsiooni või kellega konsulteerida, et hinnata erinevate testide võimalikke kasutusviise
• Ei kvalifitseeru testikasutajaks
• Ei saa anda ekspertnõu testide kasutamise alal
• Näide: personalispetsialist
• Koolitus: 1-2-päevane koolitus; kirjandus; teadmiste pidev täiendamine
EFPA-EAWOP standard (Helsingi, 2005)
Algtase: 1B
• Võib läbi viia ja kasutada teatud teste, kui teda juhendab 2. või 3. taseme isik, või selgelt piiritletud tingimustes
• Ei otsusta, millist testi kasutada; ei interpreteeri testiskoore (võib kasutada standardseid raporteid)
• On teadlik testide kasutamise ja testimise tagamaadest, tõlgendamise ja kasutamise piirangutest ning teab, millal küsida nõu eksperdilt
• Koolitus: 1-2-päevane koolitus; kirjandus; teadmiste pidev täiendamine
EFPA-EAWOP standard (Helsingi, 2005)
Kesktase: 2
• Võimeline otsustama, kas ja kus mingit testi kasutada
• Saab aru testide tehnilistest omadustest, kuid ei pea oskama neid ise konstrueerida
• Võib testikasutajana töötada iseseisvalt
• Omab vajalikke teadmisi ja oskusi spetsiifiliste testide kasutamiseks
• Koolitus: 4-5-päevane koolitus; kirjandus; teadmiste pidev täiendamine
• Näide: personalitöötaja, personali- v testifirma töötaja.
• Tegevusvaldkonna näited: personalivalik, personaliarendus, karjäärinõustamine
EFPA-EAWOP standard (Helsingi, 2005)
Ekspert: 3
• Võimeline testimise alal nõu andma ja teisi
õpetama
• Võib anda ekspertnõu kohtuasjades
• Tüüpiliselt: w/o psühholoog, kes on
spetsialiseerunud testide kasutamisele ja
on läbinud sel alal mitmeid kursusi.
EFPA-EAWOP standard (Helsingi, 2005)
Testikasutaja teadmised
• EFPA/EAWOP küsitlus testinduse
asjatundjate seas: milliseid teadmisi on
testi kasutajal vaja?
• “Kõik” testikasutajad == tasemed 1A, 1B, 2
ja 3
• “Enamus” testikasutajaid == tasemed 2 ja
3
• “Eksperdid” == tase 3
Kõik Enamus Eksperdid
Teaduslik meetod; tõenduspõhine lähenemine
hindamisele 68 84 89
Testistandardid 100 100 100
sh ITC guidelines 42 89 100
local good practice guides 58 89 100
Informeeritud nõusolek ja konfidentsiaalsus 95 95 95
Andmekaitse seadustik 84 95 100
Testimisega kaasnevad riskid 58 89 100
Puudega inimeste testimine 53 79 95
Turvalisusnõuded andmete säilitamisel 75 89 100
Kogemusest õppimine 74 89 100
Eneseanalüüs 63 89 100
Klassikaline testiteooria 84 95 100
Reliaablus ja valiidsus 95 100 100
Normid ja standardiseerimine 95 95 100
DIF ja testi nihe 32 63 95
IRT (ÜVT) 37 58 100
Õiglus ja bias testimisel 74 89 100
Meta-analüüs ja valiidsuse üldistatavus 42 63 100
Üldistatavusteooria 37 53 100
Kõik Enamus Eksperdid
Psühholoogilised teooriad ja mudelid:
kognitiivne võimekus 58 89 100
isiksus 63 95 100
motivatsioon 53 89 100
hoiakud, uskumused ja väärtused 53 84 100
Teooriad ja mudelid testide kasutamisest
töökohal:
kasulikkuse teooria: kulu, kasu ja riskide
hindamine 32 79 100
töösoorituse hindamine 47 100 100
karjäärivalik 26 84 100
valik ja värbamine 63 100 100
Kõik Enamus EksperdidSkaalade tüübid (normatiivne, ipsatiivne)
ja vastuseformaadid ning nende mõju
skoori tõlgendamisele 74 89 100
Skoorimine
skoorimisvõtme kasutamine 84 95 100
toorskooride teisendamine 89 100 100
normitabelite kasutamine 89 95 100
veidra vastustemustri tuvastamine 63 84 100
Interpreteerimine
hindamise mõju testitavale 95 100 100
hindamisviisi mõju tulemuste kvaliteedile 95 100 100
ärevuse mõju tulemusele 89 100 100
Testikasutaja kvalifikatsioon • PAR, Psychological Assessment Resources)
Testikasutaja kvalifikatsioon
A level assessments are available for purchase by individuals who have:
a) A Bachelor's Degree in psychology or a related discipline (e.g., counseling, education, human resources, social work, etc.) and coursework relevant to psychological testing; OR
b) Equivalent Training in psychological assessments from a reputable organization; OR
c) Professional Membership in an organization that requires training and experience in the use of psychological assessments and surveys; OR
d) Certification from an organization with similar proficiency requirements; OR
e) Practical Experience in the use of psychological assessments.
http://www.sigmaassessmentsystems.com/departments/qualifications.asp
Testikasutaja kvalifikatsioon
B level assessments are available for purchase by individuals who have:
• a) A Graduate Degree in psychology or a related discipline (e.g., counseling, education, human resources, social work, etc.) and have completed graduate-level coursework in psychological testing or measurement; OR
• b) Equivalent Training focused on psychological testing or measurement from a reputable organization.
• Interested in becoming qualified to administer and interpret "B" level assessments? Click here to learn about an innovative e-learning qualification program that will allow you to administer and interpret a wide range of personality and HR-related tests.
http://www.sigmaassessmentsystems.com/departments/qualifications.asp
Testikasutaja kvalifikatsioon
• C level assessments are available for purchase by individuals who:
• a) Have a Doctorate Degree in psychology or a related discipline (e.g., counseling, education, human resources, social work, etc.); OR
• b) Have Professional Licensure/Registration to independently practice psychology; OR
• c) Are under the Direct Supervision of a qualified psychologist or a qualified professional in a related discipline.
http://www.sigmaassessmentsystems.com/departments/qualifications.asp