Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

Orvosi képdiagnosztika • Diagnosztika = egy rendszer állapotának meghatározása a

rendszerről rendelkezésre álló mérések, megfigyelések és a priori információk alapján

• Állapotok száma: véges, sok esetben 2: hibás (beteg), normális működésű (egészséges). 𝐱Ny{0,1}; 𝐱Ny[0,1]

• Diagnosztika = döntés meghozatala

• Diagnosztikai rendszer = Input-output leképezés y=f(x)

• Orvosi diagnosztika

– Input: tünetek, vizsgálatok, leletek, képek, háttértudás

– Output: diagnózis. 2 (vagy több) osztályú osztályozási feladat

• Orvosi diagnosztika = tapasztalati tudomány – Sok minősített eset: {xi,di}i=1,P y=f(x)

– Megtanulja a döntéshozó a kapcsolatot

• Számítógépes diagnosztikai rendszer – Próbálja szimulálni az orvosi döntéshozást

– Más megközelítést (is) alkalmaz, mint az orvosok (az orvosi háttértudás felhasználása nehéz)

• Egy diagnosztikai rendszer fő elemei – Megfigyelési tér definiálása

– Döntési szabály konstruálása

– Döntés meghozatala

Orvosi képdiagnosztika

Döntési folyamat leképezései

tér

Megfigyelt rendszer (beteg)

Döntési tér Megfigyelési tér

1{ ,... ..., }i c

P(ωi)

p(xωi)

y{1,2,...c}

( | )iP x

Megfigyelés, mérés Mérési eredmények értelmezése, Jellemző kiválasztás (feature selection), dimenzió növelés, fontossági sorrend megállapítása, dimenzió csökkentés Döntés: döntési szabály, jellemzők alapján (valójában osztályozás)

Orvosi képdiagnosztikasztika

Tünetek, leletek = jellemzők

Diagnózis osztályozás

Lehet dönteni? igen

További vizsgálatok

nem

Döntési tér módosítása

(kép)diagnosztika

Iteratív folyamat

• Statisztikai alapon döntünk

• Milyen ismeretünk lehet: – osztályvalószínűségek, megfigyelések

• Kétosztályos osztályozás

– ω = ω1 egészséges ω = ω2 beteg naív döntés: a priori valószínűségek alapján

– ω1 ha P(ω1) > P(ω2); egyébként ω2.

– Mindig az lesz a döntés, hogy a paciens egészséges

Orvosi képdiagnosztika

1 2( ) ( )P P

ω2

ω1

• Döntési szabály mérések alapján: – A mérési adatok feltételes sűrűségfüggvénye (likelihood függvény)

alapján

– A megfigyelési tér: a mérési eredmények tere

– Döntési szabály: a megfigyelési tér dekomponálása, szeparálása

– Egydimenziós triviális esetben küszöbértékhez hasonlítunk

– Az egyes osztályok a priori valószínűségeit nem vettük figyelembe

Orvosi képdiagnosztika

1( | )p x

2( | )p x

p(xω1)

p(xω2)

1 2( ) ( )p x p x

ω2

ω1

Döntési küszöb

R1 R2

• Milyen alapon döntünk – Egy paraméter alapján (egydimenziós a döntési tér): küszöbbel

való összevetés, több küszöb – Likelihood

– Az a priori valószínűségeket nem veszi figyelembe

Statisztikai döntés

1( | )p x 2( | )p x

• Bayes döntés (a posteriori valószínűségek alapján)

• Bayes szabály

Statisztikai döntés

1 1 1 111

1,2

( ) ( ) ( ) ( )( , )( )

( ) ( ) ( ) ( )i i

i

p x P p x Pp xP x

p x p x p x P

1

1 1 2 2

2

( ) ( ) ( ) ( )

( ) ( )

p x P p x P

p x p x

=

1

1 2

2

( ) ( )P x P x

=

P(ω1, x)

P(ω2, x) 2 2( ) ( )p x P

A döntés minősítése • A döntés hibája, a hibás döntések valószínűségei

Ha =

• Döntés minősítése a hibás döntések valószínűség

• Költségfüggvény, veszteségfüggvény (loss function),

• Bayes kockázat (risk) a költség várható értéke

Statisztikai döntés

Optimális döntés: az átlagos döntési hiba minimumát biztosító döntés

R1 R2

1=PF (false alarm) a téves riasztás valószínűsége

elsőfajú hiba

2=PM (missed detection) a tévesztés valószínűsége

másodfajú hiba

Statisztikai döntés

A döntéshez költség is rendelhető: Cij annak a költsége, ha i a döntés de j a valódi osztály Ezzel a Bayes átlagos költség:

A Bayes költség minimumát biztosító döntés Mivel

és

Statisztikai döntés

Bayes döntés

Redukálható

hiba

Statisztikai döntés A Bayes költség felírható

Felhasználva ...

A döntési tartomány minimalizálja az átlagos költséget

1 1

2 2

11 1 1 12 2 2

2 2

21 1 1 22 2 2

( ) ( )

( ) ( )

R R

R R

C P p x dx C P p x dx

C P p x dx C P p x dx a b

R

1 1

21 1 22 2 12 22 2 2 21 11 1 1 ( ) ( ) ( ) ( )R R

C P C P C C P p x dx C C P p x dx R

1

1 12 22 2 2 21 11 1 1arg min ( ) ( ) ( ) ( )R

R C C P p x C C P p x dx

• Likelihood arány teszt

Statisztikai döntés

1

2

( )( )

( )

Px

P

=

ω1

ω2

Naiv döntés = 1

Likelihood függvény alapján = 1 1

2

( )( )

( )

p xx

p x

ω1

ω2

=

1 2

2 1

( ) ( )( )

( ) ( )

p x Px

p x P

ω1

ω2

= Bayes döntésnél = 𝑃(𝜔2

𝑃(𝜔1

1 12 22 2

2 21 11 1

( ) ( ) ( )( )

( ) ( ) ( )

p x C C Px

p x C C P

ω1

ω2

= A Bayes költség minimumát biztosító döntésnél

12 22 2

21 11 1

( ) ( )

( ) ( )

C C P

C C P

Statisztikai döntés A Bayes hiba az a priori valószínűségek függvénye: a döntési küszöb (felület) módosul

Statisztikai döntés • További döntési szabályok

– Minimax döntés

– A Bayes hiba az a priori valószínűségek függvénye.

Statisztikai döntés • További döntési szabályok

– Neyman-Pearson döntés

– Az a priori valószínűségek meghatározása lehet nehéz

– A cél a hibavalószínűségek minél kisebb értéken tartása

– Az egyik hibavalószínűség (PF) rögzítése mellett (PF=) a másik (PM)minimumát biztosító döntést keressük: Lagrange multiplikátoros feltételes szélsőérték-kereső probléma

– Itt is megadható a likelihood arány teszt

( )NP M FC P P

1

2 1(1 ) ( ) ( )NP

R

C p x p x dx

1

2

( )( )

( )

p xx

p x

ω1

ω2

=

• Neyman-Pearson döntés triviális esetben nemtriviális esetben

Statisztikai döntés

• A döntés eredménye

A döntés minősítése

Valóság döntés

egészséges beteg

egészséges Valódi negatív (TN) (Helyes döntés)

Téves negatív (FP) (Missed detection PM,

másodfajú hiba, 2)

beteg Téves pozitív (FP) (False alarm PF,

elsőfajú hiba, 1)

Valódi pozitív (TP) (Helyes döntés)

Érzékenység (sensitivity) = 𝑇𝑃

𝑇𝑃+𝐹𝑁

Fajlagosság (specificity) = 𝑇𝑁

𝑇𝑁+𝐹𝑃

R1 R2

• Értékelés

– ROC görbe, (érzékenység 1-specificitás; 1-PM PF)

– FROC (mivel túl sok a téves pozitív)

– AUC

Minősítés

Többdimenziós megfigyelési tér

Tetszőleges Gauss sűrűségfüggvények mellett: általános kvadratikus elválasztó (hiper)felület

Osztályozás • Döntési szabály: az eredő kockázat minimumát biztosító választ kell adni. A

kockázat általában nem meghatározható. A megfigyelések terét kell két tartományra bontani. – Több paraméter alapján (többdimenziós döntési tér) – A tér szeparálása: lineáris, nemlineáris, összefüggő tartományok, nem

összefüggő tartományok • Felhasználható információ

------------------------------------------------------------------------------- – megfigyelések {xi,di} i=1,...,L – a priori valószínűségek: – a megfigyelések feltételes sűrűségfüggvényei: Bayes döntés – Költségértékek: Cij

------------------------------------------------------------------------------- – megfigyelések {xi,di} i=1,...,L – megfigyelések feltételes sűrűségfüggvényei ------------------------------------------------------------------------------- – megfigyelések megfigyelések {xi,di} i=1,...,L LS döntés -------------------------------------------------------------------------------

( )iP ( )ip x }

( )ip x }

Egyre kevesebb

a felhaszn

ált ismeret

maximum likelihood döntés

Osztályozás, szeparáló felület

lineáris kvadratikus

?

Több paraméter alapján (többdimenziós döntési tér)

Általános nemlineáris

• Lineáris osztályozók – Megfelelő feltételek mellett Bayes, ML , LS

– LDA

– Perceptron

– Logisztikus regresszió (megfelelő feltételek mellett)

– SVM (kernel gépek, lineáris kernellel)

– Döntési fák ...

• Nemlineáris osztályozók – Megfelelő feltételek mellett Bayes

– Nemlineáris transzformáció + lineáris osztályozó • Nemparametrikus módszerek (NN, kNN)

• KDA

• Bázisfüggvényes megoldások

• Kernel gépek (nemlineáris kernellel)

– Neurális hálók

Osztályozók

Osztályozás

Perceptron Logisztikus regresszió LS megoldás ML megoldás Gauss eloszlások mellett Bayes megoldás regularizált LS megoldás Gauss eloszlások mellett

Lineáris osztályozás

• LDA többdimenziós tér (x) egydimenziós tér (y=wTx)

• Kitüntetett vetítési irány (w) keresése

m1

m2

m1

m2

LDA: Fisher linear discriminant

Optimalizálási feladat: azt a vetítési irányt keressük, mely irányra vetítve az adatok a legjobban megkülönböztethetők

Sw

( )T

TJ

-1

W Bw S S ww

w w

2 1 iránya ( )BS w m m2 1 2 1( )( )T BS w m m m m w

1 W BS S w w

Rayleigh hányados

2

1 2 2 1 2 1( ) ( )( )T T Tm m Bw m m m m w w S w

• Perceptron

Lineáris osztályozás

s(k) = wTx(k) y(k) = sgn(s(k)) (k)= d(k)-y(k)

1 1 k k d k y k k k k k w w x w x

• Konvergens, ha: • Az adatok lineárisan szeparálhatók • Véges számú adat van • Az adatok felülről korlátosak • >0

Lineáris osztályozás LS megoldás y=wTx vagy y=wTx+w0

Iteratív megoldás analitikus megoldás: pszeudoinverz

1 2 1k k d k y k k k k k w w x w x

1( )T Tw X X X d

Lineáris osztályozás

• Logisztikus regresszió posterior alapján dönt

1 11

2 21 1 2 2

1 1

( | ) ( ) 1 1( | ) ( )

( | ) ( )( | ) ( ) ( | ) ( ) 11

( | ) ( )

a

p x PP x a

p x Pp x P p x P e

p x P

1 1

2 2

( | ) ( )ln

( | ) ( )

p x Pa

p x P

1

2

( )ln

( )

P

P

1( )P x

( )kP x

Folytonos bemenet mellett, Gauss eloszlású mérési adatoknál

• Maximum likelihood megoldás

Lineáris osztályozás

(1 )

1( | , ) (1 )i i

Ld d

i i i ii

p d y y

x w

( 1| , ) sgm( ) ( )T T

i ip d x w w x w x

( 0 | , ) 1 sgm( ) 1 ( )T T

i ip d x w w x w x

(1 ) (1 )( , ) ( ( )) (1 ( ) (1 )i i i id d d dT T

i i i i i ip d y y x w w x w x Egy mintára

Az összes (L) mintára

11

( ) ln (1 ) ln(1 )

LL

i i i i

ii

L d y d y

w Likelihood függvény Iteratív megoldás

Lineáris osztályozás

optimális

hipersík

2x

1x

r

x

px

,

0 ha 1

0 ha 1

T

i i

T

i i

b a d

b a d

w x

w x

( ) 1 1, 2, , T

i id b i Pw x

1

1, , ( ) 1

2

P

T T

i i i

i

L b d bw α w w w x

1

, ,0

P

i i i

i

L bd

w αw x

w

1

, ,0 0

P

i i

i

L bd

b

w α0i

1 1 1

1( )

2

P P P

T

i i j i j i j

i i j

Q d d α x x

1

0

P

i i

i

d 0i 1,....,i P

1

sP

i i i

i

dw x1

( ) sign

PT

i i i

i

y d bx x x

p r

wx x

w

1r

w

Kernel gép (SVM)

Nemlineáris osztályozás

Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó LS megoldás Kernel gép

T

i i

i

y w x w φ x

Nemlineáris transzformá

ció

Lineáris osztályozó

N M>N

x (x) y 1( )T Tw Φ Φ Φ d

( ( ) ) 1 1, 2, ,T

i id b i P w φ x

1 1 1

1( ) ( ) ( )

2

P P PT

i i j i j i j

i i j

Q d d

α φ x φ x1

( )i

P

i i

i

d

w x

( , ) ( ) ( )Τ

i iK x x x x 1

( ) sign ( , )

i

P

i i

i

y d K bx x x

Nemlineáris osztályozás Paramétereiben is nemlineáris osztályozó LS megoldás

1 2 sgm 2k k k k s k k k k k k w w x w x

+

+

+

x( )k

x0 = 1

x k1( )

x kN( )

w k0( )

w k1( )

w kN( )

-

+ ( )k d k( )

sgm( )Ty w x

(2) (1) y f W f W x

Nemlineáris osztályozás

x

x

sgm

sgm

sgm

sgm

sgm

d

d

PE (1) 2

PE (1) 3

PE (2) 1

PE (2) 2

PE (1 ) 1

s

s

1 (1)

(1) 2

s

s

s

(1)

(2)

(2 )

3

1

2

y

y

y

y

y

(1) 1

2

2

1

(1)

(1) 3

2

1

2

x = (1)

1

0

2

N

x (1) x = y (1)

(2) 0

x =

W W (1) (2)

1

y = y (2) (2)

x (1)

(1)

(1)

1 1

( ) ( 1) (1)... ( ) L Ly f W f W f W x

Paramétermeghatározás: minimumkeresés (LS probléma), BP vagy annak valamelyik variánsa

Nemlineáris osztályozó • Nemparametrikus nemlineáris osztályozó

– NN nearest neighbour, k-NN

• Posterior becslése

• Nemmetrikus módszerek – Döntési fák

– CART

– Szabály alapú módszerek

– ...

n cimkézett minta x körül egy V térfogat (tartomány) k mintából ki darab i cimkéjű

m-edik osztályba sorolunk, ha

Jellemzők kiválasztása • A jellemzők meghatározása, kiválasztása: az egyik legnehezebb

feladat • ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett

szűrők, stb.) • ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők

(kerület, terület, ezek aránya, ...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia, ...) , gradiens jellemzők: Gauss deriváltak DoG, LoG,...

• Globális-lokális jellemzők dilemmája

• A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? • Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka • Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális

vizsgálat) • Occam borotvája • Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) • Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1

norma • Relevant vector machine (Bayes módszer a változók szelektálására) • ...

Jellemző kiválasztás • PCA

1 2, , ..., T

NT φ φ φy TxTi j ijφ φ 1 , vagyis T T T T I T T

1

N

i i

i

y

x φ

1

ˆM

i i

i

y M N

x

2

222

1 1 1

ˆN M N

i i i i i

i i i M

E E y y E y

x x φ φ

Ti iy φ x

2

1 1 1

N N NT T T T Ti i i i i i

i M i M i M

E E

xxφ x x φ φ xx φ φ R φ

2

1 1

ˆ 1 1N N

T T Ti i i i i i i i

i M i M

xxφ φ φ C φ φ φ

1

ˆ2 2

N

i i ii i M

xxC φ φ 0φ

i i ixxC φ φ

2

1 1 1

N N NT Ti i i i i i

i M i M i M

xxφ R φ φ φ

2

T

T T

E yf

w Rww

w w w wRayleigh hányados

Jellemző kiválasztás • KPCA : , ( )N F Φ x X Φ xR

1

1 P T

j j

jP

C Φ x Φ x V CV 1

P

i i

i

V Φ x

T Tk k Φ x V Φ x CV

1 1 1

1P P PT T T

i k i i k j j i

i i jP

Φ x Φ x Φ x Φ x Φ x Φ x

, Tij i j i jK K x x Φ x Φ x 2P Kα K α P α Kα

1

k kT V V

, 1

, 1

1P

k k Ti ji j

i j

Pk k k kT

iji ji j

k kTk

K

Φ x Φ x

α Kα

α α

1 1

,P P

k kk T Ti ii i

i i

K

V Φ x Φ x Φ x x x

Sajátvektorok normalizálása A jellemzőtérbeli vektorok vetítése

• KPCA Jellemző kiválasztás

1 1

21 1 , 1

1 1

1 1 11 1 1 1

P P

ij i p j k

p k

P P P

ij ip pj ik kj ip pk kj

p k p k

P P P P ij

KP P

K K K KP P P

Φ x Φ x Φ x Φ x

K 1 K K1 1 K1

Nulla várható érték biztosítása

1

1 P

i i k

kP

Φ x Φ x Φ x

Tij i jK Φ x Φ x K α α

1

Pi ii

V Φ x

1 0Pk k Φ x

Jellemző kiválasztás • PLS • A kritérium szekvenciálisan maximáljuk a kimenet és a bemeneti

változók lineáris kombinációját X, d

• w a bemeneti változók xi és a kimenet d kapcsolatát (súlyait) adja meg)

• Ortogonalitási feltétellel

2

1

arg max cov ( , )T

k

w w

w Xw d

k kt Xw

0 minden 1T T T

k j k j j k t t w X Xw

Orvosi CAD rendszerek információ-feldolgozási folyamata

Mellkas röntgenkép (PA) diagnosztika

Orvosi CAD rendszerek információ-feldolgozási folyamata

Mellkas tomoszintézis

Orvosi CAD rendszerek információ- feldolgozási folyamata

Mammográfia

Main types of suspicious areas

spikulált folt

Jóindulatú elváltozás

mikrokalcifikáció architekturális torzítás

malignant

cases

20.05.2004 IMTC 2004, Como, Italy

A képek (esetek) változatossága zsíremlő zsír-grandular sűrű grandular

Kép szegmentálás

Éldetektálás és textura alapú osztályozás

Matching

based on

segment

position

+

texture

parameters

Egy lehetséges út a mikrokalcifikációk detektálásra Image

reading

Texture analysis

Suspicious

segment?

yes no

Focusing

on suspicious

subsegment

yes no

Edge detection

yes

no

Image egment

selection

Reinforcement

Curvilinear

detection

Verification

yes

no

Removing of curvilinear

objects

True positive result

Fals positive

result

Kulcscsont és bordák árnyékának eltüntetése

Kulcscsont és bordák árnyékának eltüntetése

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)

example of the results of the steps of vessel feature extraction.