Kurva Receiver operating Characteristic (Bagian 1)

Catatan materi kuliah dr Iwan Ariawan, MS “Pengukuran Skala Sikap” By : iswandi_2k@yahoo.com

ROC Curve adalah grafik antara sensitifitas (true positive rate) pada sumbu Y dengan 1-spesifisitas pada

sumbu X (false positive rate), seakan-akan menggambarkan tawar menawar antara sensitivitas dan

spesifisitas.

Tujuan

1. Untuk menilai seberapa akuratkah sebuah uji dapat mengidentifikasi ada-tidaknya penyakit atau

dengan kata lain untuk menilai kualitas suatu uji dalam membedakan antara kasus dan bukan kasus

(Metz, 1978; Zweig & Campbell,1993).

2. untuk menentukan cut off point pada uji diagnostic yang bersifat kontinyu (ariawan,2009).

3. untuk membandingkan kualitas dari dua atau lebih uji diagnostik (Griner, et. Al,1981).

Review Uji Diagnostik

Pengukuran Pada Uji Diagnostik

1. Sensitivity

Probabilitas hasil tes+ jika hasil baku emas +

2. Specificity

Probabilitas hasil tes- jika hasil baku emas -

3. Positive predictive value (+PV)

Probabilitas hasil baku emas + jika tes+

4. Negative predictive value (-PV)

Probabilitas hasil baku emas – jika tes -

5. Likelihood ratio positive (LR+)

Rasio hasil tes+ jika baku emas + dengan tes+ jika baku emas -

6. Likelihood ratio negative (LR-)

Rasio hasil tes- jika baku emas + dengan tes- jika baku emas -

“Sebagaimana tidak ada Area Under Curve yang mencapai nilai 1, maka manusia juga tidak ada yang sempurna”

Jangan membusung dada, membuat hati orang Sakit. Di atas langit masih ada langit…

Bismillah….

Tentang Cut-Off Point

Titik potong atau Cut-off point adalah nilai batas antara kelompok dengan penyakit dan kelompok tanpa

penyakit, atau nilai batas hasil uji positif dan hasil uji negative. Dalam menentukan titik potong ini harus

dilakukan tawar-menawar, karena peningkatan sensivitas akan menyebabkan penurunan spesifitas, dan

sebaliknya. Untuk itu, peneliti harus memperhatikan kepentingan uji dignostik tersebut dalam keadaan

sebenarnya.

Ilustarsi distribusi hasil uji pada kelompok dengan dan tanpa penyakit sbb :

Kelompok merah=penyakit+, kelompok

biru=penyakit- berdasarkan hasil uji baku

emas

Garis hijau adalah batas nilai untuk nilai

uji diagnostic

Dampak perubahan cut off point

1. Menggeser batas cut-off point untuk meningkatkan sensitifitas akan berdampak pada meningkatnya

hasil positif palsu

2. Sebaliknya menggeser cut-off point untuk meningkatkan spesifisitas akan berdampak pada

meningkatnya hasil negatif

Simulasi Sederhana ROC (sebagai alat bantu menetapkan cut-off point).

Dimisalkan ada 10 orang, 4 di antaranya positif (+) sakit dengan baku emas, selanjutnya dilakukan

penilaian terhadap ke 10 orang tersebut (dimisalkan

nilai 1 - 10) hasilnya 6, 5, 3…2

Selanjutnya dilakukan uji dengan cut-off point >5,

begitu pula dilakukan uji dengan cut-off point >6.

Apabila ditabulasi 2 x 2, maka hasilnya sebagaimana di

bawah :

COP = >5

Test

Gold Standar

+ -

+ 3 1

- 1 5

4 6

sen = 3/4 = 0.75 spe = 5/6 = 0.83 1-spe = 1-0.83 = 0.17

COP = >6

Test

Gold Standar

+ -

+ 2 0

- 2 6

4 6

sen = 2/4 = 0.5 spe = 6/6 = 1 1-spe = 1-1= 0

Apabila diplot maka visualisasinya (bentuk kurvanya) sbb :

Demikian seterusnya dibuat untuk COP dengan nilai yang lain ….

Contoh ROC dengan MedCalc

1. Buka aplikasi MedCalc

2. Pilh File open, lalu cari alamat file anda (mis untuk contoh kali ini, di

C:\Program Files/MedCalc/Sample Files/Data for ROC curve analysis.mc1)

No Sakit Uji >5 >6

1 + 6 + +

2 + 5 + -

3 + 3 - -

4 - 3 - -

5 - 5 + -

6 - 4 - -

7 + 7 + +

8 - 3 - -

9 - 2 - -

10 - 2 - -

1

1

COP >5

COP >6

0 1-spe

Sen

3. Selanjutnya pilih Statistics ROC curves ROC curve analysis…

Variable : berisi uji yang akan diukur kualitasnya (nilai uji

haruslah berbentuk numerik, apabila masih dalam bentuk

kategorik harus dikoding terlebih dahulu).

Classification variable : berisi variabel dikotomis yang

menunjukkan hasil diagnosis tiap pasien. Kode untuk kasus

dengan penyakit = 1, kasus tanpa penyakit = 0

Select : kolom ini bersifat opsional, berisi kriteria untuk

menyeleksi kelompok subjek agar lebih spesifik (mis

AGE>21,SEX=”Laki-laki”)

Options : Apabila data kasus dan non kasus

menggambarkan prevalensi penyakit yang sebenarnya di

populasi maka berikan tanda centang, atau apabila tidak

bisa dengan mengetikkan langsung prevalensinya, atau

abaikan saja bila prevalensinya tidak diketahui.

4. Setelah mengklik OK maka hasinya sebagai berikut :

5. Dari output pertama diketahui :

a. Jumlah sampel untuk kelompok

kasus dan non kasus 55:45

b. Prevalensi penyakit = 55%

c. Luas area di bawah kurva (AUC) =

0.947 (very good).

AUC dapat diinterpretasikan

sebagai rata-rata sensifitas untuk

semua nilai spesifitas yang

mungkin. Nilai AUC ini dipakai

untuk mengukur akurasi uji

diagnostic secara umum.

Nilai AUC 0 s/d 1, semakin mendekati 1 maka semakin baik uji diagnostic tersebut.

Pedoman instrumentasi nilai AUC sbb :

0.50 - 0.75 = Fair

0.75 - 0.92 = Good

0.92 - 0.97 = Very good

0.97 - 1.00 = Excellent

Batas bawah nilai AUC = 0.5, jadi apabila AUC < 0.5 berarti hanya hasil tebak-tebakan saja. Uji

dengan nilai AUC demikian “mendingan dilupakan saja or di cut-off saja” kata Pa Iwan.

d. Nilai p = 0.0001.

Diketahui : Ho = Nilai AUC sama dengan 0.5

Ha = Nilai AUC tidak sama dengan 0.5

Karena nilai p<0.05 maka hipotesis null ditolak, maka terdapat perbedaan yang signifikan AUC

dengan 0.5 atau dengan kata lain uji tersebut terbukti memiliki kemampuan untuk membedakan

antara dua kelompok (kasus-non kasus).

e. Nilai sensitivitas, spesifisitas, keduanya pada CI tertentu, likelihood ratio, PPV, NPV pada masing-

masing kriteria cut-off point.

f. Tanda * pada nilai kriteria cut-off point 108.9 * menunujukkan hubungan antara sensitivitas dan

spesifisitas pada rata-rata tertinggi.

Apabila kita memilih cut-off point yang nilainya rendah, maka TPF dan sensitivitas akan naik.

Selanjutnya FPF akan ikut naik, sehingga TNF dan spesifisitas akan menurun.

Sebaliknya apabila kita memilih cut-off point yang tinggi, maka FPF akan turun bersamaan

dengan meningkatnya spesifisitas akan tetapi TPF dan sensitivitas akan naik.

Untuk tujuan skrining, maka digunakan cut-off point dengan sensitivitas dan spesifisitas pada

rata-rata tertinggi seperti contoh kasus di atas. Untuk mengkonfirmasi hasil skrining, maka

pada objek yang sudah terseleksi sebelumnya dilakukan uji lagi, kali ini dengan spesifisitas

dan PPV yang lebih tinggi.

6. Dari output kedua terlihat kurva yang merupakan hasil plot-an true positive rate (Sensitivitas) di

sumbu Y dengan false positive rate (1-spesifisitas) di sumbu X pada nilai cut-off point yang berbeda-

beda.

Garis merah diagonal menunjukkan AUC = 0.5 uji diagnostic tidak berguna

Garis biru menunjukkan AUC uji pada contoh kasus = 0.947

Walhamdulillah…

(Bersambung)