สถตทในการทดสอบความช านาญ

การประเมนคณภาพหองปฏบตการ

การตรวจหาปรมาณเชอ HIV ในกระแสเลอด

(External Quality Assessment Scheme for HIV Viral Load Testing)

นางนวพร อนนตสนกล

18 สงหาคม 2558

18 สงหาคม 2558

1

N. Anantasinkul

สถตทใชในการทดสอบความช านาญ • การทดสอบความช านาญ (Proficiency testing, PT) - เปนการเปรยบเทยบผลวเคราะหระหวางหองปฏบตการ โดยทหองปฏบตการ

สมาชกรายงานผลวเคราะหโดยใชวธทใชประจ าในหองปฏบตการ ใหผด าเนนแผน ทดสอบความช านาญประเมนศกยภาพ (performance) ของหองปฏบตการ สมาชก

- ใชสถตในหลายขนตอนขนอยกบการออกแบบแผนการทดสอบความช านาญ (Proficiency testing scheme, PT scheme)

- PT scheme ทมการเตรยมตวอยางทดสอบความช านาญ (PT sample) และจดสงใหหองปฏบตการสมาชก ใชสถตในขนตอนตางๆ ดงน

18 สงหาคม 2558 2

N. Anantasinkul

1. สถตส าหรบทดสอบความเปนเนอเดยวกนของตวอยางทดสอบ ความช านาญ (Homogeneity check of PT sample) เลอก PT sample แบบสมจ านวน 10 ขวด แตละขวดวเคราะห 2 ซ า และใชสถตทดสอบวาผลวเคราะหทง 10 ขวด ไมแตกตางกนเพอแสดงวา PT sample มความเปนเนอเดยวกน

- เกณฑการยอมรบวา PT sample มความเปนเนอเดยวกน เปรยบเทยบคาเบยงเบนมาตรฐานระหวางตวอยาง (between-sample standard deviation; ss ) กบคาเบยงเบนมาตรฐานของการทดสอบความช านาญ (standard deviation for proficiency assessment; )

ถา ss ไมเกน 0.3 เทาของ แสดงวา PT sample มความเปนเนอเดยวกน

σ 0.3ssˆ

18 สงหาคม 2558 3

N. Anantasinkul

1. สถตส าหรบทดสอบความเปนเนอเดยวกนของ PT sample (ตอ) การค านวณ ss ส าหรบแผนทดสอบความช านาญน ค านวณจากสตร ss =

MSB = Mean square between sample จากตาราง ANOVA MSW = Mean square within sample จากตาราง ANOVA n0 = จ านวนวเคราะหซ า = 2

ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอว ในกระแสเลอด ครงท 23 (1/2558) ทดสอบโดยใชตวอยาง HIVL 581-2 ไดคา ss = SQRT((0.002760 – 0.001598)/2) = 0.024 = 0.024

18 สงหาคม 2558 4

N. Anantasinkul

n

MSMS

0

WB

การวเคราะหความแปรปรวน (Analysis of Variance, ANOVA)

Source of Variation SS df MS F p-value F crit

Between Groups 0.02484 9 0.002760 1.7272 0.39 ? 3.020383

Within Groups 0.01598 10 0.001598

Total 0.0408 19

1. สถตส าหรบทดสอบความเปนเนอเดยวกนของ PT sample (ตอ)

18 สงหาคม 2558 5 N. Anantasinkul

1. สถตส าหรบทดสอบความเปนเนอเดยวกนของ PT sample (ตอ) การประมาณคา (Sigma hat)

การประมาณคา ตาม ISO 13528 : 2005 ม 5 วธ ส าหรบแผนการทดสอบความช านาญนประมาณคา จากผลวเคราะหของ หองปฏบตการสมาชกททดสอบความช านาญรอบเดยวกน คอ = s* โดย s* = คาเบยงเบนมาตรฐานโรบสต ค านวณจากผลทดสอบ ของสมาชก (Robust standard deviation) ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอว ในกระแสเลอด ครงท 23 (1/2558) ตวอยางรหส HIVL 581-2 ไดคา s* = 0. 08 ดงนน = 0.08 และ 0.3 = 0.3 x 0.08 = 0.024 สรปวา PT sample มความเปนเนอเดยวกน เนองจาก 0.024 = 0.024 คอ ss ไมเกน 0.3

18 สงหาคม 2558 6

N. Anantasinkul

2. สถตทใชในการทดสอบความคงตว ของ PT sample (Stability test of PT sample) - เกณฑการยอมรบวา PT sample มความคงตว PT sample มความคงตวถา คาแตกตางระหวาง คาเฉลย เมอศกษาความคงตว (x) กบคาเฉลยเมอศกษาความเปนเนอเดยวกน (y) ตองไมเกน 0.3 เทาของคา เบยงเบนมาตรฐานของการทดสอบความช านาญ (standard deviation of proficiency assessment, ) จงจะแสดงวา PT sample มความคงตว = คาเฉลยในสภาวะทศกษาความคงตว

= คาเฉลยเมอทดสอบความเปนเนอเดยวกน

= คาเบยงเบนมาตรฐานของการทดสอบความช านาญ

σ 0.3 y - x

x

y

18 สงหาคม 2558 7

N. Anantasinkul

2. สถตทใชในการทดสอบความคงตว ของ PT sample (ตอ) ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอว ในกระแสเลอด ครงท 23 (1/2558) ตวอยางรหส HIVL 581-3 ไดคา X = 3.877 Y = 3.860 | X – Y | = |3.877-3.86| = 0.017 และ 0.3 = 0.3 x 0.08 = 0.024 สรปวา PT sample มความคงตว เนองจาก 0.017 นอยกวา 0.024

18 สงหาคม 2558 8

N. Anantasinkul

3. การใชสถตในการหาคาก าหนด (assigned value) และคาความไมแนนอน ของ PT sample 3.1 การหาคาก าหนด มหลายวธ ส าหรบแผนการทดสอบความช านาญน ใชสถตเชงปรบแก (Robust statistic) โดยค านวณคาพอง (Consensus value) ไดจากขอมลผลวเคราะหของหองปฏบตการสมาชกและมขอมลตงแต 10 คาขนไป สถตเชงปรบแก (Robust statistics) ในการทดสอบความช านาญ ผลวเคราะหจากหองปฏบตการสมาชกซงใชวธวเคราะห ตางๆ กน จะมความหลากหลาย ไมอาจสมมตไดวาขอมลทงหมดมการแจกแจงแบบปกต และประเมนคาสถตตางๆ ได ขอมลสวนใหญมกมคาสดตาง (outlier) อยดวย จงนยมใช สถตเชงปรบแก (Robust statistics) ซงเปน non-parametric แทน

18 สงหาคม 2558 9

N. Anantasinkul

3.1 การหาคาก าหนด (ตอ) การหาคาก าหนด ใช Algorithm A ใน Annex C ของ ISO 13528 :2005 - ไดคาเฉลยโรบสต (Robust mean , x*) และ คาเบยงเบนมาตรฐานโรบสต (Robust standard deviation , s*) ขนตอนการค านวณคา x* และ s* 1) เรยงล าดบขอมลจากนอยไปหามาก เปนคา xi 2) ค านวณคาเฉลยและคาเบยงเบนมาตรฐาน 3) ค านวณคามธยฐาน (median) ของชดขอมลครงท 1 เปนคา New x* 4) ค านวณคาแตกตางระหวางคา xi แตละคา กบคา New x* โดยไมคด เครองหมายคอ 5) ค านวณคา New s* ครงท 1 = 1.483 x median( ) 7) ค านวณ delta () = 1.5 x New s* 8) ตรวจสอบขอมล xi โดยขอมลทมคานอยกวา New x*- ใหแทน xi ดวย x*- และขอมลทมคามากกวา New x*+ ใหแทน xi ดวย x*+ 18 สงหาคม 2558 10 N. Anantasinkul

3.1 การหาคาก าหนด (ตอ) ขนตอนการค านวณคา x* และ s*(ตอ) 9) ค านวณคาเฉลยและคาเบยงเบนมาตรฐานของชดขอมลใหม 10) ค านวณคา New x* ครงท 2 = xi / p , (p คอ จ านวนขอมล) 11) ค านวณคา New s* ครงท 2 = 1.134 x คาเบยงเบนมาตรฐาน จากขอ (9) 12) ท าซ าตงแตขอ (7) ถงขอ 11 จนกระทงคา New x* และ New s* จะ ไดคาเทากบรอบกอนหนา จงหยด - คา x* ทไดคอคาเฉลยโรบสต หรอคาก าหนดของ PT sample - คา s* ทไดคอ คาเบยงเบนมาตรฐานโรบสต ซงแผนทดสอบความช านาญน ก าหนดใหเปนคาเบยงเบนมาตรฐานของการทดสอบความช านาญ ( )

3.2 ค านวณคาความไมแนนอนของคาก าหนดของ PT sample standard uncertainty, u x = 1.25 x s* p

p = จ านวน lab สมาชก 18 สงหาคม 2558

11

N. Anantasinkul

ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอว ในกระแสเลอด ครงท 23 (1/2558) ตวอยางรหส HIVL 581-2 และใช ชดตรวจ Cobas TaqMan HIV-1 test ไดคา x* = 3.82 s* = 0.08 , p = 32 u x = 0.018 U = 2 x 0.018 = 0.036 , k = 2

18 สงหาคม 2558 12

N. Anantasinkul

4. การค านวณคา Robust Z-score 4.1 การประเมนความเบยงเบนภายในหองปฏบตการ (Within laboratory variation) เพอแสดงถงความเทยง (Precision) ของผลวเคราะหคาซ าของหองปฏบตการ สมาชก โดยการประเมนจากผลวเคราะหตวอยางทซ ากน 2 ซ า (duplicated sample) Z-score (within) =

เมอ x = (คาซ าท 1 – คาซ าท 2 )/ 1.414 median (x) = คามธยฐานของ x NIQR = Normalised Inter - Quartile Range = (Quartile ท 3 - Quartile ท 1) x 0.7413

ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอวในกระแสเลอด ครงท 23 (1/2558) ตวอยางซ าทเหมอนกน 2 ตวอยาง คอ รหส HIVL 581-2 และ HIVL 581-3 ใชชดตรวจ Abbott Real Time HIV-1 test (ตารางท 5.5) Lab ID V76 ไดคา z-score (within) = 6.83

18 สงหาคม 2558 13

N. Anantasinkul

4. การค านวณคา Robust Z-score (ตอ) 4.2 การประเมนความเบยงเบนระหวางหองปฏบตการ (Between laboratory variation) เพอแสดงถงความแมน (Accuracy) ของผลวเคราะหของหองปฏบตการ 4.2.1 โดยการประเมนผลวเคราะหตวอยางทซ ากน 2 ซ า (Duplicated sample) z-score (between) = s = (คาซ าท 1 + คาซ าท 2)/1.414 median (s) = คามธยฐานของ s

ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอวใน กระแสเลอด ครงท 23 (1/2558) ตวอยางซ าทเหมอนกน 2 ตวอยางคอ รหส HIVL 581-2 และ HIVL 581-3 ใชชดตรวจ Cobas TaqMan HIV-1 test (ตารางท 5.4) Lab ID V31 ไดคา z-score (between) = - 5.44

(s) NIQR

(s) median - s

18 สงหาคม 2558 14

N. Anantasinkul

4.2 การประเมนความเบยงเบนระหวางหองปฏบตการ (Between laboratory variation) (ตอ) 4.2.2 การค านวณคา Z-score (ตอ)

Robust Z-score =

เมอ xi = ผลวเคราะหจากหองปฏบตการสมาชก x* = robust mean s* = robust standard deviation ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอวใน กระแสเลอด ครงท 23 (1/2558) ตวอยางรหส HIVL 581-2 ใชชดตรวจ Cobas TaqMan HIV-1 test (ตารางท 5.1) Lab ID V31 ไดคา Robust z-score = - 4.50

*s

* x- x i

18 สงหาคม 2558 15

N. Anantasinkul

- เปนการ plot ผลวเคราะหตวอยางทซ ากน 2 ตวอยาง (Duplicated sample) ของแตละหองปฏบตการ โดยแกน X และ Y แทนขอมลผลวเคราะหของตวอยาง ทซ ากน 2 ตวอยาง ตามล าดบ จดตดของ plot เปนคา x* ของตวอยางทซ ากน 2 ตวอยาง เสนวงรเปนคาของ + 2s และ + 3s - ใชบอกแนวโนมของสาเหตทอาจเปนไปไดของคาทออกนอกชวง + 2s และ + 3s ดงน - ถา plot ของหองปฏบตการออกนอกชวง + 2s และ + 3s และอยในแนวทะแยงขวา (ชองลางซายและบนขวา) อาจเกดจากความผดพลาดระบบ (systematic error) คอ แสดงถงผลวเคราะหแตกตางจากคาจรงหรอคาก าหนด(assigned value) อยางมนยส าคญ กรณน คา z-score(between) จะมากกวา 2 หรอ 3 - ถา plot ของหองปฏบตการออกนอกชวง + 2s และ + 3s และอยในแนวทะแยง ซาย(ชองลางขวาและบนซาย) อาจเกดจากความผดพลาดสม(random error) คอแสดงถง ผลวเคราะหมปญหาเรอง ความเบยงเบนภายในหองปฏบตการหรอมปญหาเรองความเทยง (precision) กรณน คา z-score (within) จะมากกวา 2 หรอ 3

5. Youden Plot

18 สงหาคม 2558 16

N. Anantasinkul

ตวอยาง โครงการประเมนคณภาพหองปฏบตการ การตรวจหาปรมาณเชอเอชไอวใน กระแสเลอด ครงท 23 (1/2558) ตวอยางซ า 2 ตวอยาง (Duplicated sample) คอ รหส HIVL 581-2 และ HIVL 581-3 ใชชดตรวจ Cobas TaqMan HIV-1 test - Lab ID V31 plot อยในชองลางซาย มคา z-score (between) = - 5.44 คา Robust z-score ของตวอยาง HIVL 581-2 และ HIVL 581-3 เทากบ - 4.5 และ - 4.89 ตามล าดบ ซงมคาเกน 3 ในทศทางลบ แสดงวามความผดพลาดระบบ (systematic error) คอ ผลวเคราะหแตกตางจาก คาก าหนด กรณนไดคาก าหนด (x*) ของ 2 ตวอยาง = 3.82 แตผลวเคราะห = 3.46 และ 3.38 ตามล าดบ ส าหรบผลวเคราะหโดยชดตรวจ Abbot Real time HIV-1 test - Lab ID V76 plot อยในชองลางขวา มคา z-score (within) = 6.83 แสดงวามปญหาเรองการวเคราะหซ าคอ ผลวเคราะหของ 2 ตวอยางแตกตางกน กรณนไดคาก าหนด (x*) ของ 2 ตวอยาง = 3.78 และ 3.77 แตผลวเคราะห = 3.87 และ 3.67 ซงมความแตกตางกนของผลวเคราะหซ า

5. Youden Plot (ตอ)

18 สงหาคม 2558 17

N. Anantasinkul

5. Youden Plot (ตอ)

18 สงหาคม 2558 18

N. Anantasinkul

6. วธการประเมนผลทดสอบของหองปฏบตการสมาขก 6.1 ความเทยงของการทดสอบ (Precision) 6.1.1 กรณมขอมลนอยกวา 10 ขอมล - ประเมนจากคาแตกตางของผลวเคราะหของตวอยาง 2 ซ า (Duplicated sample) ถาเกนกวา 0.5 log(copies/ml) ถอวาไมอยในชวงยอมรบได 6.1.2 กรณมขอมลตงแต 10 ขอมลขนไป

- ประเมนโดยใชสถตโรบสต ค านวณคา z-score (within) ของหองปฏบตการ สมาชก

6.1.3 แสดงผล Youden plot ของผลทดสอบตวอยาง 2 ซ า (Duplicated sample)

18 สงหาคม 2558 19

N. Anantasinkul

6. วธการประเมนผลทดสอบของหองปฏบตการสมาขก (ตอ) 6.2 ความแมนของการทดสอบ (Accuracy) 6.2.1 กรณมขอมลนอยกวา 10 ขอมล - จะไมประเมนผลวเคราะหทางสถต 6.2.2 กรณมขอมลตงแต 10 ขอมลขนไป

- ประเมนโดยใชสถตโรบสต ค านวณคา x*, s* และ Robust z-score ของหองปฏบตการสมาชก

การประเมนดวย Z-score (Robust z-score, z-score(within), z-score(between) z < 2 ผลประเมนนาพอใจ 2 < z < 3 ผลประเมนยงเปนปญหา z > 3 ผลประเมนไมนาพอใจ

18 สงหาคม 2558 20

N. Anantasinkul

1. ISO 13528 : 2005 Statistical methods for use in proficiency testing by interlaboratory comparisons. 2. ISO/IEC 17043 : 2010. Conformity assessment- General requirements for proficiency testing . 3. OIML V2-200:2007 International Vocabulary of Metrology-Basic and General Concepts and Associated Terms (VIM). 4. Guide to NATA Proficiency testing, 2004. 5. ผศ. ดร. ครรชต จดประสงค, Testing homogeneity, stability/Estimating assigned value of a measurand and its uncertainty, เอกสารประกอบการ บรรยาย การอบรมเชงปฏบตการ ณ หองประชม 501 อาคาร 3 กรมวทยาศาสตรการแพทย วนท 30 เมษายน- 1 พฤษภาคม 2557.

เอกสารอางอง

18 สงหาคม 2558 21

N. Anantasinkul