Quality Assessment - Ministry of Public Health · ง ง สำรบ ญภำพ หน า ภาพท 1 ข นตอนการส บค นข อม ลอย างเป

Quality Assessment

ก

ค ำน ำ

คู่มือการประเมินคุณภาพเอกสารงานวิจัย (quality assessment) จัดท าขึ้นโดยคณะกรรมการ จัดการความรู้ (KM) สถาบันวิจัยและประเมินเทคโนโลยีทางการแพทย์ โดยมีวัตถุประสงค์เพ่ือให้นักวิชาการ มีแนวทางในการประเมินคุณภาพของข้อมูลหลักฐานทางการแพทย์ที่ผ่านการสืบค้น (searching) จากรูปแบบการวิจัยประเภทต่างๆ เนื้อหาในคู่มือการประเมินคุณภาพเอกสารงานวิจัยประกอบด้วย การคัดเลือกเอกสารงานวิจัย ขั้นตอนการประเมินคุณภาพเอกสารงานวิจัย และเครื่องมือประเมินคุณภาพเอกสารงานวิจัย โดยได้รวบรวมความรู้จากผู้เชี่ยวชาญ เอกสารการทบทวนอย่างเป็นระบบ (systematic reviews) หนังสือ การวิจัยเชิงสังเคราะห์ในการดูแลรักษาสุขภาพ และจากการประชุมแลกเปลี่ยนเรียนรู้ร่วมกันของคณะท างานจดัการความรู้

ขอขอบคุณ ดร. นายแพทย์อรรถสิทธิ์ ศรีสุบัติ ผู้อ านวยการสถาบันวิจัยและประเมินเทคโนโลยี ทางการแพทย์ ในการถ่ายทอดความรู้และทักษะในด้านนี้ และ ให้การสนับสนุนในการด าเนินการ รวมถึงคณะกรรมการจัดการความรู้ทุกท่านที่ได้ร่วมกันจัดท าคู่มือการประเมินคุณภาพเอกสารงานวิจัย (quality assessment) นี้ และหวังเป็นอย่างยิ่งว่าคู่มือเล่มนี้จะเป็นประโยชน์ในการสนับสนุนนักวิชาการ ในการปฏิบัติงานด้านวิชาการและสร้างผลงานวิจัยอย่างมีประสิทธิภาพต่อไป

คณะกรรมการจัดการความรู้ (KM) สถาบันวิจัยและประเมินเทคโนโลยีทางการแพทย์

มกราคม 2562

ข

ข

สำรบัญ

หน้า ค าน า ก

สารบัญ

สารบัญตาราง

ข

ค

สารบัญภาพ ง

บทน า 1

กระบวนการประเมินคุณภาพเอกสารงานวิจัย 4

การประเมินคุณภาพเอกสารงานวิจัยประเภทการทบทวนอย่างเป็นระบบ (systematic reviews) 4

การประเมินคุณภาพเอกสารงานวิจัยประเภทการทดลองแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trials; RCT)

6

การประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies 11

การประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies 15

การประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies 18

บรรณานุกรม 21

ภาคผนวก 22

เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภทการทบทวนอย่างเป็นระบบ (systematic reviews) 23

เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภทการทดลองแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trials; RCT)

25

เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies 30

เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies 31

เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies 32

ค

สำรบัญตำรำง

หน้า

ตารางท่ี 1 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท systematic reviews 5

ตารางท่ี 2 อคติหรือความคลาดเคลื่อนที่อาจเกิดข้ึนในการวิจัย 6

ตารางท่ี 3 ขั้นตอนการพิจารณาอคติในงานวิจัย 7

ตารางท่ี 4 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท randomized controlled trials (RCT)

9

ตารางท่ี 5 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies 14

ตารางท่ี 6 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies 17

ตารางท่ี 7 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies 20

ง

ง

สำรบัญภำพ

หน้า

ภาพที่ 1 ขั้นตอนการสืบค้นข้อมูลอย่างเป็นระบบ 1

ภาพที ่2 กระบวนการประเมินคุณภาพเอกสารงานวิจัย 3

ภาพที ่3 การประเมินคุณภาพเอกสารงานวิจัยประเภท randomized controlled trials (RCT) 8

ภาพที ่4 ตัวอย่างแสดงความเสี่ยงของอคติ (risk of bias) แต่ละการศึกษา 10

ภาพที ่5 ตัวอย่างแสดงความเสี่ยงของอคติ (risk of bias) ของทุกการศึกษา 10

ภาพที ่6 การประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies 11

ภาพที ่7 การประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies 15

ภาพที ่8 การประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies 18

1

บทน ำ

การทบทวนอย่างเป็นระบบ (systematic reviews) เป็นการสังเคราะห์ข้อมูลหลักฐาน ทางวิทยาศาสตร์ที่มีอยู่เดิม อาจเรียกว่า secondary research หรือ documentary research ซึ่งมีวิธีการ ที่เป็นขั้นตอน และมีระบบที่ชัดเจน (ภาพที่ 1) โดยมีการคิดค าค้น (key word) ที่เกี่ยวข้องกับเรื่องที่ต้องการศึกษาให้ได้มากที่สุด แล้วจัดท ากลยุทธ์การสืบค้นข้อมูลเพ่ือให้ได้ เอกสารงานวิจัยที่ครอบคลุมและตรงประเด็น เมื่อได้เอกสารงานวิจัยฉบับเต็ม (full paper) ตามกลยุทธ์การสืบค้นข้อมูลแล้วจะต้องมีการประเมินคุณภาพเอกสารงานวิจัยดังกล่าวตามเกณฑ์การประเมินของแต่ละรูปแบบการวิจัย วิเคราะห์แต่ละเอกสารงานวิจัย อย่างมีวิจารณญาณ (critical appraisal) แล้วสังเคราะห์ข้อมูล (data synthesis) เพ่ือให้ได้ข้อมูลที่สามารถตอบวัตถุประสงค์ของการศึกษาหรือค าถามที่ตั้งไว้1-3 โดยการประเมินคุณภาพเอกสารงานวิจัยมีวัตถุประสงค์เพ่ือพิจารณาและวิเคราะห์เอกสารงานวิจัยที่ได้จากการสืบค้น โดยค านึงถึงความถูกต้องของรูปแบบการวิจัย และวิเคราะห์เอกสารงานวิจัยตามวิธีการวิจัย รวมทั้งน าข้อมูลที่ได้จากเอกสารงานวิจัยมาสังเคราะห์ต่อไป

ภาพที ่1 ขั้นตอนการสืบค้นข้อมูลอย่างเป็นระบบ

2

2

กระบวนการประเมินคุณภาพเอกสารงานวิจัยมีรายละเอียดดังนี้ (ภาพที ่2) 1. การคัดเลือกเอกสารงานวิจัยเริ่มจากการอ่านชื่อเรื่องและบทคัดย่อเอกสารงานวิจัยที่ค้นมา

ได้ก่อน หากพบว่าชื่อเรื่องและบทคัดย่อไม่ตรงตามเกณฑ์การคัดเลือกเอกสารที่ได้ก าหนดไว้ ควรคัดเอกสารงานวิจัยนั้นออกจากการศึกษา เกณฑ์การคัดเลือกเอกสารงานวิจัยจากชื่อเรื่อง จะพิจารณาจากองค์ประกอบการก าหนดค าถาม PICO 4 องค์ประกอบหลัก ได้แก่ ประชากรที่ศึกษาวิจัย (population) วิธีการที่สนใจในการศึกษา (intervention) ผลลัพธ์ที่สนใจ (outcomes) หรือที่เรียกว่า PICO รวมถึงการพิจารณารูปแบบการศึกษาที่สนใจ (research methodology)

เมื่อได้ชื่อเรื่องและบทคัดย่อที่ตรงตามเกณฑ์การศึกษาในเบื้องต้นแล้ว ให้ค้นหาเอกสารงานวิจัยฉบับเต็ม (full paper) เพ่ือน ามาพิจารณาให้ละเอียดมากขึ้น ทั้งนี้ควรพิจารณาด้วยว่าเอกสารงานวิจัยที่รวบรวมมานั้นมาจากการศึกษาเดียวกันหรือไม่ โดยพิจารณาจากชื่อผู้วิจัย สถานที่ ประเทศ และรายละเอียดอ่ืนๆ เช่น ยาที่ใช้ในการศึกษา ความถี่ในการใช้ยา จ านวนและข้อมูลพ้ืนฐานผู้เข้าร่วมการศึกษา หรือเวลาและช่วงที่ท าการศึกษา การคัดเลือกเอกสารงานวิจัยควรด าเนินการโดยผู้วิจัยอย่างน้อย 2 คน ซึ่งท าหน้าที่อย่างเป็นอิสระต่อกัน ใช้เกณฑ์ในการคัดเลือกเดียวกัน และมีการแสดงเหตุผลในการคัดเข้า/คัดออกของเอกสารงานวิจัยนั้นๆ จากนั้นน าผลที่ได้จากการคัดเลือกของแต่ละคนมาเปรียบเทียบกัน กรณีที่มีความเห็นไม่ตรงกันในการตัดสินใจเลือกเอกสารงานวิจัยเรื่องใดเรื่องหนึ่ง จะต้องมีการตัดสินขั้นสุดท้ายโดยให้ผู้วิจัยทั้ง 2 คน ปรึกษาและตัดสินใจร่วมกัน (consensus) หรือใช้ความเห็นจากผู้เชี่ยวชาญ (expert opinion) มาช่วยในการตัดสิน

2. การประเมินคุณภาพเอกสารงานวิจัยด าเนินการโดยจ าแนกเอกสารงานวิจัยที่คัดเลือกมาแล้วตามรูปแบบวิธีการวิจัย (study design) เอกสารงานวิจัยแต่ละรูปแบบวิธีการวิจัยจะใช้ เครื่องมือประเมินคุณภาพที่แตกต่างกัน ซึ่งเครื่องมือประเมินคุณภาพเอกสารงานวิจัยจะช่วยเน้นในการประเมินประเด็นที่ส าคัญหลายส่วนตั้งแต่การออกแบบการศึกษา ขั้นตอนการด าเนินการวิจัย และการวิเคราะห์ผล เอกสารงานวิจัย แต่ละฉบับควรได้รับการประเมินท้ังในแง่ความถูกต้องภายในการศึกษา เช่น กระบวนการสุ่ม การปกปิด การท าวิจัยว่ามีการท าตามแผนมากน้อยเพียงใด และความถูกต้องของการน าผลการศึกษาไปประยุกต์ใช้ภายนอก การประเมินคุณภาพเอกสารงานวิจัยควรด าเนินการโดยผู้วิจัยอย่างน้อย 2 คน ท าหน้าที่อย่างเป็นอิสระต่อกัน เครื่องมอืประเมินคุณภาพเอกสารงานวิจัยที่ใช้ประเมินเอกสารแต่ละรูปแบบวิธีการวิจัยมีดังนี้

2.1 วิธีการวิจัยประเภท systematic reviews ใช้เครื่องมือ Assessing Methodological Quality of systematic Reviews (AMSTAR)4

2 .2 วิ ธี ก า ร วิ จั ยปร ะ เภท randomized controlled trials (RCT) ใ ช้ เ ค รื่ อ งมื อ The Cochrane Collaboration’s tool for assessing risk for bias5

2.3 วิธีการวิจัยประเภท cohort studies ใช้เครื่องมือ Newcastle-Ottawa Quality Assessment Scale: Cohort study6

2.4 วิธีการวิจัยประเภท case-control studies ใช้เครื่องมือ Newcastle-Ottawa Quality Assessment Scale: Case-control study6

2.5 วิธีการวิจัยประเภท cross-sectional studies ใช้เครื่องมือ Newcastle-Ottawa Quality Assessment Scale Adapted for Cross-sectional study7

3

คัดเลือกเอกสารงานวิจัย ตามเกณฑ์คัดเข้า/คัดออก

ประเมินคุณภาพเอกสารงานวิจัย ตามรูปแบบวิธีการวิจัย

Systematic review studies

Randomized controlled trials

Cohort studies

Case-control studies

Cross-sectional studies

Assessing Methodological Quality of systematic Reviews (AMSTAR)4

The Cochrane Collaboration’s tool for assessing risk for bias5

Newcastle-Ottawa Quality Assessment Scale: Cohort study6

Newcastle-Ottawa Quality Assessment Scale: Case-control study6

Newcastle-Ottawa Quality Assessment Scale Adapted for

Cross-sectional study7

เอกสารงานวิจัยตรงตามเกณฑ์

เอกสารงานวิจัยไม่ตรงตามเกณฑ์

เครื่องมือประเมินคุณภาพเอกสารงานวิจัย

ภาพที่ 2 กระบวนการประเมินคุณภาพเอกสารงานวิจัย

4

กระบวนกำรประเมินคุณภำพเอกสำรงำนวิจัย

การประเมินคุณภาพเอกสารงานวิจัย แบ่งตามประเภทการวิจัยออกเป็น 5 ประเภท ดังนี้ 1. การประเมินคุณภาพเอกสารงานวิจัยประเภทการทบทวนอย่างเป็นระบบ (systematic reviews) ใช้แบบประเมินคุณภาพเอกสารงานวิจัย AMSTAR (A Measurement Tool to Assess Systematic Reviews)4 โดยประกอบด้วยข้อค าถาม 11 ข้อ ในแต่ละข้อค าถาม จะให้ผู้วิจัยเลือกตอบ Y = Yes, N = No, CA = Can't answer, NA = Not applicable แล้วน าไปวิเคราะห์ โดยโปรแกรม RevMan ข้อค าถาม 11 ข้อ ได้แก่

1) Was an 'a priori' design provided? (มีการก าหนดค าถามการวิจัยและเกณฑ์การคัดเข้าในเบื้องต้นหรือไม่)

2) Was there duplicate study selection and data extraction? (การคัดเลือกการศึกษาและการสกัดข้อมูล มีการท า 2 ครั้งหรือไม่ (แยกกันท าอย่างเป็นอิสระอย่างน้อย 2 คน))

3) Was a comprehensive literature search performed? (กระบวนการในการสืบค้นข้อมูลมีความครอบคลุม โดยการสืบค้นจากแหล่งข้อมูลอย่างน้อย 2 แหล่งข้อมูล)

4) Was the status of publication (i.e. grey literature) used as an inclusion criterion?

(เกณฑ์การคัดเข้าของการศึกษาได้บอกประเภทของการศึกษาหรือไม่ เช่น บทความทางวิชาการ เอกสารประกอบการประชุม)

5) Was a list of studies (included and excluded) provided? (เอกสารงานวิจัยมีการแยกรายละเอียดเกณฑ์ท่ีคัดเข้าและเกณฑท์ี่คัดออกหรือไม)่

6) Were the characteristics of the included studies provided? (ลักษณะของเอกสารงานวิจัยที่ถูกคัดเลือกเข้ามา มีความถูกต้องหรือไม)่

7) Was the scientific quality of the included studies assessed and documented? (คุณภาพของเอกสารงานวิจัยที่ถูกคัดเลือกเข้ามา สามารถประเมินและใช้เป็นข้อมูลประกอบได้หรือไม)่

8) Was the scientific quality of the included studies used appropriately in formulating conclusions? (คุณภาพของเอกสารงานวิจัยที่ถูกคัดเลือกเข้ามา สามารถใช้ในการหาข้อสรุปได้อย่างเหมาะสมหรือไม่)

9) Were the methods used to combine the findings of studies appropriate? (วิธีที่ใช้รวบรวมผลการศึกษามีความเหมาะสมหรือไม่)

10) Was the likelihood of publication bias assessed? (มีความเป็นไปได้จากการประเมินอคติของการตีพิมพ์หรือไม่)

11) Was the conflict of interest included? (ผลของการศึกษามีความขัดแย้งกันหรือไม่)

5

ตารางที่ 1 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท systematic reviews

ประเด็นการประเมินคุณภาพ การศึกษาท่ี 1 การศึกษาท่ี 2 การศึกษาท่ี 3

1. A priori design provided Y/N Y/N Y/N

2. Duplicated study selection and data extraction Y/N Y/N Y/N

3. A comprehensive literature search performed Y/N Y/N Y/N

4. Status of publication (i.e. grey literature) used as an inclusion

Y/N Y/N Y/N

5. A list of studied Y/N Y/N Y/N

6. Characteristics of the included studies provided Y/N Y/N Y/N

7. Scientific quality of the included studies assessed and documented

Y/N Y/N Y/N

8. Scientific quality of the included studies used appropriately in formulating conclusions

Y/N Y/N Y/N

9. Methods used to combine the finding of studies appropriate

Y/N Y/N Y/N

10. Likelihood of publication bias assessed Y/N Y/N Y/N

11. Conflict of interest included Y/N Y/N Y/N

* Y = Yes, N = No, CA = Can't answer, NA = Not applicable

6

2. การประเมินคุณภาพเอกสารงานวิจัยประเภทการทดลองแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trials; RCT) เป็นการพิจารณาโอกาสเกิดอคติหรือความคลาดเคลื่อนของข้อมูลอย่างเป็นระบบในแต่ละข้ันตอนของระเบียบวิธีวิจัยของการทดลองแบบสุ่ม ดังนี้

ตารางท่ี 2 อคติหรือความคลาดเคลื่อนที่อาจเกิดข้ึนในการวิจัย

อคติ (bias) ค าจ ากัดความ ขั้นตอนการท าวิจัยที่น ามาพิจารณา อ ค ติ ใ น ก า ร เ ลื อ กผู้ เ ข้ า ร่ ว ม โ ค ร งก า ร (selection bias)

ความแตกต่างกันอย่างเป็นระบบของลักษณะพ้ืนฐาน (baseline characteristics) ของกลุ่มต่างๆ ที่น ามาเปรียบเทียบกัน

- ก า ร ส ร้ า ง ล า ดั บ ข อ ง ผู้ เ ข้ า ร่ ว ม โ ค ร ง ก า ร (sequence generation)

- การจัดผู้เข้าร่วมโครงการเข้ากลุ่มโดยสุ่มอย่างปกปิด (allocation concealment)

อคติในการปฏิบัติต่อผู้ เ ข้ า ร่ ว ม โ ค ร งก า ร (performance bias)

ความแตกต่างกันอย่างเป็นระบบของการปฏิ บ ัติ ต่ อ ผู้ เ ข้ า ร่ ว มโครงการแต่ละกลุ่ม หรือปัจจัยอ่ืนที่ไม่ใช่วิธีการดูแลรักษา

- การปกปิดวิธีการดูแลรักษา ผู้เข้าร่วมโครงการ ผู้ด าเนินการวิจัยและผู้ประเมินผล (blinding of participants, personnel and outcome assessors)

- ปัจจัยคุกคามอ่ืนๆ ที่อาจจะมีผลต่อความถูกต้องของผล (other potential threats to validity)

อคติ ในก ารติ ดต ามผู้ เ ข้ า ร่ ว ม โ ค ร งก า ร (attrition bias)

ความแตกต่างกันอย่างเป็นระบบของจ านวนผู้ เข้าร่วมโครงการ แต่ละกลุ่มที่ติดตามไม่ได้

- จ า น ว น ข้ อ มู ล ข อ ง ผ ล ลั พ ธ์ ที่ ไ ม่ ค ร บ ถ้ ว น (incomplete outcome data)


อคติในการประเมินผล (detection bias)

ความแตกต่างกันอย่างเป็นระบบของการประเมินผลลัพธ์แต่ละกลุ่ม


- ปัจจัยคุกคามอ่ืนๆ ที่อาจจะมีผลต่อความถูกต้องของผล (other potential threats to validity)

ความคลาดเคลื่อนในก า ร ร า ย ง า น ผ ล (reporting bias)

ความแตกต่างกันอย่างเป็นระบบของผลที่น าเสนอในรายงานและไม่รายงาน

- การ เลื อกผลลัพธ์ เ พ่ื อ ร าย ง าน ( selective outcome reporting)

เครื่ อ งมื อที่ ใ ช้ ประ เมิ นคุณภาพ เอกสาร งานวิ จั ย ชนิ ดดั งกล่ า ว คื อ The Cochrane

Collaboration’s tool for assessing risk for bias5 มีการประเมินอคติที่อาจเกิดขึ้นตามข้อแนะน าใน Cochrane Handbook โดยความเสี่ยงของอคติ แบ่งเป็น 3 ระดับ คือ ความเสี่ยงต่ า (low risk) หมายถึง ผลรวมของการประเมินความเสี่ยงของอคติอยู่ในระดับต่ า ความเสี่ยงสูง (high risk) หมายถึง ผลรวมของการประเมินความเสี่ยงของอคติอยู่ในระดับสูง และข้อมูลไมชัดเจน (unclear risk) หมายถึง ผลการประเมินความเสี่ยงของอคตแิสดงข้อมูลไมชัดเจน โดยมีรายละเอียด ดังนี้

7

ตารางท่ี 3 ขั้นตอนการพิจารณาอคติในงานวิจัย

ขั้นตอนที่พิจารณา ค าอธิบายท่ีในรายงานวิจัย การตัดสินของผู้วิจัย การสร้างล าดับของผู้เข้าร่วมโครงการ (sequence generation)

วิธีที่ใช้สร้างล าดับของผู้เข้าร่วมโครงการที่มีรายละเอียดเพียงพอที่จะท าให้ผู้วิจัยประเมินว่า มีผลท าให้จ านวนข้อมูลพ้ืนฐานระหว่างกลุ่มทดลองเหมือนกัน (comparable)

การสร้างล าดับของผู้เข้าร่วมโครงการเหมาะสมที่จะท าให้เ กิ ดจ านวนข้ อมู ล พ้ืนฐ านระหว่างกลุ่มทดลองเหมือนกันหรือไม ่

การจัดผู้เข้าร่วมโครงการเข้ากลุ่มโดยสุ่มอย่างปกปิด (allocation concealment)

วิ ธี ที่ ใ ช้ ปกปิ ดล า ดั บของผู้ เ ข้ า ร่ ว มโครงการเข้าแต่ละกลุ่ม ซึ่งเป็นแบบสุ่ม มีข้อมูลเพียงพอที่จะประเมินว่าการปกปิดดังกล่าวด าเนินการล่วงหน้าหรือในระหว่างการเข้าร่วมโครงการ

การจัดผู้เข้าร่วมโครงการเข้าแ ต่ ล ะ ก ลุ่ ม มี ก า ร ป ก ปิ ดเพียงพอหรือไม ่

การปกปิดวิธีการดูแลรักษา ผู้เข้าร่วมโครงการ ผู้ด าเนินการวิจัยและผู้ประเมินผล (blinding of participants, personnel and outcome assessors) ควรพิจารณาประเมินผลลัพธ์ที่เป็นผลหลัก

การดูแลรักษากับผู้เข้าร่วมโครงการ โดยทั้ งผู้ด า เนินการวิจัย และผู้ เข้ าร่ วมโครงการไม่ทราบว่าวิธีการดูแลรักษาเป็นอะไร จะต้องมีข้อมูลเพียงพอที่จะประเมินว่าวิธีการที่ใช้มีประสิทธิภาพในการปกปิด

การปกปิดวิธีการดูแลรักษากับผู้ เ ข้ าร่ วมโครงการโดยทั้ งผู้ ด า เ นิ น ก า ร วิ จั ย แ ล ะผู้เข้าร่วมโครงการไม่ทราบว่าวิธีการดูแลรักษาเป็นอะไร มีข้อมูลเพียงพอหรือไม่

จ านวนข้อมูลของผลลัพธ์ที่ไม่ครบถ้วน (incomplete outcome data)

อธิบายความครบถ้วนของข้อมูลในแต่ละผลลัพธ์ จ านวนที่ขาดหายไปในแต่ละกลุ่มทดลอง และที่ตัดออกจากการวิเคราะห์ (ถ้ามี) และจ านวนข้อมูลที่วิ เคราะห์ ในแต่ละกลุ่ มทดลอง เมื่ อเปรียบเทียบกับจ านวนที่สุ่มตอนแรก พร้อมทั้งเหตุผลของแต่ละประเด็น

มีข้อมูลอธิบายความครบถ้วนดังกล่าวเพียงพอหรือไม ่

8

*YES = low risk of bias, NO = high risk of bias, UNCLEAR = uncertain risk of bias ภาพที ่3 การประเมินคุณภาพเอกสารงานวิจัยประเภท randomized controlled trials (RCT)

Sequence generation (selection bias)

Allocation concealment (selection bias)

Blinding of participants, personnel and outcome

assessors (performance bias)

Incomplete outcome data (attrition bias)

Selective outcome reporting (reporting bias)

Other sources of bias

YES NO UNCLEAR

YES NO UNCLEAR

YES NO UNCLEAR

YES NO UNCLEAR

YES NO UNCLEAR

YES NO UNCLEAR

Was the allocation Sequence adequately generated?

Was allocation adequately concealed?

Was knowledge of the allocated interventions adequately prevented during the study?

Were incomplete outcome data adequately addressed?

Are reports of the study free of suggestion of selective outcome reporting?

Was the study apparently free of other problems that could put it at a risk of bias?

อคติ (bias) ข้อค าถามที่พิจารณา

9

ตารางที่ 4 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท randomized controlled trials (RCT)


1. Random sequence generation (selection bias) Y/N Y/N Y/N

2. Allocation concealment (selection bias) Y/N Y/N Y/N 3. Blinding (performance bias and detection bias) All outcomes Y/N Y/N Y/N 4. Incomplete outcome data (attrition bias) All outcomes Y/N Y/N Y/N

5. Selective reporting (reporting bias) Y/N Y/N Y/N

6. other bias Y/N Y/N Y/N *Y = Yes, N = No, CA = Can't answer, NA = Not applicable

10

การประเมินคุณภาพเอกสารงานวิจัยประเภท randomized controlled trials (RCT) จะน าผลการวิเคราะห์จากตารางที่ 4 มาใช้ในโปรแกรมส าเร็จรูป Review Manager (RevMan) โปรแกรมจะแสดงผลข้อมูลเป็นความเสี่ยงของอคติ (risk of bias) แต่ละการศึกษา และความเสี่ยงของอคติ (risk of bias) ของทุกการศึกษา โดยแบ่งระดับความเสี่ยงของอคติเป็น 3 ระดับ ได้แก่ สีเขียว (YES : low risk of bias) สีเหลือง (UNCLEAR: uncertain risk of bias) และสีแดง (NO : high risk of bias) แสดงผลตามตัวอย่างต่อไปนี้

Ran

dom

seq

uenc

e ge

nera

tion

(sel

ectio

n bi

as)

Bowen 2009 +

Bowen 2014 ?

Lee 2011 ?

Witkiewitz 2010 +

Witkiewitz 2014 +

Allo

catio

n co

ncea

lmen

t (se

lect

ion

bias

)

?

?

?

?

?

Blin

ding

of p

artic

ipan

ts a

nd p

erso

nnel

(per

form

ance

bia

s)

–

–

–

–

–

Blin

ding

of o

utco

me

asse

ssm

ent (

dete

ctio

n bi

as)

?

?

+

?

?

Inco

mpl

ete

outc

ome

data

(attr

ition

bia

s)

+

+

?

–

–

Sel

ectiv

e re

porti

ng (r

epor

ting

bias

)+

+

?

–

?

ภาพที ่4 ตัวอย่างแสดงความเสี่ยงของอคติ (Risk of bias) แต่ละการศึกษา

Random sequence generation (selection bias)

Allocation concealment (selection bias)

Blinding of participants and personnel (performance bias)

Blinding of outcome assessment (detection bias)

Incomplete outcome data (attrition bias)

Selective reporting (reporting bias)

0% 25% 50% 75% 100%

Low risk of bias Unclear risk of bias High risk of bias

ภาพที ่5 ตัวอย่างแสดงความเสี่ยงของอคติ (risk of bias) ของทุกการศึกษา

11

3. การประเมินคุณภาพงานวิจัยประเภท cohort studies ใช้แบบประเมินคุณภาพงานวิจัย Newcastle Ottawa Score quality assessment scale cohort studies6 ซึ่งเป็นเครื่องมือที่ใช้ส าหรับประเมินคุณภาพงานวิจัยเชิงสังเกต (observational study) ที่ได้รับการแนะน าจากคณะ Cochrane Collaboration โดยแบ่งเป็นเครื่องมือส าหรับประเมินคุณภาพงานวิจัยประเภท cohort studies, case-control studies และ cross-sectional studies

ส า ห รั บ เ ค รื่ อ ง มื อ Newcastle Ottawa quality assessment scale cohort studies ประกอบด้วยประเด็นในการพิจารณาถึงการคัดเลือก (selection) การเปรียบเทียบ (comparability) และการวัดผลลัพธ์ (outcome) ของงานวิจัย โดยมีรายละเอียดดังภาพที ่6

ภาพที ่6 การประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies

โดยในหัวข้อการคัดเลือก และการวัดผลลัพธ์ สามารถให้คะแนนสูงสุด 1 คะแนน (*) ในแต่ละข้อ

ส าหรับหัวข้อการเปรียบเทียบ สามารถให้คะแนนสูงสุด 2 คะแนน (**) มีรายละเอียดดังนี้ การคัดเลือก (selection) 1) Representativeness of the exposed cohort (การเป็นตัวแทนของกลุ่มที่มีปัจจัย)

a) truly representative of the average ________ (describe) in the community * (ค่าเฉลี่ยของ ..... (อธิบาย) ในชุมชนเป็นตัวแทนอย่างแท้จริง *)

3. การวัดผลลัพธ์ (outcome)

2. การเปรียบเทียบ (comparability)

1. การคัดเลือก (selection)

Representativeness of the exposed cohort

Selection of the non-exposed cohort Ascertainment of exposure

Demonstration that outcome of interest was not present at start of study

Comparability of cohorts on the basis of the design or analysis

Assessment of outcome

Was follow-up long enough for outcomes to occur

Adequacy of follow up of cohorts

ประเด็นการพิจารณา รายละเอียดที่พิจารณา

12

b) somewhat representative of the average _________ in the community(ค่าเฉลี่ยของ ..... (อธิบาย) ในชุมชนเป็นตัวแทนได้บางส่วน *)

c) selected group of users eg nurses, volunteers (เลือกกลุ่มจากผู้ใช้ เช่น พยาบาล อาสาสมัคร)

d) no description of the derivation of the cohort (ไม่มีรายละเอียดเกี่ยวกับที่มาของกลุ่มประชากร)

2) Selection of the non-exposed cohort (การคัดเลือกกลุ่มที่ไม่มีปัจจัย) a) drawn from the same community as the exposed cohort *

(มาจากชุมชนเดียวกันกับกลุ่มที่มีปัจจัย *) b) drawn from a different source

(มาจากชุมชนอ่ืน) c) no description of the derivation of the non-exposed cohort

(ไม่มีรายละเอียดเกี่ยวกับที่มาของกลุ่มท่ีไม่มีปัจจัย) 3) Ascertainment of exposure (การเก็บรวบรวมข้อมูล)

a) secure record (e.g. surgical records) * (บันทึกการรักษา เช่น แบบบันทึกการผ่าตัด *)

b) structured interview * (การสัมภาษณ์แบบมีโครงสร้าง *)

c) written self-report (แบบรายงานตนเอง)

d) no description (ไม่มีค าอธิบาย)

4) Demonstration that outcome of interest was not present at start of study (การพิสูจน์ว่าผลลัพธ์ที่สนใจไม่ได้เกิดข้ึนตั้งแต่เริ่มการศึกษา)

a) yes * (ใช่ *) b) no (ไม่ใช่)

การเปรียบเทียบ (comparability) 1) Comparability of cohorts on the basis of the design or analysis

(การเปรียบเทียบกลุ่มศึกษาบนพื้นฐานของการออกแบบหรือการวิเคราะห์) a) study controls for _____________ (select the most important factor) *

(การศึกษามีการควบคุม ...... (เลือกปัจจัยที่มีความส าคัญท่ีสุด) *) b) study controls for any additional factor * (This criteria could be modified to

indicate specific control for a second important factor.) (การศึกษามีการควบคุมปัจจัยอ่ืนๆ เพิ่มเติม * (เกณฑ์นี้อาจปรับเปลี่ยนเพื่อระบุการควบคุมท่ีเฉพาะของปัจจัยส าคัญท่ีสอง))

13

การวัดผลลัพธ์ (outcome) 1) Assessment of outcome (การประเมินผลลัพธ์)

a) independent blind assessment * (การประเมินแบบปกปิดอิสระ *) b) record linkage *

(การเชื่อมโยงข้อมูลจากหลายแหล่งข้อมูล *) c) self-report

(แบบรายงานตนเอง) d) no description

(ไม่มีค าอธิบาย) 2) Was follow-up long enough for outcomes to occur (มีการติดตามผลลัพธ์นานพอ)

a) yes (select an adequate follow up period for outcome of interest) * (ใช่ (เลือกระยะเวลาการติดตามผลลัพธ์ที่สนใจอย่างเพียงพอ) *)

b) no (ไม่ใช่) 3) Adequacy of follow up of cohorts (ความเพียงพอในการติดตามผลของประชากรที่

ศึกษา) a) complete follow up - all subjects accounted for *

(มีการติดตามผลอย่างสมบูรณ์ *) b) subjects lost to follow up unlikely to introduce bias - small number lost - >

____ % (select an adequate %) follow up, or description provided of those lost) * (อาสาสมัครสูญหายจากการติดตามผล แต่ไม่น่าที่จะท าให้เกิดอคติ – สูญหายจากการติดตามผล จ านวนน้อยกว่า …. % (เลือก % ที่เหมาะสม) หรือมีรายละเอียดของอาสาสมัครที่สูญหายจากการติดตามผล *)

c) follow up rate < ____% (select an adequate %) and no description of those lost (การขาดหายไปจากโครงการวิจัย (follow up rate) น้อยกว่า ..... % (เลือก % ที่เหมาะสม) และไม่มีรายละเอียดของการหายไปจากการศึกษา)

d) no statement (ไม่ระบุ)

14

ตารางท่ี 5 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies


Selection (Maximum ****)

1. Representativeness of the exposed cohort

2. Selection of the non exposed cohort

3. Ascertainment of exposure

4. Demonstration that outcome of interest was not present at start of study

Comparability (Maximum **) 1. Comparability of cohorts on the basis of the

design or analysis

Outcome (Maximum ***)

1. Assessment of outcome 2. Was follow-up long enough for outcomes to occur

3. Adequacy of follow up of cohorts

15

4. การประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies ใช้แบบประเมินคุณภาพเอกสารงานวิจัย Newcastle Ottawa quality assessment scale case-control studies6 ประกอบด้วยประเด็นในการพิจารณาถึงการคัดเลือก (selection) การเปรียบเทียบ (comparability) และปัจจัยต้นเหตุ (Exposer) ของงานวิจัย โดยมีรายละเอียดดังภาพที ่7 ภาพที ่7 การประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies โดยในหัวข้อการคัดเลือก และปัจจัยต้นเหตุ สามารถให้คะแนนสูงสุด 1 คะแนน (*) ในแต่ละข้อ ส าหรับหัวข้อการเปรียบเทียบ (comparability) สามารถให้คะแนนสูงสุด 2 คะแนน (**) มีรายละเอียด ดังนี้

การคัดเลือก (selection) 1) Is the case definition adequate? (กลุ่มที่สนใจศึกษามีจ านวนเพียงพอหรือไม่)

a) yes, with independent validation * (ใช่ มีการทดสอบความเที่ยงตรงอย่างเป็นอิสระ) *

b) yes, e.g. record linkage or based on self-reports (ใช่ ตัวอย่างเช่น มีการบันทึกหรือรายงานด้วยตนเอง)

c) no description (ไม่มีค าอธิบาย)

2) Representativeness of the cases (กลุ่มท่ีสนใจศึกษาเป็นตัวแทนที่ดีหรือไม่) a) consecutive or obviously representative series of cases *

(เป็นตัวแทนที่ดีอย่างต่อเนื่องหรือชัดเจน) *

3. ปัจจัยต้นเหตุ (Exposer)



Is the case definition adequate?

Representativeness of the cases Selection of controls

Definition of Controls

Comparability of cases and controls on the basis of the design or analysis

Ascertainment of exposure Same method of ascertainment for cases

and controls

Non-Response rate


16

b) potential for selection biases or not stated (มีอคติในการคัดเลือกกลุ่มตัวอย่างตามที่ระบุไว้หรือไม่)

3) Selection of controls (การคัดเลือกกลุ่มควบคุม) a) community controls *

(คัดเลือกจากในชุมชน) * b) hospital controls

(คัดเลือกจากในโรงพยาบาล) c) no description

(ไม่มีค าอธิบาย) 4) Definition of Controls (นิยามของกลุ่มควบคุม)

a) no history of disease (endpoint) * (ไม่มีประวัติการเป็นโรคมาก่อน) *

b) no description of source (ไม่ได้อธิบายแหล่งที่มา)

การเปรียบเทียบ (comparability) 1) Comparability of cases and controls on the basis of the design or analysis

(การเปรียบเทียบกลุ่มท่ีสนใจศึกษากับกลุ่มควบคุมภายใต้การวิเคราะห์) a) study controls for _______________ (Select the most important factor.) *

(การศึกษาการควบคุมส าหรับ..............(เลือกจากปจัจัยที่ส าคัญท่ีสุด)) * b) study controls for any additional factor * (This criteria could be modified to

indicate specific control for a second important factor.) (การศึกษาการควบคุมส าหรับปัจจัยใดๆ เพ่ิมเติม * (เกณฑ์นี้อาจมีการปรับเปลี่ยนเพื่อความเจาะจงในการควบคุมปัจจัยที่ส าคัญในล าดับที่สอง))

ปัจจัยต้นเหตุ (exposer) 1) Ascertainment of exposure (การสืบหาปัจจัยต้นเหตุ)

a) secure record (eg surgical records) * (บันทึกการรักษา (เช่น บันทึกการผ่าตัด)) *

b) structured interview where blind to case/control status * (การสัมภาษณ์โดยการปิดบังกลุ่มที่สนใจศึกษาและกลุ่มควบคุม) *

c) interview not blinded to case/control status (การสัมภาษณ์แบบไม่มีการปิดบังกลุ่มท่ีสนใจศึกษาและกลุ่มควบคุม)

d) written self-report or medical record only (การเขียนรายงานหรือบันทึกทางการแพทย์เท่านั้น)

e) no description (ไม่มีค าอธิบาย)

2) Same method of ascertainment for cases and controls (การสืบหาปัจจัยต้นเหตุของกลุ่มที่สนใจศึกษาและกลุ่มควบคุมใช้วิธีการเดียวกัน) a) yes * (ใช่) *

17

b) no (ไม่ใช่) 3) Non-Response rate (อัตราการไม่ตอบกลับ)

a) same rate for both groups * (อัตราเดียวกันทั้งสองกลุ่ม) *

b) non respondents described (ไม่ได้อธิบายการตอบกลับ)

c) rate different and no designation (มีอัตราที่แตกต่างกันและไม่มีการก าหนด)

ตารางท่ี 6 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies


Selection (Maximum ****)

1. Is the case definition adequate?

2. Representativeness of the cases

3. Selection of Controls

4. Definition of Controls

Comparability (Maximum **)

1. Comparability of cases and controls on the basis of the design or analysis

Outcome (Maximum ****)

1. Ascertainment of exposure

2. Same method of ascertainment for cases and controls

3. Non-Response rate

18

5. การประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies ใช้แบบประเมินคุณภาพเอกสารงานวิจัย Newcastle-Ottawa quality assessment scale cross-sectional studies7 ประกอบด้วยประเด็นในการพิจารณาถึงการคัดเลือก (selection) การเปรียบเทียบ (comparability) และการวัดผลลัพธ์ (outcome) ของงานวิจัย โดยมีรายละเอียดดังภาพที่ 8 ภาพที ่8 การประเมินคุณภาพเอกสารประเภท cross-sectional studies โดยในหัวข้อการคัดเลือก สามารถให้คะแนนได้สูงสุด 5 คะแนน (*****) หัวข้อการเปรียบเทียบ สามารถให้คะแนนได้สูงสุด 2 คะแนน (**) และหัวข้อการวัดผลลัพธ์ สามารถให้คะแนนได้สูงสุด 3 คะแนน (***) มีรายละเอียด ดังนี้

การคัดเลือก (selection) 1) Representativeness of the sample (การเป็นตัวแทนของกลุ่มตัวอย่าง)

a) Truly representative of the average in the target population * (all subject or random sampling) (กลุ่มตัวอย่างเป็นตัวแทนของกลุ่มประชากรเป้าหมายอย่างแท้จริง * (มาจากอาสาสมัครทั้งหมด หรือการสุ่มตัวอย่าง))

b) Somewhat representative of the average in the target population * (non-random sampling)

(ค่อนข้างเป็นตัวแทนของกลุ่มประชากรเป้าหมาย * (ไม่ได้ท าการสุ่มตัวอย่าง)) c) Selected group of users

(เลือกกลุ่มจากผู้ใช้)

3. การวัดผลลัพธ์ (outcome)



Representativeness of the sample

Sample size

Non-respondents Ascertainment of the exposure (risk factor)

The subjects in different outcome groups are comparable, based on the study design or analysis Confounding factors are controlled.

Assessment of the outcome

Statistical test


19

d) No description of satisfactory (ไม่มีค าอธิบายเป็นที่น่าพอใจ)

2) Sample size (ขนาดของกลุ่มตัวอย่าง) a) Justified and satisfactory *

(มีโอกาสถูกเลือกเท่าเทียมกัน *) b) Not justified

(ไม่มีความเท่าเทียมเปน็ธรรม) 3) Non-respondents (ที่ไม่ใช่ผู้ตอบแบบสอบถาม)

a) Comparability between respondents and non-respondents characteristics is established, and the response rate is satisfactory * (มีการเปรียบเทียบระหว่างผู้ตอบแบบสอบถามและผู้ที่ไม่ตอบแบบสอบถาม เป็นไปตามคุณลักษณะตามท่ีก าหนด และมีอัตราตอบสนองเป็นที่น่าพอใจ *)

b) The response rate is unsatisfactory, or the comparability between respondents and non-respondents is unsatisfactory * (อัตราตอบสนองไม่เป็นที่น่าพอใจ หรือเม่ือเปรียบเทียบระหว่างผู้ตอบแบบสอบถามและผู้ที่ไม่ตอบแบบสอบถามพบว่าไม่เป็นที่น่าพอใจ *)

c) No description of the response rate or the characteristics of the responders and the non-responders (ไม่มีค าอธิบายอัตราการตอบสนอง หรือคุณลักษณะของผู้ตอบแบบสอบถามและผู้ที่ไม่ตอบแบบสอบถาม)

4) Ascertainment of the exposure (risk factor) (การค้นหาปัจจัยสัมผัส (ปัจจัยเสี่ยง)) a) Validated measurement tool **

(เครื่องมือที่ใช้วัดมีความเท่ียง **) b) Non-validated measurement tool, but the tool is available or described *

(เครื่องมือที่ใช้วัดไม่มีความเที่ยง แต่สามารถน าเครื่องมือไปใช้ได้หรือมีค าอธิบาย *) c) No description of the measurement tool

(ไม่มีค าอธิบายของเครื่องมือที่ใช้วัด) การเปรียบเทียบ (comparability) 1) The subjects in different outcome groups are comparable, based on the study

design or analysis Confounding factors are controlled. (ผลลัพธ์ที่เกิดขึ้นจากอาสาสมัครทั้งสองกลุ่มมีความแตกต่างกันเมื่อท าการเปรียบเทียบ ทั้งนี้ขึ้นอยู่กับรูปแบบการศึกษาหรือการวิเคราะห์ปัจจัยที่เป็นตัวกวนถูกควบคุม) a) The study controls for the most important factor (select one) *

(การควบคุมการศึกษา เป็นปัจจัยที่ส าคัญที่สุด (เลือกอย่างใดอย่างหนึ่ง)) b) The study controls for any additional factor. *

(การควบคุมการศึกษา ส าหรับปัจจัยอ่ืนๆ เพิ่มเติม)

20

การวัดผลลัพธ์ (outcome) 1) Assessment of the outcome (การประเมินผลลัพธ์)

a) Independent blind assessment ** (การประเมินแบบเป็นอิสระต่อกัน **)

b) Record linkage ** (การเชื่อมโยงข้อมูลจากหลายแหล่งข้อมูล **)

c) Self report * (การรายงานด้วยตนเอง *)

d) No description (ไม่มีค าอธิบาย)

2) Statistical test (การทดสอบทางสถิต)ิ a) The statistical test used to analyze the data is clearly described and

appropriate, and the measurement of the association is presented, including confidence intervals and the probability level (p value) * (การทดสอบทางสถิติที่ใช้ส าหรับการวิเคราะห์ข้อมูล ซึ่งมีค าอธิบายไว้อย่างชัดเจน มีความเหมาะสม และเป็นไปตามหลักการวัด รวมถึงช่วงความเชื่อมั่น และระดับความน่าจะเป็น (p-value ) *)

b) The statistical test is not appropriate, not described or incomplete (การทดสอบทางสถิตไิม่มีความเหมาะสม ไม่ไดค้ าอธิบายที่ชัดเจน หรือไมส่มบูรณ์)

ตารางท่ี 7 ตัวอย่างการแสดงผลการประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies

ประเด็นการประเมินคุณภาพ การศึกษาท่ี 1 การศึกษาท่ี 2 การศึกษาท่ี 3 Selection (Maximum *****) 1. Representativeness of the sample 2. Justified sample size 3. Non-respondents 4. Ascertainment of the exposure (risk factor) Comparability (Maximum **) 1. The subjects in different outcome groups are comparable, based on the study design or analysis. Confounding factors are controlled. Outcome (Maximum ***) 1. Assessment of the outcome: 2. Statistical test

21

บรรณำนุกรม

1. มาลินี เหล่าไพบูลย์ , ภิเศก ลุมพิกานนท์ . การวิจัยเชิงสังเคราะห์ในการดูแลสุขภาพ . พิมพ์ครั้งที่ 1. ขอนแก่น: ภาควิชาชีวสถิติและประชากรศาสตร์ คณะสาธารณสุขศาสตร์ มหาวิทยาลัยขอนแก่น; 2552.

2. สมเกียรติ โพธิสัตย์, รัตนา พันธ์พานิช, โยธี ทองเป็นใหญ่. คู่มือการทบทวนอย่างเป็นระบบ (Systematic reviews). พิมพ์ครั้งที่ 1. กรุงเทพมหานคร: ส านักพัฒนาวิชาการแพทย์ กรมการแพทย;์ 2545.

3. อรรถสิทธิ์ ศรีสุบัติ. Quality assessment of RCT. เอกสารประกอบการอบรมเชิงปฏิบัติการเรื่อง การทบทวนอย่างเป็นระบบ (Systematic Reviews) ระยะที่ 3 นนทบุรี: สถาบันวิจัยและประเมินเทคโนโลยีทางการแพทย์; 14 ธันวาคม 2558.

4. Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol 2007; 7: 10.

5. Higgins JPT, Green S, editors. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0. [updated 2011 March; cited 2016 October 16]; Available from: URL: http://www.handbook.cochrane.org.

6. Wells GA, Shea B, O'Connell D, Peterson J, Welch V, Losos M, et al. The Newcastle- Ottawa Scale (NOS) for assessing the quality of nonrandomised studies in meta-analyses. [cited 2016 October 16] Available from: URL: http://www.ohri.ca/programs/clinical_ Epidemiology/oxford.asp.

7. Modesti PA, Reboldi G, Cappuccio FP, Agyemang C, Remuzzi G, Rapi S, et al. Panethnic differences in blood pressure in europe: a systematic review and meta-analysis. [cited 2016 October 16] Available from: URL: http://journals.plos.org/plosone/article/file?type= supplementary &id=info:doi/10.1371/journal.pone.0147601.s001.

22

ภาคผนวก

เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภทการทบทวนอย่างเป็นระบบ (systematic reviews) เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภทการทดลองแบบสุ่มและมีกลุ่มควบคุม (randomized controlled

trials; RCT) เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภท cohort studies เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภท case-control studies เครื่องมือประเมินคุณภาพเอกสารงานวิจัยประเภท cross-sectional studies

23

AMSTAR – a measurement tool to assess the methodological quality of systematic

reviews.

1. Was an 'a priori' design provided?

The research question and inclusion criteria should be established before the conduct of

the review.

Note: Need to refer to a protocol, ethics approval, or pre-determined/a priori published

research objectives to score a “yes.”

□ Yes □ No □ Can't answer □ Not applicable

2. Was there duplicate study selection and data extraction?

There should be at least two independent data extractors and a consensus procedure for

disagreements should be in place.

Note: 2 people do study selection, 2 people do data extraction, consensus process or one

person checks the other’s work.


3. Was a comprehensive literature search performed? At least two electronic sources should be searched. The report must include years and databases used (e.g., Central, EMBASE, and MEDLINE). Key words and/or MESH terms

must be stated and where feasible the search strategy should be provided. All searches

should be supplemented by consulting current contents, reviews, textbooks, specialized

registers, or experts in the particular field of study, and by reviewing the references in the

studies found.

Note: If at least 2 sources + one supplementary strategy used, select “yes” (Cochrane

register/Central counts as 2 sources; a grey literature search counts as supplementary).


4. Was the status of publication (i.e. grey literature) used as an inclusion

criterion?

The authors should state that they searched for reports regardless of their publication

type. The authors should state whether or not they excluded any reports (from the

systematic review), based on their publication status, language etc.

Note: If review indicates that there was a search for “grey literature” or “unpublished

literature,” indicate “yes.” SIGLE database, dissertations, conference proceedings, and trial registries are all considered grey for this purpose. If searching a source that contains both grey and non-grey, must specify that they were searching for grey/unpublished lit.


5. Was a list of studies (included and excluded) provided?

A list of included and excluded studies should be provided.

Note: Acceptable if the excluded studies are referenced. If there is an electronic link to the list but the link is dead, select “no.”


6. Were the characteristics of the included studies provided?

In an aggregated form such as a table, data from the original studies should be provided on

the participants, interventions and outcomes. The ranges of characteristics in all the studies

analyzed e.g., age, race, sex, relevant socioeconomic data, disease status, duration,

severity, or other diseases should be reported.

Note: Acceptable if not in table format as long as they are described as above.


24

7. Was the scientific quality of the included studies assessed and

documented? 'A priori' methods of assessment should be provided (e.g., for effectiveness studies if the author(s) chose to include only randomized, double-blind, placebo controlled studies, or allocation concealment as inclusion criteria); for other types of studies alternative items will be relevant. Note: Can include use of a quality scoring tool or checklist, e.g., Jadad scale, risk of bias, applicable sensitivity analysis, etc., or a description of quality items, with some kind of result for EACH study (“low” or “high” is fine, as long as it is clear which studies scored “low” and which scored “high”; a summary score/range for all studies is not acceptable).


8. Was the scientific quality of the included studies used appropriately in

formulating conclusions?

The results of the methodological rigor and scientific quality should be considered in the

analysis and the conclusions of the review, and explicitly stated in formulating

recommendations.

Note: Might say something such as “the results should be interpreted with caution due to poor quality of included studies.” Cannot score “yes” for this question if scored “no” for

question 7.


9. Were the methods used to combine the findings of studies appropriate? For

the pooled results, a test should be done to ensure the studies were combinable, to

assess their homogeneity (i.e., Chi-squared test for homogeneity, I2). If heterogeneity

exists a random effects model should be used and/or the clinical appropriateness of

combining should be taken into consideration (i.e., is it sensible to combine?).

Note: Indicate “yes” if they mention or describe heterogeneity, i.e., if they explain that they cannot pool because of heterogeneity/variability between interventions.


10. Was the likelihood of publication bias assessed? An assessment of publication bias should include a combination of graphical aids (e.g.,

funnel plot, other available tests) and/or statistical tests (e.g., Egger regression test,

Hedges-Olken).

Note: If no test values or funnel plot included, score “no”. Score “yes” if mentions that publication bias could not be assessed because there were fewer than 10 included studies.


11. Was the conflict of interest included?

Potential sources of support should be clearly acknowledged in both the systematic review

and the included studies.

Note: To get a “yes,” must indicate source of funding or support for the systematic review

AND for each of the included studies.


Shea et al. BMC Medical Research Methodology 2007 7:10 doi:10.1186/1471-2288-7-10

Additional notes (in italics) made by Michelle Weir, Julia Worswick, and Carolyn Wayne based on conversations with Bev Shea and/or Jeremy Grimshaw in June and October 2008 and July and September 2010

25

The Cochrane Collaboration’s tool for assessing risk of bias

Domain Description Review authors’ judgement

Sequence generation Describe the method used to generate the allocation sequence in sufficient detail to allow an

assessment of whether it should produce comparable groups. Was the allocation sequence

adequately generated?

Allocation concealment Describe the method used to conceal the allocation sequence in sufficient detail to

determine whether intervention allocations could have been foreseen in advance of, or

during, enrolment.

Was allocation adequately

concealed?

Blinding of participants, personnel

and outcome assessors Assessments

should be made for each main outcome

(or class of outcomes)

Describe all measures used, if any, to blind study participants and personnel from

knowledge of which intervention a participant received. Provide any information

relating to whether the intended blinding was effective.

Was knowledge of the

allocated intervention

adequately prevented during

the study?

Incomplete outcome data

Assessments should be made for each

main outcome (or class of outcomes)

Describe the completeness of outcome data for each main outcome, including attrition and

exclusions from the analysis. State whether attrition and exclusions were reported, the

numbers in each intervention group (compared with total randomized participants), reasons

for attrition/exclusions where reported, and any re-inclusions in analyses performed by the

review authors.

Were incomplete outcome data

adequately addressed?

Selective outcome reporting State how the possibility of selective outcome reporting was examined by the review

authors, and what was found. Are reports of the study free of

suggestion of selective outcome

reporting?

Other sources of bias State any important concerns about bias not addressed in the other domains in the tool. If particular questions/entries were pre-specified in the review’s protocol, responses should

be provided for each question/entry.

Was the study apparently free of

other problems that could put it

at a high risk of bias?

Possible approach for summary assessments outcome (across domains) within and across studies

Risk of bias Interpretation Within a study Across studies

Low risk of bias Plausible bias unlikely to seriously alter the

results.

Low risk of bias for all key domains. Most information is from studies at low risk of

bias.

Unclear risk of bias Plausible bias that raises some doubt

about the results

Unclear risk of bias for one or more key

domains.

Most information is from studies at low or

unclear risk of bias.

High risk of bias Plausible bias that seriously weakens

confidence in the results.

High risk of bias for one or more key

domains.

The proportion of information from

studies at high risk of bias is sufficient to

affect the interpretation of the results.

26

26

Criteria for judging risk of bias in the ‘Risk of bias’ assessment tool

SEQUENCE GENERATION

Was the allocation sequence adequately generated? [Short form: Adequate sequence generation?]

Criteria for a judgement of ‘YES’

(i.e. low risk of bias). The investigators describe a random component in the sequence generation process such as: ▪ Referring to a random number table; Using a computer random number generator; Coin tossing; Shuffling cards or envelopes;

Throwing dice; Drawing of lots; Minimization*. *Minimization may be implemented without a random element, and this is considered to be equivalent to being random.

Criteria for the judgement of ‘NO’

(i.e. high risk of bias). The investigators describe a non-random component in the sequence generation process. Usually, the description would involve some systematic, non-random approach, for example: ▪ Sequence generated by odd or even date of birth; ▪ Sequence generated by some rule based on date (or day) of admission; ▪ Sequence generated by some rule based on hospital or clinic record number.

Other non-random approaches happen much less frequently than the systematic approaches mentioned above and tend to be obvious. They usually involve judgement or some method of non-random categorization of participants, for example: ▪ Allocation by judgement of the clinician; ▪ Allocation by preference of the participant; ▪ Allocation based on the results of a laboratory test or a series of tests;

▪ Allocation by availability of the intervention.

Criteria for the judgement of ‘UNCLEAR’ (uncertain risk of bias).

Insufficient information about the sequence generation process to permit judgement of ‘Yes’ or ‘No’.

ALLOCATION CONCEALME NT

Was allocation adequately concealed? [Short form: Allocation concealment?]


(i.e. low risk of bias). Participants and investigators enrolling participants could not foresee assignment because one of the following, or an equivalent method, was used to conceal allocation: ▪ Central allocation (including telephone, web-based, and pharmacy-controlled, randomization);

▪ Sequentially numbered drug containers of identical appearance;

▪ Sequentially numbered, opaque, sealed envelopes.

27


(i.e. high risk of bias). Participants or investigators enrolling participants could possibly foresee assignments and thus introduce selection bias, such as allocation based on: ▪ Using an open random allocation schedule (e.g. a list of random numbers); ▪ Assignment envelopes were used without appropriate safeguards (e.g. if envelopes were unsealed or non-opaque or not

sequentially numbered); ▪ Alternation or rotation; ▪ Date of birth; ▪ Case record number; ▪ Any other explicitly unconcealed procedure.


Insufficient information to permit judgement of ‘Yes’ or ‘No’. This is usually the case if the method of concealment is not

described or not described in sufficient detail to allow a definite judgement – for example if the use of assignment envelopes is

described, but it remains unclear whether envelopes were sequentially numbered, opaque and sealed.

BLINDING OF PARTICIPANT S, PERSONNEL AND OUTCOME ASSESSORS

Was knowledge of the allocated interventions adequately prevented during the study? [Short form: Blinding?]


(i.e. low risk of bias). Any one of the following: ▪ No blinding, but the review authors judge that the outcome and the outcome measurement are not likely to be influenced by

lack of blinding; ▪ Blinding of participants and key study personnel ensured, and unlikely that the blinding could have been broken; ▪ Either participants or some key study personnel were not blinded, but outcome assessment was blinded and the nonblinding of

others unlikely to introduce bias.


(i.e. high risk of bias). Any one of the following: ▪ No blinding or incomplete blinding, and the outcome or outcome measurement is likely to be influenced by lack of blinding; ▪ Blinding of key study participants and personnel attempted, but likely that the blinding could have been broken; ▪ Either participants or some key study personnel were not blinded, and the non-blinding of others likely to introduce bias.


Any one of the following: ▪ Insufficient information to permit judgement of ‘Yes’ or ‘No’;

▪ The study did not address this outcome.

28

28

INCOMPLETE OUTCOME D ATA

Were incomplete outcome data adequately addressed? [Short form: Incomplete outcome data addressed?]


(i.e. low risk of bias). Any one of the following: ▪ No missing outcome data; ▪ Reasons for missing outcome data unlikely to be related to true outcome (for survival data, censoring unlikely to be introducing

bias); ▪ Missing outcome data balanced in numbers across intervention groups, with similar reasons for missing data across groups; ▪ For dichotomous outcome data, the proportion of missing outcomes compared with observed event risk not enough to have a

clinically relevant impact on the intervention effect estimate; ▪ For continuous outcome data, plausible effect size (difference in means or standardized difference in means) among missing

outcomes not enough to have a clinically relevant impact on observed effect size;

▪ Missing data have been imputed using appropriate methods.


(i.e. high risk of bias). Any one of the following: ▪ Reason for missing outcome data likely to be related to true outcome, with either imbalance in numbers or reasons for missing

data across intervention groups; ▪ For dichotomous outcome data, the proportion of missing outcomes compared with observed event risk enough to induce

clinically relevant bias in intervention effect estimate; ▪ For continuous outcome data, plausible effect size (difference in means or standardized difference in means) among missing

outcomes enough to induce clinically relevant bias in observed effect size; ▪ ‘As-treated’ analysis done with substantial departure of the intervention received from that assigned at randomization;

▪ Potentially inappropriate application of simple imputation.


Any one of the following: ▪ Insufficient reporting of attrition/exclusions to permit judgement of ‘Yes’ or ‘No’ (e.g. number randomized not stated, no

reasons for missing data provided); ▪ The study did not address this outcome.

SELECTIVE OUTCOME REP ORTING

Are reports of the study free of s uggestion of selective outcome reporting? [Short form: Free of selective reporting?]


(i.e. low risk of bias). Any of the following: ▪ The study protocol is available and all of the study’s pre-specified (primary and secondary) outcomes that are of interest in the

review have been reported in the pre-specified way; ▪ The study protocol is not available but it is clear that the published reports include all expected outcomes, including those that

were pre-specified (convincing text of this nature may be uncommon).

29


(i.e. high risk of bias). Any one of the following: ▪ Not all of the study’s pre-specified primary outcomes have been reported; ▪ One or more primary outcomes is reported using measurements, analysis methods or subsets of the data (e.g. subscales) that

were not pre-specified; ▪ One or more reported primary outcomes were not pre-specified (unless clear justification for their reporting is provided, such as

an unexpected adverse effect); ▪ One or more outcomes of interest in the review are reported incompletely so that they cannot be entered in a meta-analysis;

▪ The study report fails to include results for a key outcome that would be expected to have been reported for such a study.


Insufficient information to permit judgement of ‘Yes’ or ‘No’. It is likely that the majority of studies will fall into this category.

OTHER POTENTIAL THREA TS TO VALIDITY

Was the study apparently free o f other problems that could put it at a risk of bias? [Short form: Free of other bias?]


(i.e. low risk of bias). The study appears to be free of other sources of bias.


(i.e. high risk of bias). There is at least one important risk of bias. For example, the study: ▪ Had a potential source of bias related to the specific study design used; or ▪ Stopped early due to some data-dependent process (including a formal-stopping rule); or ▪ Had extreme baseline imbalance; or ▪ Has been claimed to have been fraudulent; or

▪ Had some other problem.


There may be a risk of bias, but there is either: ▪ Insufficient information to assess whether an important risk of bias exists; or ▪ Insufficient rationale or evidence that an identified problem will introduce bias.

30

NEWCASTLE - OTTAWA QUALITY ASSESSMENT SCALE COHORT STUDIES

Note: A study can be awarded a maximum of one star for each numbered item within the Selection

and Outcome categories. A maximum of two stars can be given for Comparability

Selection

1) Representativeness of the exposed cohort

a) truly representative of the average _______________ (describe) in the community

b) somewhat representative of the average ______________ in the community

c) selected group of users eg nurses, volunteers

d) no description of the derivation of the cohort

2) Selection of the non exposed cohort

a) drawn from the same community as the exposed cohort

b) drawn from a different source

c) no description of the derivation of the non exposed cohort

3) Ascertainment of exposure

a) secure record (eg surgical records)

b) structured interview

c) written self report

d) no description

4) Demonstration that outcome of interest was not present at start of study

a) yes

b) no

Comparability

1) Comparability of cohorts on the basis of the design or analysis

a) study controls for _____________ (select the most important factor)

b) study controls for any additional factor (This criteria could be modified to indicate specific

control for a second important factor.)

Outcome

1) Assessment of outcome

a) independent blind assessment

b) record linkage

c) self report

d) no description

2) Was follow-up long enough for outcomes to occur

a) yes (select an adequate follow up period for outcome of interest)

b) no

3) Adequacy of follow up of cohorts

a) complete follow up - all subjects accounted for

b) subjects lost to follow up unlikely to introduce bias - small number lost - > ____ % (select an

adequate %) follow up, or description provided of those lost)

c) follow up rate < ____% (select an adequate %) and no description of those lost

d) no statement

31

NEWCASTLE - OTTAWA QUALITY ASSESSMENT SCALE

CASE CONTROL STUDIES

Note: A study can be awarded a maximum of one star for each numbered item within the Selection

and Exposure categories. A maximum of two stars can be given for Comparability.

Selection

1) Is the case definition adequate?

a) yes, with independent validation

b) yes, eg record linkage or based on self reports

c) no description

2) Representativeness of the cases

a) consecutive or obviously representative series of cases

b) potential for selection biases or not stated

3) Selection of Controls

a) community controls

b) hospital controls

c) no description

4) Definition of Controls

a) no history of disease (endpoint)

b) no description of source

Comparability

1) Comparability of cases and controls on the basis of the design or analysis

a) study controls for _______________ (Select the most important factor.)

b) study controls for any additional factor (This criteria could be modified to indicate specific

control for a second important factor.)

Exposure

1) Ascertainment of exposure

a) secure record (eg surgical records)

b) structured interview where blind to case/control status

c) interview not blinded to case/control status

d) written self report or medical record only

e) no description

2) Same method of ascertainment for cases and controls

a) yes

b) no

3) Non-Response rate

a) same rate for both groups

b) non respondents described

c) rate different and no designation

32

NEWCASTLE - OTTAWA QUALITY ASSESSMENT SCALE

ADAPTED FOR CROSS-SECTIONAL STUDIES

Selection: (Maximum 5 stars)

1) Representativeness of the sample:

a) Truly representative of the average in the target population. * (all subjects or random sampling)

b) Somewhat representative of the average in the target population. * (non-random sampling) c)

Selected group of users.

c) No description of the sampling strategy.

2) Sample size:

a) Justified and satisfactory. *

b) Not justified.

3) Non-respondents:

a) Comparability between respondents and non-respondents characteristics is established, and the

response rate is satisfactory. *

b) The response rate is unsatisfactory, or the comparability between respondents and

nonrespondents is unsatisfactory.

c) No description of the response rate or the characteristics of the responders and the

nonresponders.

4) Ascertainment of the exposure (risk factor):

a) Validated measurement tool. **

b) Non-validated measurement tool, but the tool is available or described.*

c) No description of the measurement tool.

Comparability: (Maximum 2 stars)

1) The subjects in different outcome groups are comparable, based on the study design or analysis.

Confounding factors are controlled.

a) The study controls for the most important factor (select one). *

b) The study control for any additional factor. *

Outcome: (Maximum 3 stars)

1) Assessment of the outcome:

a) Independent blind assessment. **

b) Record linkage. **

c) Self report. *

d) No description.

2) Statistical test:

a) The statistical test used to analyze the data is clearly described and appropriate, and the

measurement of the association is presented, including confidence intervals and the probability

level (p value). *

b) The statistical test is not appropriate, not described or incomplete.

33

This scale has been adapted from the Newcastle-Ottawa Quality Assessment Scale for cohort studies

to perform a quality assessment of cross-sectional studies for the systematic review, “Are Healthcare

Workers’ Intentions to Vaccinate Related to their Knowledge, Beliefs and Attitudes? A Systematic

Review”.

We have not selected one factor that is the most important for comparability, because the variables are

not the same in each study. Thus, the principal factor should be identified for each study.

In our scale, we have specifically assigned one star for self-reported outcomes, because our study

measures the intention to vaccinate. Two stars are given to the studies that assess the outcome with

independent blind observers or with vaccination records, because these methods measure the practice

of vaccination, which is the result of true intention.

Documents

Quality Assessment - Ministry of Public Health · ง ง สำรบ ญภำพ หน า ภาพท 1 ข นตอนการส บค นข อม ลอย างเป