33
D ÁN “T Ă NG C ƯỜ NG N Ă NG L C THEO DÕI VÀ Đ ÁNH GIÁ D ÁN VI T NAM – ÔXTRÂYLIA” - GIAI Đ O N II (VAMESP II) Cm nang Theo dõi và Đánh giá đun V – Các phương pháp theo dõi và đánh giá Vit Nam Do VAMESP II son tho theo yêu cu ca VKinh tế Đối ngoi/BKế hoch và Đầu tư S2 Hoàng Văn ThHÀ NI, VIT NAM Hà Ni, Tháng 8/2005 Lưu hành ni b

Cam nang Phuong Phap Theo doi va Danh gia

  • Upload
    foreman

  • View
    3.130

  • Download
    5

Embed Size (px)

DESCRIPTION

Cẩm nang theo dõi và đánh giá

Citation preview

Page 1: Cam nang Phuong Phap Theo doi va Danh gia

D Ự Á N “ T Ă N G C Ư Ờ N G N Ă N G L Ự C T H E O D Õ I V À Đ Á N H G I Á D Ự Á N V I Ệ T N A M – Ô X T R Â Y L I A ” - G I A I Đ O Ạ N I I

( V A M E S P I I )

Cẩm nang Theo dõi và Đánh giá

Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam

Do VAMESP II soạn thảo theo yêu cầu của

Vụ Kinh tế Đối ngoại/Bộ Kế hoạch và Đầu tư Số 2 Hoàng Văn Thụ HÀ NỘI, VIỆT NAM

Hà Nội, Tháng 8/2005

Lưu hành nội bộ

Page 2: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam i

MỤC LỤC

Danh mục từ viết tắt iii

1 Giới thiệu 4 1.1 Giới thiệu ............................................................................................... 4 1.2 Mục đích ................................................................................................ 4 1.3 Tài liệu tham khảo chính được sử dụng trong môđun này .................... 4

2 Quan sát trực tiếp 5

3 Nhóm trọng tâm 7

4 Phỏng vấn bán cấu trúc 10

5 Chọn mẫu ngẫu nhiên và không ngẫu nhiên 12 5.1 Chọn mẫu ngẫu nhiên ......................................................................... 13 5.2 Chọn mẫu không ngẫu nhiên............................................................... 14

6 Bảng câu hỏi và điều tra 16

7 Phân tích SWOT 18

8 Nghiên cứu tình huống 20

9 Mô hình Kirkpatrick đánh giá đào tạo 23

10 Đo lường mức độ đạt mục tiêu 26

11 Khung lôgíc 29

CÁC VÍ DỤ

Bảng 1 Ví dụ sử dụng quan sát trực tiếp..................................................... 5

Bảng 2 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào.... 11

Bảng 3 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào.... 14

Bảng 4 Sử dụng những đối tượng cung cấp thông tin chính trong chọn mẫu có chủ đích.................................................................................... 15

Bảng 5 Ví dụ so sánh câu hỏi đóng và câu hỏi mở ................................... 17

Bảng 6 Điểm mạnh, Điểm yếu, Cơ hội và Nguy cơ là gì? ......................... 18

Page 3: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam ii

Bảng 7 Ví dụ phân tích SWOT cho một dự án tái trồng rừng đước .......... 19

Bảng 8 Ví dụ mẫu nghiên cứu tình huống................................................. 22

Bảng 9 Biểu ma trận GAS ......................................................................... 27

Bảng 10 Ví dụ về đầu ra của phân tích GAS............................................... 28

Bảng 11 Ví dụ khung lôgíc của một dự án .................................................. 29

Bảng 12 Định nghĩa các thuật ngữ trong khung lôgíc ................................. 30

CẨM NANG THEO DÕI VÀ ĐÁNH GIÁ Ở VIỆT NAM

Môđun I – Danh mục thuật ngữ theo dõi và đánh giá được sử dụng ở Việt Nam Môđun II – Giới thiệu về Theo dõi và Đánh giá Môđun III – Thực hành theo dõi Môđun IV – Thực hành đánh giá Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam Môđun VI – Các công cụ theo dõi và đánh giá ở Việt Nam Môđun VII – Tài liệu đào tạo theo dõi và đánh giá ở Việt Nam Môđun VIII – Các công cụ theo dõi và đánh giá ở Việt Nam

Page 4: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam iii

Danh mục từ viết tắt ADB Ngân hàng Phát triển Châu Á AMC Nhà thẩu Quản lý Ôxtrâylia AP Kế hoạch hàng năm APD Giám đốc Dự án Ôxtrâylia ATL Cố vấn trưởng Ôxtrâylia AusAID Cơ quan Hợp tác và Phát triển quốc tế Ôxtrâylia CCB Xây dựng năng lực toàn diện CPRGS Chiến lược toàn diện về tăng trưởng và giảm nghèo DNPD Phó Giám đốc Dự án quốc gia FERD Vụ Kinh tế đối ngoại GMED Phòng Tổng hợp Theo dõi và Đánh giá (Vụ Kinh tế đối ngoại) GoV Chính phủ Việt Nam HCMC Thành phố Hồ Chi Minh HR Nguồn nhân lực HRM Quản lý nguồn nhân lực HSMS Hệ thống quản lý y tế và an toàn ISP Nhà cung cấp dịch vụ internet IT Công nghệ thông tin ITA Chuyên gia tư vấn công nghệ thông tin LMDG Nhóm các nhà tài trợ đồng chính kiến MARD Bộ Nông nghiệp và Phát triển nông thôn M&E Theo dõi và đánh giá MEA Chuyên gia tư vấn theo dõi và đánh giá MfDR Quản lý hướng tới các kết quả phát triển MIS Hệ thống thông tin theo dõi MPI Bộ Kế hoạch và Đầu tư NPD Giám đốc Dự án quốc gia ODA Hỗ trợ phát triển chính thức OECD Tổ chức Hợp tác và Phát triển kinh tế PCC Ban Điều phối dự án PDD Tài liệu thiết kế dự án PM Trưởng ban Quản lý dự án PMC Ban Điều hành dự án PMU Ban Quản lý dự án (dự án tài trợ bằng nguồn vốn ODA) QA Đảm bảo chất lượng RBM Quản lý gắn với kết quả SMT Công cụ theo dõi đơn giản TA Hỗ trợ Kỹ thuật TAG Nhóm Cố vấn Kỹ thuật TWG Nhóm Công tác Kỹ thuật UN Liên hiệp quốc VAMESP Dự án tăng cường năng lực theo dõi và đánh giá dự án Việt Nam –

Ôxtrâylia - Giai đoạn I VAMESP II Dự án tăng cường năng lực theo dõi và đánh giá dự án Việt Nam –

Ôxtrâylia - Giai đoạn II VAWRMAP Dự án hỗ trợ quản lý nguồn nước Việt Nam – Ôxtrâylia WB Ngân hàng Thế giới

Page 5: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 4

1 Giới thiệu

1.1 Giới thiệu Môđun này là sản phẩm của Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” - Giai đoạn II. Đây là một phần trong Cẩm nang Theo dõi và Đánh giá dự án ODA ở Việt Nam.

1.2 Mục đích Môđun này nêu ra các phương pháp có thể sử dụng để thu thập dữ liệu theo dõi và đánh giá chương trình, dự án ODA ở Việt Nam, trong đó thừa nhận các mục tiêu chiến lược quốc gia về sử dụng nguồn vốn ODA đã được nêu ra trong các tài liệu sau: • Chiến lược phát triển kinh tế và xã hội 10 năm • Kế hoạch phát triển 5 năm • Chương trình tổng thể về ODA • Chiến lược toàn diện về tăng trưởng và giảm nghèo Môđun này chỉ được xem là có ích nếu góp phần nâng cao hiệu quả quản lý các chương trình, dự án ODA và cung cấp những kết quả đánh giá được sử dụng để quản lý các chương trình, dự án đầu tư phát triển mới cho Việt Nam.

1.3 Tài liệu tham khảo chính được sử dụng trong môđun này Đã có nhiều cuốn cẩm nang và sách về phương pháp theo dõi và đánh giá - được nêu cụ thể trong trang web theo dõi và đánh giá quốc gia (www.mpi.gov.vn/m&e). Một số tài liệu trong đó đã chứng tỏ vai trò đặc biệt hữu ích và thực tiễn cho cán bộ theo dõi và đánh giá của Việt Nam. Điển hình là các tài liệu sau: • FASID (2000) Monitoring and evaluation based on the project cycle management method. Foundation

for Advanced Studies on International Development. Tokyo, Japan (see www.fasid.or.jp )

• FASID (2003) M&E on a shoestring – a manual. Foundation for Advanced Studies on International Development. Tokyo, Japan (see www.fasid.or.jp )

• IFAD (2002) A guide for project monitoring and evaluation – managing for impact in rural development. International Fund for Agricultural Development. Rome, Italy (see www.ifad.org/evaluation/ )

• SIDA (2004) Looking back, moving forward – SIDA Evaluation Manual. Swedish International Development Agency. Stockholm, Sweden (seewww.sida.se/Sida/jsp/polopoly.jsp?d=1265&a=25624 )

• UNDP (2002) Handbook on M&E for Results. United Nations Development Program, New York, USA (see www.undp.org/eo/rbm/index.htm )

Page 6: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 5

2 Quan sát trực tiếp

Mục đích:

Để thu được những thông tin hữu ích và kịp thời bằng cách quan sát công việc mọi người làm, giúp đưa ra các quyết định cải thiện tình hình thực hiện một dự án hay để có được những nhìn nhận sâu sắc và những phát hiện có thể sử dụng như những giả thiết cho các nghiên cứu sâu hơn. Từ góc độ TD&ĐG, phương pháp này rất quan trọng bổ trợ cho các dữ liệu thu thập được, có thể sử dụng để hiểu được bối cảnh thu thập thông tin và có thể giúp giải thích kết quả.

Tiến hành quan sát trực tiếp như thế nào: • Thống nhất về một khung khái niệm rõ ràng, cũng như hướng dẫn những gì cần được

quan sát và thông tin cần thu thập. • Lựa chọn một hay một nhóm quan sát viên phù hợp

Các thành viên của cộng đồng và cán bộ dự án, những người sống và làm việc thường xuyên tại khu vực dự án (ví dụ, “những người cung cấp thông tin quan trọng”) [Tham khảo Bảng 1].

Bảng 1: Những quan sát viên này cần được đào tạo về kỹ năng quan sát..

Những người ngoài cộng đồng có cơ hội tham gia các cuộc quan sát đã được bố trí trong các chuyến thực địa. Lưu ý rằng những người ngoài cộng đồng có thể cần thêm nhiều thời gian để biết được cái gì là quan trọng. Mặt khác, đôi khi họ nhận thấy được những vấn đề quan trọng mà người địa phương không còn thấy hoặc cho là hiển nhiên.

• Thu thập và ghi lại những dữ liệu như đã thống nhất. Thu xếp thời gian để thảo luận những quan sát đã được ghi lại, không chỉ với cán bộ dự án và đối tác thực hiện, mà cũng có thể với cả những bên liên quan chính.

Bảng 1 Ví dụ sử dụng quan sát trực tiếp

Phương pháp quan sát trực tiếp đã được sử dụng để đánh giá một dự án về nước sinh hoạt tại Zăm-bi-a. Các buổi đào tạo về vệ sinh đã được các cán bộ dự án tiến hành và phụ nữ và trẻ em trong các làng tham dự đã được quan sát. Nghiên cứu này cho thấy cán bộ dự án đã sử dụng quá nhiều thuật ngữ chuyên môn và ngồn ngữ có tính học thuật trong đào tạo về vệ sinh, làm cho buổi học vô ích vì những người dân ở làng không hiểu được. Với thông tin này, các buổi đào tạo đã được điều chỉnh để trở nên phù hợp hơn với người dân địa phương.

Gợi ý trong quan sát trực tiếp:

• Mọi người thường bỏ quên phương pháp đơn giản nhất trong tất cả các phương pháp – đó là quan sát. Mọi người đều quan sát một cách tự động. Nhưng bạn có thể làm cho việc quan sát hiệu quả hơn bằng cách xem nó như một phương pháp chính và tổ chức sử dụng nó. Có thể học được rất nhiều điều bằng cách quan sát mọi người thực tế làm gì. Thông tin hữu ích và những hiểu biết mới sâu sắc thường có thể thu được từ việc quan sát như vậy mà bằng cách khác không thể thu được. Nếu làm tốt, phương pháp này có thể cho phép hiểu sâu hơn về các mối quan hệ trong cộng đồng

Page 7: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 6

cũng như giữa cộng đồng với các tổ chức khác. Nếu làm tốt, quan sát trực tiếp có thể giúp xây dựng lòng tin và mối quan hệ tốt đẹp với người dân địa phương và cán bộ dự án. Phương pháp này cũng được biết đến với tên gọi “quan sát có tham gia” và là một phương pháp nghiên cứu phổ biến cho các vấn đề và quá trình xã hội

• Quan sát trực tiếp là có ích cho việc xác nhận tính hợp lệ trong công tác theo dõi do có thể được sử dụng để kiểm tra chéo các câu trả lời nhận được thông qua các phương pháp khác.

• Luôn có nguy cơ gặp phải những sai lệch trong thông tin do: định kiến của bản thân người quan sát, cách mà quan sát viên chi phối những gì được quan sát, hoặc tình huống quan sát cản trở tính khách quan của quan sát viên. Những sai lệch này không bao có thể giờ loại bỏ được hoàn toàn. Vì thế, quan sát trực tiếp là một phương pháp TD&ĐG có hệ thống chỉ nên bổ trợ cho các phương pháp khác. Yêu cầu một số người tiến hành quan sát theo cùng một cách thức có thể giúp khẳng định những quan sát hoặc chỉ ra những chênh lệch và do đó tăng chất lượng của dữ liệu

Page 8: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 7

3 Nhóm trọng tâm

Mục đích:

Sử dụng thảo luận nhóm để thu thập thông tin, làm rõ các chi tiết hoặc thu thập các ý kiến về một vấn đề từ một nhóm nhỏ những người được lựa chọn đại diện cho các quan điểm khác nhau. Phương pháp này cũng có thể được sử dụng để xây dựng sự nhất trí. Đối với TD&ĐG, các nhóm trọng tâm rất tốt cho đánh giá những ý kiến về thay đổi, đánh giá chất lượng của nhà cung cấp dịch vụ cho dự án, và chỉ ra các lĩnh vực để cải tiến.

Tiến hành nhóm trọng tâm như thế nào:

• Xác định số thành viên tham gia (4-8 người là lý tưởng). Phụ thuộc vào mục đích của bạn, bạn có thể làm việc với một nhóm đồng nhất hoặc không đồng nhất. Cách khác là sử dụng một số nhóm trọng tâm, mỗi nhóm tương đối đồng nhất nhưng các nhóm phải khác nhau. Điều này cho phép có được những so sánh thú vị.

• Đưa ra cho nhóm một câu hỏi rộng (ví dụ, “Theo bạn, một can thiệp cụ thể có tác động gì đến việc sử dụng đất bền vững?).

• Thảo luận câu hỏi này trong khoảng thời gian đã thống nhất từ trước, tối đa từ 1-2 giờ. Người điều hành cuộc thảo luận nên giảm thiểu sự can thiệp của mình, chỉ nên đảm bảo cho tất cả mọi người đều phát biểu. Bạn có thể cần nhắc lại câu hỏi với những từ khác nhau hoặc tìm hiểu xem liệu có gì đó không rõ.

• Ghi lại chi tiết cuộc thảo luận. Nhóm trọng tâm tốt nhất nên được điều hành bởi hai người, một người điều hành và người kia ghi chép. Bạn cũng có thể ghi âm cuộc thảo luận nhưng sẽ vấp phải vấn đề thường gặp là tốn thời gian chép lại từ băng và gây ức chế cho nhóm.

• Một cách để đảm bảo sự tin cậy của thông tin là tiếp tục tiến hành các thảo luận nhóm trọng tâm khác nhau cho tới khi có sự lặp lại của dữ liệu.

Gợi ý đối với nhóm trọng tâm

• Nếu được dẫn dắt tốt, phương pháp này có thể thu được những thông tin cụ thể. Cách này thường khuyến khích những câu trả lời phong phú và cũng là một cơ hội quí giá để quan sát những trao đổi và có được cái nhìn sâu hơn về hành vi, thái độ, ngôn ngữ và tình cảm

• Tuy nhiên, việc điều hành một nhóm trọng tâm đòi hỏi phải có kỹ năng nhất định - cả trong điều tiết nhóm cũng như trong ghi chép đầy đủ các câu trả lời. Những động lực của nhóm bị kìm chế do các cá nhân quá e dè ...có thể gây cản trở cuộc thảo luận.

• Phương pháp này có thể được sử dụng để đạt được một quan điểm nhất trí. Tuy nhiên, một nhóm nhỏ không thể đại diện cho tất cả các quan điểm, ví dụ của một tổ chức hoặc một cộng đồng. Mặt khác, có thể xảy ra sự bất đồng lớn nếu nhóm không đủ đồng nhất. Vì vậy, hãy suy nghĩ cẩn thận về thành phần của nhóm.

• Phương pháp nhóm trọng tâm có thể đem lại những hiểu biết sâu sắc nhanh hơn và nhìn chung là chi phí thấp hơn so với một loạt những người cung cấp thông tin chủ chốt hay các cuộc điều tra xã hội chính thức .

Page 9: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 8

Qui trình:

• Các hướng dẫn về cuộc thảo luận cần được thử nghiệm trước • Tổ chức từ 2 nhóm trọng tâm trở lên • Cần tập huấn cho người điều hành phỏng vấn và người ghi chép • Quyết định trước thời gian và địa điểm • Các nhóm thảo luận không quá 90 phút • Ghi chép lại cuộc thảo luận bằng máy ghi âm hoặc ghi hình có ghi chú bổ sung

Hướng dẫn các thành viên tham gia:

• Các thành viên tham gia phải nói rõ ràng, từng người một • Ý kiến của tất cả mọi người đều được hoan nghênh, không có ý kiến hay quan điểm

nào là sai hay đúng cả • Các thành viên cần mạnh dạn đối với những lý lẽ thuyết phục của mình.

Vai trò của người điều hành:

• Điều hành nhưng không làm chủ cuộc thảo luận • Giới thiệu các vấn đề mới để thảo luận • Theo dõi việc tham gia và sự trao đổi qua lại của các thành viên, khuyến khích các

thành viên tích cực tham gia • Duy trì sự thảo luận liên tục, hướng vào trọng tâm nhưng cho phép sự linh hoạt.

Vai trò của người ghi chép:

• Duy trì việc ghi lại những thông tin liên quan tới nhóm trọng tâm, bao gồm: ngày, giờ và địa điểm tổ chức, số lượng và mô tả về thành viên tham gia, các vấn đề chính được đề cập, chi tiết về động lực thảo luận của nhóm.

• Hỗ trợ người điều hành.

XỬ LÝ DỮ LIỆU THU ĐƯỢC TỪ NHÓM TRỌNG TÂM

Thu thập dữ liệu:

Tối thiểu dữ liệu phải được thu thập qua ghi chép hoặc ghi âm. Nếu ghi trên giấy thì tốt nhất là sử dụng giấy khổ to để cả nhóm có thể kiểm tra nội dung bản tóm tắt các ý kiến của họ. Cho dù sử dụng cách nào thì ngay sau khi nhóm trọng tâm thảo luận xong phải chuyển nội dung ghi âm hoặc những ghi chép thành văn bản đầy đủ, cùng với bất kỳ những quan sát chung nào mà bạn đã thấy.

Phân tích

Dữ liệu định tính thu được từ các nhóm trọng tâm thường được phân tích thông qua sử dụng qui trình 4 bước là: tổ chức, định hình, tóm tắt và giải thích.

Page 10: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 9

• Tổ chức – Sắp xếp dữ liệu theo trật tự làm việc…sắp xếp những tờ giấy khổ to theo thứ tự, chuyển đầy đủ nội dung các băng ghi âm thành văn bản…

• Định hình – Suy nghĩ xem dữ liệu đã gợi ý những hình thức và định dạng nào. Ghi những nhóm này ra và sắp xếp tất cả các nhóm. (những nhóm này có hoặc không liên quan tới dự án mà bạn đang xem xét). Bắt đầu với nhiều nhóm để sử dụng tất cả các dữ liệu và khi bạn đã hiểu biết hơn thì bạn có thể gộp các nhóm lại.

• Tóm tắt – Tìm kiếm các quan điểm về những chủ đề đang được thảo luận. Đừng cố gắng định lượng….các nhóm trọng tâm không có giá trị về mặt thống kê. Bạn đang tìm kiếm các quan điểm về một chủ đề mà sau này có thể định lượng thông qua một nghiên cứu dựa trên tổng thể đầy đủ nếu cần thiết.

• Giải thích – việc tóm tắt các dữ liệu phải nhất quán để giải thích dữ liệu của bạn. Tại điểm này bạn sẽ giới thiệu một viễn cảnh phát triển để cố gắng làm cho tài liệu bạn thu thập trở nên có nghĩa. Tuy vậy, việc giới thiệu tài liệu đó phải rõ ràng với người đọc và không nên cho rằng nó bắt nguồn từ việc thu thập dữ liệu thực tế.

Page 11: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 10

4 Phỏng vấn bán cấu trúc

Mục đích:

Để lấy thông tin trực tiếp từ một cá nhân hoặc một nhóm nhỏ, sử dụng những bộ câu hỏi có phạm vi rộng để hướng dẫn các cuộc trao đổi, cho phép đưa ra những câu hỏi mới phát sinh từ cuộc thảo luận. Nhìn từ góc độ TD&ĐG, các cuộc phỏng vấn bán cấu trúc có vai trò quan trọng, đặc biệt trong việc tăng cường sự hiểu biết sâu về những vấn đề mang tính định tính. Vì những cuộc phỏng vấn có tính mở (mặc dù được hướng dẫn) nên rất hữu ích đối với việc đánh giá, ví dụ, những tác động ngoài dự kiến (tích cực & tiêu cực), những ý kiến về tính phù hợp và chất lượng của dịch vụ và sản phẩm, v.v.

Tiến hành phỏng vấn bán cấu trúc như thế nào: • Xác định mục đích và nhu cầu thông tin cần tìm hiểu để xây dựng một danh sách câu

hỏi mở cho phỏng vấn. Các câu hỏi cần thiết kế để những người được hỏi có thể bày tỏ ý kiến của họ qua cuộc thảo luận. Trật tự lô-gíc của các câu hỏi sẽ hỗ trợ quá trình thảo luận [Tham khảo các Bảng câu hỏi và Điều tra về cách hành văn hiệu quả trong các câu hỏi].

• Thống nhất đối tượng sẽ được phỏng vấn, số người cần phỏng vấn và tiến hành phỏng vấn riêng lẻ với từng cá nhân hay với cả nhóm.

• Tập hợp và đào tạo một nhóm, đảm bảo họ hiểu được mục đích và phát triển những kỹ năng phù hợp (làm thế nào để khuyến khích thảo luận, ghi chép những thông tin chính xác và hữu ích.v.v). Cách tốt nhất tiến hành phỏng vấn bán cấu trúc là có 2 người, một người thực hiện phỏng vấn và người kia ghi chép thông tin. Tuy nhiên cách này có thể không khả thi. Bạn có thể thử ghi âm cuộc phỏng vấn nhưng cách này tạo cảm giác rất ức chế và việc viết lại các thông tin sau đó sẽ vô cùng tốn thời gian .

• Kiểm tra thử trước các câu hỏi phỏng vấn để đảm bảo phù hợp, chính xác và những câu trả lời sẽ cho phép có được sự phân tích hữu ích.

• Nếu bạn tiến hành phỏng vấn theo nhóm và có hơn một người phỏng vấn, có lẽ sẽ hữu ích nếu ngay sau cuộc phỏng vấn có một cuộc thảo luận nội bộ ngắn gọn về động lực của cuộc phỏng vấn, đánh giá tính hợp lệ của các câu trả lời và quyết định xem có cần điều chỉnh phỏng vấn không.

• Phân tích thông tin thu được từ các cuộc phỏng vấn [Xem bảng 2].

Page 12: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 11

Bảng 2 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào

a) Tóm tắt ngắn gọn nội dung trả lời của từng người, bao gồm những điểm chính. b) Kiểm tra nhanh các câu trả lời. Khi đã kiểm tra khoảng 25%, ghi chép những điểm được đề cập nhiều

nhất. Sau đó đọc lại tất cả các câu trả lời và ghi lại có bao nhiêu người được phỏng vấn đã trả lời cho từng điểm chính đó. Cách khác là phân các câu trả lời thành nhóm “ủng hộ” và “phản đối” một vấn đề cụ thể nào đó hoặc phân tách những câu trả lời đó theo những mức độ hào hứng khác nhau về một vấn đề.

c) Trích dẫn để nhấn mạnh một số điểm nhất định. d) Yêu cầu những người khác kiểm tra các câu trả lời để tránh thành kiến cá nhân trong quá trình diễn

giải các câu trả lời. e) Đánh số từng người trả lời. f) Dựa trên danh mục các điểm đã xây dựng trong bước (b) ở trên, đánh số các điểm chính. Qua hệ thống

mã hoá này, lập thứ tự ưu tiên, tóm tắt và sau đó phân tích thông tin.

Gợi ý cho sử dụng phỏng vấn bán cấu trúc:

• Phỏng vấn bán cấu trúc có thể dễ dàng kết hợp sử dụng với một phương pháp khác. Có thể đi cùng với những người nông dân và tiến hành phỏng vấn. Rất nhiều phương pháp nhóm trực quan mang lại hiệu quả tốt nhất nếu được thực hiện theo kiểu phỏng vấn bán cấu trúc. Phỏng vấn bán cấu trúc có thể dễ dàng nắm bắt những hiểu biết sâu hơn mà không thể có được từ bảng câu hỏi cấu trúc. Một điều thú vị là những chủ đề không dự đoán trước cũng có thể xuất hiện trong phương pháp phỏng vấn kiểu này. Tuy nhiên, những thông tin như thế có thể không đủ chi tiết để phân tích thống kê. Khi cần phân tích kiểu như vậy nên sử dụng bảng câu hỏi điều tra.

• Thông tin mở khó hơn và tốn thời gian hơn để có thể tổng hợp tốt nhằm thu được những kết quả rõ ràng. Khó có thể giữ cho các cuộc phỏng vấn được tập trung, do đó khó có thể so sánh một cách đúng đắn các cuộc phỏng vấn khác nhau. Ghi chép chính xác đóng vai trò đặc biệt quan trọng để có thể diễn giải đúng đắn.

• Dành thời gian và tiền để đào tạo các nhân viên làm nhiệm vụ phỏng vấn bán cấu trúc. Đào tạo cần đề cập tới việc chuẩn bị nhóm, bối cảnh phỏng vấn, nghe và hỏi một cách tế nhị, đánh giá các câu trả lời, ghi chép phỏng vấn và tự xem xét một cách nghiêm túc.

• Phỏng vấn nhóm cần chú ý hơn về chi tiết, ví dụ như việc sử dụng ngôn từ đơn giản và tránh các thuật ngữ hoặc thành ngữ để đảm bảo những người biết ít nhất trong nhóm vẫn có thể hiểu được các câu hỏi. Cân nhắc trước những vấn đề nhậy cảm về chính trị hoặc văn hoá vì có thể gây phản ứng mạnh dẫn tới mẫu thuẫn trong nội bộ nhóm.

Page 13: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 12

5 Chọn mẫu ngẫu nhiên và không ngẫu nhiên Một cuộc tổng điều tra thường không thể thu thập dữ liệu từ toàn bộ tổng thể như mong muốn nghiên cứu do nhóm có thể quá lớn hoặc thời gian, nguồn lực và ngân quĩ quá hạn hẹp để tiến hành một cuộc tổng điều tra. Trong các trường hợp này, cần lựa chọn một mẫu càng điển hình cho toàn bộ tổng thể càng tốt nhằm đưa ra kết luận về đặc điểm của toàn bộ tổng thể. Vì thế, cần có một số công cụ thống kê để xác định tính đại diện trong dữ liệu, và từ đó xác định mức độ tin cậy của những thông tin rút ra từ nghiên cứu của bạn. Việc chọn mẫu ra sao sẽ ảnh hưởng tới chất lượng kết quả cuối cùng của nghiên cứu TD&ĐG. Nếu phương pháp lấy mẫu mang định kiến cá nhân hoặc mẫu quá nhỏ thì kết quả TD&ĐG sẽ ít tin cậy hơn và thậm chí có thể không hợp lệ. Nếu chọn mẫu để TD&ĐG, cần xem cân nhắc đặc biệt 3 yếu tố dưới đây ảnh hưởng tới phương pháp lựa chọn cho hoạt động TD&ĐG và tính hợp lệ của những phát hiện.

Làm rõ khung chọn mẫu. Khung chọn mẫu là mô tả chung tất cả các phần tử có thể chọn ra từ đó để làm mẫu. Để làm được điều này, phải xác định phần tử cụ thể muốn nghiên cứu (ví dụ, tất cả hộ dân trong xã, một số hộ dân nhất định trong huyện hoặc một số bản sống trong rừng) hoặc mô tả cụ thể về phần tử (ví dụ, ranh giới của rừng cần được nghiên cứu).

Quyết định kích thước mẫu phù hợp. Qui mô của mẫu lựa chọn ảnh hưởng rất lớn đến tính hợp lệ của những phát hiện. Ngược lại với quan điểm thường thấy, qui mô tối ưu của mẫu không liên quan nhiều tới quy mô của tổng thể đang nghiên cứu. Thực ra qui mô đó cần được xác định dựa trên ngân sách và nguồn lực sẵn có, số lượng tiểu nhóm cần phân tích, thời gian sẵn có và thời gian cần để tiến hành việc này một cách đúng đắn, sự biến động trong tổng thể về biến đang được thử nghiệm, độ tin cậy mong đợi, dự tính về độ biến thiên so với giá trị của tổng thể, và sai sót cho phép tối đa có thể chấp nhận được. Điểm cuối cùng về sai sót trong lấy mẫu là mức độ đảm bảo về tính đại diện của mẫu đối với tổng thể và xu hướng định kiến cá nhân khi chọn mẫu. Mặc dù dữ liệu không cần phải chính xác 100%, nhưng cần phải làm rõ mức độ chắc chắn về các kết quả. Kích thước mẫu hoặc sai số mẫu có thể được tính toán thông qua các công thức thống kê. Để tính được kích thước mẫu phù hợp, hãy tham khảo trang web sau về cách tính kích thước mẫu. (http://ebook.stat.ucla.edu/calculators/samplesize.phtn-d ).

Lựa chọn phương pháp lấy mẫu. Khi đã chọn kích thước mẫu, có thể chọn một trong 2 phương pháp chọn mẫu chủ yếu là: chọn mẫu ngẫu nhiên và chọn mẫu không ngẫu nhiên. Việc lựa chọn sẽ phụ thuộc vào loại thông tin cần có. Lấy mẫu ngẫu nhiên thường liên quan tới thu thập và phân tích dữ liệu định lượng. Phương pháp này cho phép tất cả phần tử trong tổng thể một cơ hội được lựa chọn như nhau và có những qui trình lựa chọn được xác định rõ ràng hơn, sử dụng các danh mục (hoặc tương tự) như là khung lấy mẫu và cho phép ước lượng sai số mẫu.

Page 14: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 13

Lấy mẫu không ngẫu nhiên thường ít chính thống hơn, liên quan tới thu thập và phân tích dữ liệu định tính và việc lấy mẫu từ tổng thể có chủ ý và trọng tâm hơn. Cả hai phương pháp đều có một số rủi ro về định kiến cá nhân, mặc dù những câu trả lời có thể đáng tin cậy cho mục đích. Rủi ro về định kiến cá nhân là một tính năng khác biệt chính giữa 2 phương pháp. Trong lấy mẫu ngẫu nhiên, rủi ro được biết trước và có thể hạn chế tối đa - miễn là có sẵn nguồn lực. Nhưng với phương pháp lấy mẫu không ngẫu nhiên, rủi ro về định kiến cá nhân thường lớn hơn và khó đánh giá hơn.

5.1 Chọn mẫu ngẫu nhiên Mục đích:

Chọn mẫu mà không biết trước hoặc không quan tâm đến các đặc tính cụ thể của tổng thể mà có thể đại diện cho các bên liên quan chính chịu ảnh hưởng của dự án. Từ góc độ theo dõi và đánh giá, rất cần mẫu này để hướng dẫn cách sử dụng các phương pháp thu thập thông tin.

Chọn mẫu ngẫu nhiên như thế nào: • Trước hết xác định, đặt tên hoặc đánh số cho tất cả các phần tử của tổng thể mà bạn

muốn chọn mẫu (ví dụ: các làng, các ngôi nhà, các cá nhân, các gia đình) làm sao đảm bảo tất cả các phần tử đều có cơ hội như nhau được chọn vào mẫu. Việc này gọi là xây dựng khung chọn mẫu.

• Xác định ai sẽ được phỏng vấn, có bao nhiêu người thuộc mẫu và phỏng vấn cá nhân hay với nhóm.

• Tập hợp và đào tạo một nhóm người, đảm bảo họ hiểu được mục đích chọn mẫu và phát triển được những kỹ năng phù hợp (làm thế nào khuyến khích thảo luận, ghi chép chính xác và hữu ích…). Phỏng vấn bán cấu trúc tốt nhất khi có hai người, một người phỏng vấn và một người ghi chép nhưng cách này có thể sẽ không khả thi. Có thể ghi âm cuộc phỏng vấn nhưng điều này sẽ gây ức chế và sau đó rất tốn thời gian viết lại thông tin.

• Kiểm tra thử nghiệm trước các câu hỏi phỏng vấn để đảm bảo các câu hỏi là thích hợp và chính xác ở mức cần thiết, và từ đó các câu trả lời sẽ cho phép có được các phân tích hữu ích.

• Nếu bạn tiến hành phỏng vấn theo nhóm và có hơn một người phỏng vấn, có lẽ sẽ hữu ích nếu ngay sau cuộc phỏng vấn có một cuộc thảo luận nội bộ ngắn gọn về động lực của cuộc phỏng vấn, đánh giá tính hợp lệ của các câu trả lời và quyết định xem có cần điều chỉnh phỏng vấn không.

• Phân tích thông tin thu được từ cuộc phỏng vấn [xem Bảng 3].

Page 15: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 14

Bảng 3 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào

a) Tóm tắt ngắn gọn nội dung trả lời của từng người, bao gồm những điểm chính. b) Kiểm tra nhanh các câu trả lời. Khi đã kiểm tra khoảng 25%, ghi chép những điểm được đề cập nhiều

nhất. Sau đó đọc lại tất cả các câu trả lời và ghi lại có bao nhiêu người được phỏng vấn đã trả lời cho từng điểm chính đó. Cách khác là phân các câu trả lời thành nhóm “ủng hộ” và “phản đối” một vấn đề cụ thể nào đó hoặc phân tách những câu trả lời đó theo những mức độ hào hứng khác nhau về một vấn đề.

c) Trích dẫn để nhấn mạnh một số điểm nhất định. d) Yêu cầu những người khác kiểm tra các câu trả lời để tránh thành kiến cá nhân trong quá trình diễn

giải các câu trả lời. e) Đánh số từng người trả lời. f) Dựa trên danh mục các điểm đã xây dựng trong bước (b) ở trên, đánh số các điểm chính. Qua hệ thống

mã hoá này, lập thứ tự ưu tiên, tóm tắt và sau đó phân tích thông tin.

Gợi ý cho sử dụng phỏng vấn bán cấu trúc:

• Phỏng vấn bán cấu trúc có thể dễ dàng kết hợp sử dụng với một phương pháp khác. Có thể đi cùng với những người nông dân và tiến hành phỏng vấn. Rất nhiều phương pháp nhóm trực quan mang lại hiệu quả tốt nhất nếu được thực hiện theo kiểu phỏng vấn bán cấu trúc. Phỏng vấn bán cấu trúc có thể dễ dàng nắm bắt những hiểu biết sâu hơn mà không thể có được từ bảng câu hỏi cấu trúc. Một điều thú vị là những chủ đề không dự đoán trước cũng có thể xuất hiện trong phương pháp phỏng vấn kiểu này. Tuy nhiên, những thông tin như thế có thể không đủ chi tiết để phân tích thống kê. Khi cần phân tích kiểu như vậy nên sử dụng bảng câu hỏi điều tra.

• Thông tin mở khó hơn và tốn thời gian hơn để có thể tổng hợp tốt nhằm thu được những kết quả rõ ràng. Khó có thể giữ cho các cuộc phỏng vấn được tập trung, do đó khó có thể so sánh một cách đúng đắn các cuộc phỏng vấn khác nhau. Ghi chép chính xác đóng vai trò đặc biệt quan trọng để có thể diễn giải đúng đắn.

• Dành thời gian và tiền để đào tạo các nhân viên làm nhiệm vụ phỏng vấn bán cấu trúc. Đào tạo cần đề cập tới việc chuẩn bị nhóm, bối cảnh phỏng vấn, nghe và hỏi một cách tế nhị, đánh giá các câu trả lời, ghi chép phỏng vấn và tự xem xét một cách nghiêm túc.

• Phỏng vấn nhóm cần chú ý hơn về chi tiết, ví dụ như việc sử dụng ngôn từ đơn giản và tránh các thuật ngữ hoặc thành ngữ để đảm bảo những người biết ít nhất trong nhóm vẫn có thể hiểu được các câu hỏi. Cân nhắc trước những vấn đề nhậy cảm về chính trị hoặc văn hoá vì có thể gây phản ứng mạnh dẫn tới mẫu thuẫn trong nội bộ nhóm.

5.2 Chọn mẫu không ngẫu nhiên Mục đích:

Xác định rõ, chính xác mẫu gồm các đối tượng nào dựa vào ý kiến chủ quan của người chọn. Khi không thể chọn mẫu ngẫu nhiên, có thể chọn phương pháp lấy mẫu không ngẫu nhiên để phản ánh các bên liên quan chính đã bị ảnh hưởng bởi dự án như thế nào. Một cách khác rất cụ thể là chủ động chọn những cá nhân và nhóm nhất định. Đứng trên góc độ TD&ĐG, cũng như phương pháp lấy mẫu ngẫu nhiên, mẫu trong phương pháp này rất cần để hướng dẫn sử dụng các phương pháp thu thập thông tin.

Chọn mẫu không ngẫu nhiên như thế nào:

Page 16: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 15

Có hai phương pháp chọn mẫu không ngẫu nhiên chính: chọn mẫu có chủ đích (còn gọi là chọn mẫu có chủ định, thuận tiện hay có suy xét) và chọn mẫu có giới hạn. 1. Chọn mẫu có chủ đích - Chọn mẫu dựa vào một hay một vài đặc tính đã được xác định. Phương pháp này có ích khi mô tả một hiện tượng hơn là để đưa ra các kết luận thống kê về các phần tử trong tổng thể. Ví dụ: nếu chỉ muốn nói chuyện với những người lớn tuổi để tìm hiểu quan điểm từng trải của họ về các thực hành nông nghiệp trong một vùng thì mẫu chủ đích của bạn sẽ chỉ chú trọng liệt kê danh sách những người lớn tuổi để tập trung các câu hỏi. Để tìm hiểu thêm về cách liệt kê các đối tượng cung cấp thông tin kiểu này, tham khảo Bảng 4. Một loại lấy mẫu có chủ đích là lấy mẫu theo nhóm. Một nhóm nhỏ và có thể điều khiển được gồm các cá nhân hay phần tử được lựa chọn từ các nhóm hoặc các cụm chứ không phải trên cơ sở cá nhân phần tử. Ví dụ: đầu tiên chọn ngẫu nhiên một số nhất định các hộ gia đình, sau đó thêm những hộ gần nhất với những hộ đã chọn vào mẫu và cứ như thế tới khi đạt được kích thước mẫu cần thiết.

Bảng 4 Sử dụng những đối tượng cung cấp thông tin chính trong chọn mẫu có chủ đích

Làm việc với những đối tượng cung cấp thông tin chính có ích khi bạn tìm kiếm thông tin sâu về một chủ đề chuyên biệt (với những kỹ năng, kiến thức cụ thể hay vai trò của lợi ích) trong vùng dự án, chẳng hạn, để tiến hành các nghiên cứu tình huống hay nhóm trọng tâm. • Liệt kê những đối tượng cung cấp thông tin chính tiềm năng có thể trả lời những câu hỏi TD&ĐG cụ

thể đã được nghĩ tới. Các đối tượng này bao gồm: • Các chuyên gia đã được đào tạo làm việc trong vùng dự án (ví dụ; bác sĩ, chuyên gia kinh tế, chuyên

gia tín dụng và các nhà khoa học nông nghiệp) • Các cán bộ chính phủ , như cán bộ khuyến nông và y tế • Lãnh đạo địa phương; như già làng, trưởng bản

• Những người có hiểu biết; như người bán hàng, quản lý thị trường • Sau đó lựa chọn những đối tượng thích hợp nhất với các câu hỏi đã chuẩn bị và có thể chọn thêm

người cung cấp thông tin nếu thấy cần trong quá trình phỏng vấn

2. Chọn mẫu có giới hạn - hữu ích khi so sánh và tách một khía cạnh cụ thể nào đó để TD&ĐG. Chọn mẫu có giới hạn bao gồm việc lựa chọn một số cố định và xác định trước các phần tử mang một đặc tính tiêu biểu, sau đó so sánh với cùng một số lượng phần tử như vậy nhưng không mang đặc tính tiêu biểu đó. Ví dụ: để nghiên cứu phúc lợi, có thể so sánh một nhóm dân làng có các kỹ năng tự giới thiệu tốt với một nhóm dân làng khác yếu về các kỹ năng này.

Gợi ý khi sử dụng chọn mẫu không ngẫu nhiên:

• Chọn mẫu không ngẫu nhiên thường hữu ích hơn khi sử dụng cho công tác theo dõi và đánh giá có quy mô nhỏ và như vậy sẽ nhanh hơn. Tuy nhiên, chọn mẫu không ngẫu nhiên có thể không đại điện đầy đủ cho những câu trả lời cần tìm kiếm vì nó được xác định trước và do vậy tiềm ẩn thành kiến trong thông tin. Đó là bởi vì không thể đưa ra con số ước tính về sai sót mẫu. Với những lựa chọn trên, chọn mẫu theo nhóm có thể rẻ hơn và thực hiện dễ hơn với đào tạo tối thiểu.

Page 17: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 16

6 Bảng câu hỏi và điều tra

Mục đích:

Để thu thập dữ liệu từ nhiều người bằng các câu hỏi cụ thể có cấu trúc và thường theo cách cho phép phân tích thống kê. Từ góc độ TD&ĐG, bảng câu hỏi và điều tra tạo cơ sở cho rất nhiều nghiên cứu về TD&ĐG vì chúng cho phép thu thập dữ liệu có trọng tâm về các câu hỏi hoặc chỉ số thực hiện cụ thể lấy từ một mẫu.

Tiến hành lập bảng câu hỏi và điều tra như thế nào: • Thống nhất về mục đích và nhu cầu thông tin của các câu hỏi.

• Quyết định xem nhu cầu thông tin có đòi hỏi một mẫu bảng câu hỏi hay bảng điều tra không. Thuật ngữ bảng câu hỏi và bảng điều tra mặc dù thường được sử dụng thay thế cho nhau nhưng có thể phân biệt như sau:

Bảng câu hỏi là một mẫu các câu hỏi sử dụng để thu thập thông tin từ những người được hỏi.

Bảng điều tra bao quát hơn, có thể là một bảng câu hỏi dài hoặc thậm chí chỉ đơn thuần là 1 hoặc 2 câu hỏi đơn giản cần được trả lời. Có thể các nhà nghiên cứu tự tiến hành quan sát, phỏng vấn trực tiếp qua điện thoại hoặc gửi qua thư trực tiếp với số lượng lớn..

• Bảng câu hỏi và điều tra có thể đi từ rất đơn giản cho tới khá phức tạp. Đó có thể là một bộ các câu hỏi đóng rất cụ thể và có cấu trúc (câu hỏi có/không hoặc câu hỏi lựa chọn) hoặc cũng có thể bao gồm những câu hỏi mở, ví dụ như trong các phỏng vấn bán cấu trúc [tham khảo mục Phương pháp - Phỏng vấn bán cấu trúc]. Các bảng câu hỏi với những lựa chọn cố định hoặc những câu trả lời cố định rất hữu ích đối với việc thu thập dữ liệu để phân tích thống kê. Những câu hỏi mở hoặc tự do trả lời có thể đặc biệt tốt trong việc xác định cảm xúc và thái độ của những người được hỏi.

• Đảm bảo câu hỏi phải có trọng tâm và được xây dựng tốt nếu không sẽ vô ích [tham khảo Bảng 5]. Nếu cần, yêu cầu chuyên gia phù hợp hỗ trợ để đảm bảo các câu hỏi được hành văn chính xác và có thể được phân tích một cách đúng đắn. Những câu hỏi có thể được xây dựng để trả lời một giả thuyết mà bạn muốn chứng minh hoặc phản bác (ví dụ, “trình độ học vấn của phụ nữ có ảnh hưởng tới sức khoẻ của con cái họ hay không?”) hoặc để tìm hiểu phạm vi của một vấn đề cụ thể.

• Thống nhất ai sẽ được hỏi và bao nhiêu người sẽ tham gia vào mẫu [tham khảo Phương pháp các kỹ thuật lấy mẫu]. Đồng thời quyết định phương thức hỏi phù hợp nhất (bảng mẫu được gửi qua đường bưu điện hay phát tận tay để cá nhân điền vào, phỏng vấn trực tiếp từng cá nhân…) Nếu phỏng vấn trực tiếp, tập huấn cho những người làm công tác phỏng vấn để chắc chắn rằng họ hiểu được mục đích và có kỹ năng đặt câu hỏi theo cách có thể giảm thiểu định kiến cá nhân.

• Kiểm tra thử trước các câu hỏi phỏng vấn để đảm bảo những câu hỏi đó phù hợp và chính xác đồng thời cho ta những thông tin cần thiết.

• Thu thập và phân tích thông tin thu thập được.

Page 18: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 17

Bảng 5 Ví dụ so sánh câu hỏi đóng và câu hỏi mở

Câu hỏi đóng (Người được hỏi chỉ trả lời là “Có” hoặc “Không”, vì vậy cho ít thông

tin hữu ích)

Câu hỏi mở và có trọng tâm (Sử dụng một loạt các câu hỏi cung cấp nhiều

thông tin hữu ích và cụ thể hơn)

Anh/chị trồng lương thực có đủ cho nhu cầu của gia đình mình không?

Loại cây lương thực chủ đạo anh chị trồng là gì? Anh chị có đủ lương thực cho gia đình mình ăn ngày hôm nay/tuần này không? Nhà anh chị thiếu lương thực bao nhiêu tháng trong một năm? Anh chị xoay sở như thế nào để giải quyết việc trồng không đủ lương thực?

Anh/chị đưa con đến khám tại cơ sở y tế cho bà mẹ và trẻ em thường xuyên như thế nào?

Anh chị có con dưới 5 tuổi không? Việc khám chữa bệnh được tiến hành thường xuyên như thế nào tại xã của anh chị? Lần khám bệnh gần đây nhất của anh chị là khi nào? Mục đích của việc đi khám đó là gì ? Anh chị có đưa con mình (dưới 5 tuổi) đến cơ sở y tế này không? tại sao có và tại sao không? Anh chị nghĩ thế nào về kỳ khám bệnh tại cơ sở y tế lần đó?

Anh/chị có hiểu và làm theo những lời khuyên của cán bộ khuyến nông tại khu vực không?

Anh chị đã gặp cán bộ khuyến nông chưa? Cán bộ khuyến nông đó nói gì về phương thức trồng lúa? Anh chị nghĩ gì về lời giải thích của người đó? Những lời giải thích đó có rõ ràng, hữu ích và thích hợp không ? Anh chị đã thử các cách trồng đó chưa? Nếu đã thử, anh chị nghĩ thế nào về các phương pháp đó? Nếu chưa thì tại sao? Anh chị dự định trồng lúa như thế nào trong các vụ tới?

Gợi ý khi sử dụng bảng câu hỏi và điều tra:

• Các bảng câu hỏi và điều tra có thể cung cấp những câu trả lời chính xác cho các câu hỏi. Độ khó dễ của việc phân tích các bảng câu hỏi và điều tra khác nhau tùy thuộc vào số câu hỏi và qui mô của mẫu. Thường thì các dự án làm cho mẫu quá lớn hỏi quá nhiều câu hỏi. Vì thế việc phân tích trở nên rất tẻ nhạt, tốn nhiều thời gian và làm mất tính hữu ích nếu không phân tích kịp thời để phục vụ cho việc ra quyết định. Những kỹ năng phỏng vấn tốt có vai trò rất quan trọng và có được thông qua đào tạo. Nếu hình thức được cấu trúc và quá cứng nhắc thì việc phỏng vấn có thể hạn chế tính mở. Bảng câu hỏi và điều tra quá dài thường gây nhàm chán đối với người trả lời.

• Kể cả các bảng câu hỏi và điều tra mà các câu trả lời phải nằm trong các lựa chọn nhất định hoặc mẫu biểu nhất định thì cũng không thể tránh được sự biến thiên của các câu trả lời. Vì thế, hãy lưu ý vì có thể bỏ sót những chi tiết quan trọng và tính đa dạng của các câu hỏi.

• Có thể sử dụng các bảng câu hỏi và điều tra cho từng cá nhân hoặc thậm chí cho các nhóm tình huống. Tuy nhiên, các câu hỏi cho nhóm tình huống có thể cần tập trung ít hơn vào các vấn đề cá nhân (ví dụ, biện pháp tránh thai hay vay nợ) và tập trung hơn vào các ý kiến tập thể (ví dụ, “Những điểm mạnh và yếu điểm của các loại giếng nước là gì?”). Các bản câu hỏi và điều tra theo nhóm hiệu quả nhất khi các thành viên quen với cách làm việc cùng nhau và có thể tin cậy lẫn nhau, cũng như với người phỏng vấn.

Page 19: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 18

7 Phân tích SWOT

Mục đích:

Để xác định các điểm mạnh, điểm yếu, cơ hội và nguy cơ liên quan tới một dự án hoặc một nhóm và đánh giá đó sẽ thay đổi như thế nào theo thời gian. Từ góc độ TD&ĐG, phương pháp này hữu ích khi đánh giá định tính, ví dụ , các dịch vụ mà dự án cung cấp, mối quan hệ giữa các bên liên quan và các tổ chức của các đối tác thực hiện, các nhóm địa phương và bản thân nhóm dự án

Tiến hành phân tích SWOT như thế nào: • Nhóm xác định, thảo luận và ghi chép càng nhiều yếu tố càng tốt cho từng đầu mục

[Xem Bảng 6]. Xin nhấn mạnh rằng các điểm mạnh và điểm yếu là nói tới các khía cạnh nội bộ của nhóm, địa điểm của dự án hoặc hoạt động. Cơ hội và nguy cơ có thể nhìn nhận dưới góc độ các yếu tố nội bộ có ảnh hưởng tới các cơ hội và nguy cơ này.

Bảng 6 Điểm mạnh, Điểm yếu, Cơ hội và Nguy cơ là gì?

Điểm mạnh Những yếu tố hoạt động tốt trong một dự án hoặc một tình huống. Những khía cạnh mà người ta tự hào khi nói về chúng.

Điểm yếu Những yếu tố hoạt động không tốt. Cơ hội Những ý tưởng phát huy điểm mạnh và khắc phục điểm yếu Nguy cơ Những yếu tố hạn chế hoặc đe doạ các cơ hội thay đổi.

• Một cách khác là, các tiểu nhóm khác nhau, ví dụ trong một hội thảo hoặc một cộng đồng, có thể tự tiến hành một phân tích SWOT. So sánh các SWOT khác nhau có thể dẫn tới một cuộc thảo luận hiệu quả về những điểm tương đồng và khác biệt trong kinh nghiệm và khả năng

• Dựa trên tổng quan này, thảo luận những hoạt động cần thiết [Xem Bảng 7]

Gợi ý khi sử dụng phân tích SWOT:

• SWOT là một phương pháp linh hoạt và có khả năng áp dụng, cho phép ghi chép các cảm nhận khác nhau, hướng sự chú ý của những người tham gia tới hoạt động phối hợp.

• Phương pháp này hữu ích trong việc khuyến khích sự tham gia đóng góp từ rất nhiều người, giúp họ suy nghĩ về các giải pháp cũng như các hạn chế tiềm năng, ví dụ như 4 phần trong quá trình lập kế hoạch chiến lược. SWOT có thể chỉ các sai lầm trước đây và biến chúng thành những quy trình có tính xây dựng. SWOT có thể giúp cho những vấn đề phức tạp trở nên dễ dàng hơn để tháo gỡ trong một khoảng thời gian ngắn nhất có thể. Đây là điểm khởi đầu rất hữu ích cho việc đánh giá nhóm

• Phân tích SWOT có thể được thực hiện như một kiểu động não trong một nhóm công tác nhỏ hoặc một hội thảo hoặc có thể được thực hiện giống như một phân tích và tổng hợp các thông tin khác.

Page 20: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 19

Bảng 7 Ví dụ phân tích SWOT cho một dự án tái trồng rừng đước

Điểm mạnh - Chúng ta có một đội thanh niên sẵn sãng

làm công tác tái trồng rừng - Rico có rất nhiều đoạn tre có thể dùng làm

cọc

Điểm yếu - Chúng ta không biết trồng cây như thế

nào. - Chúng ta không có nguồn tài chính cho dự

án. - Hầu hết các thành viên của cộng động

quan tâm nhiều hơn đến các hoạt động của riêng họ.

Cơ hội - Chúng ta không cần mua cây giống vì

chúng ta có thể đi thu lượm chúng mà không mất tiền.

- Chúng ta có ao cá bỏ không mà chúng ta có thể dùng cho dự án.

- Ngài thị trưởng mới được bầu ủng hộ các dự án về môi trường

- Trường đại học có người biết về tái trồng rừng đước

- Một tổ chức phi chính phủ cung cấp hỗ trợ sinh kế cho khu vực

Nguy cơ - Những người quản lý ao cá muốn chặt

thêm đước. - Một số thành viên thuộc cộng đồng muốn

chặt thêm đước.

Danh mục các hành động - Liên lạc với trường đại học để yêu cầu hỗ trợ về đào tạo và giáo dục môi trường. - Thảo luận các vấn đề về người chủ ao cá với ngài thị trưởng. - Tổ chức một cuộc họp với đội thanh niên và các thành viên khác của cộng đồng. - Thiết kế một kế hoạch khuyến khích cho những người tham gia trồng và chăm sóc rừng. - Liên hệ với các tổ chức phi chính phủ để tìm kiếm hỗ trợ về chương trình tạo sinh kế.

Page 21: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 20

8 Nghiên cứu tình huống

Mục đích:

Để dẫn chứng bằng tài liệu về cuộc sống hoặc chuỗi sự kiện theo thời gian có liên quan tới 1 người, một địa điểm, một hộ gia đình hoặc một tổ chức nhằm có được sự hiểu biết sâu sắc về tác động của dự án – ví dụ, người ta đối phó với sự thay đổi như thế nào và tại sao sự thay đổi xảy ra theo những cách cụ thể - và để học hỏi kinh nghiệm của mọi người, những ước mơ và những trở ngại với việc lập kế hoạch cho tương lai.

Từ góc độ TD&ĐG, nghiên cứu tình huống làm cho dữ liệu trở nên sống động với sự có mặt của con người và các nghiên cứu đó cho phép hiểu sâu hơn bối cảnh và những yếu tố con người đằng sau những dữ liệu chung hoặc tóm tắt được thu thập bằng các phương pháp khác.

Tiến hành nghiên cứu tình huống như thế nào:

• Xác định mục đích và những nhu cầu thông tin chính xác của nghiên cứu tình huống.

• Quyết định cách lựa chọn các cá nhân, hộ gia đình hoặc các tổ chức sẽ tiến hành nghiên cứu tình huống. Những phương pháp khác có thể hỗ trợ, ví dụ việc lập bản đồ xã hội để tìm một nhóm thích hợp các hộ dân tham gia nghiên cứu tình huống.

• Quyết định cách lấy thông tin. Nếu đang tiến hành một nghiên cứu tình huống về hộ gia đình, có thế phỏng vấn một số thành viên gia đình và sau đó hình thành một nghiên cứu về những gì họ trả lời, trong đó nêu bật những điểm tương đồng và khác biệt. Nếu muốn viết một nghiên cứu tình huống về một tổ chức nào, suy nghĩ xem cần phỏng vấn ai để thu được một tổng quan tốt. Nếu đang tiến hành nghiên cứu tình huống về một địa phương, có thể không chỉ cần phỏng vấn mọi người mà cũng cần phải thu thập những thông tin bổ sung về sinh học.

• Xây dựng danh sách các câu hỏi sẽ hướng dẫn việc thu thập thông tin. Nghiên cứu tình huống liên quan một bản kê khai những quan sát và những câu trả lời. Cần phải chú ý lựa chọn người phỏng vấn/ghi chép giỏi, người đó có thể là ở bên ngoài hoặc thuộc cộng đồng đó. Trong các quá trình có sự tham gia nhiều hơn, việc nghiên cứu được tiến hành bởi (một nhóm) các cá nhân về chính họ hoặc về người kia, và có thể với một nhóm đối chứng để so sánh.

• Nhắc lại những trao đổi với tần số vừa phải để có một bức tranh cập nhật về những điều kiện đang thay đổi. Tần suất sẽ phụ thuộc vào tốc độ thay đổi của các vấn đề quan tâm. Lĩnh vực có sự thay đổi nhanh nhất có thể cần theo sát thường xuyên hơn những vấn đề có tốc độ thay đổi chậm.

Page 22: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 21

Gợi ý khi sử dụng nghiên cứu tình huống

• Ưu thế của phương pháp này là thu được nhiều chi tiết về một chủ đề cụ thể. Nhu cầu về một nghiên cứu tình huống trọng tâm có thể nảy sinh từ một cuộc điều tra chung trong đó có một vấn đề đặc biệt nổi cộm cần phải nghiên cứu sâu hơn nữa. Nghiên cứu tình huống có thể cung cấp một viến cảnh thú vị chỉ có thể thu được qua một cái nhìn gần hơn đối với tình huống tổng thể (hoặc chuyện đời của một người, một hộ gia đình…).

• Các nghiên cứu tình huống có thể cung cấp nền tảng và ngữ cảnh con người quan trọng cho dữ liệu thu được từ những phương pháp khác. Một phân tích nghiên cứu tình huống chéo có thể có giá trị rất cao, đặc biệt nếu nó liên quan tới những câu hỏi chính sách rộng hơn về các lợi ích quan trong. Một nghiên cứu tình huống đặc biệt hữu ích trong những tình huống phức tạp, nơi có rất nhiều biến số tương quan với nhau và nơi mà những kết quả và tác động có khả năng khác nhau với những tổng thể khác nhau.

• Tuy nhiên, nghiên cứu tình huống thường không mang tính đại diện. Vì lý do này mà việc sử dụng các nghiên cứu tình huống kết hợp với các phương pháp liên quan đến những mẫu lớn hơn như điều tra và lấy bảng câu hỏi sẽ tốt hơn.

• Một biến cách của phương pháp này là sử dụng hình thức truyền thống của kể chuyện như một cách giải trí để hiểu cách mọi người đối phó với những vấn đề hoặc khủng hoảng. Một phần quan trọng trong cuộc sống làng quê là việc trao đổi những ý tưởng và các giá trị cộng đồng. Tuy nhiên, vì một câu chuyện thường là truyện ngụ ngôn (ẩn dụ) và dưới dạng mở nên cần phải suy nghĩ cẩn thận để câu chuyện trở nên hữu ích. Cũng như những phương pháp khác, thông tin phải được ghi lại một cách cẩn thận.

Page 23: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 22

Bảng 8 Ví dụ mẫu nghiên cứu tình huống

Mẫu báo cáo đơn giản dưới đây được khuyến nghị để ghi chép lại các nghiên cứu tình huống

Đề mục Mô tả

Tiêu đề Một tiêu đề đơn giản mô tả chủ đề - ví dụ, NGHIÊN CỨU TÌNH HUỐNG - Sự tham gia của phụ nữ

Địa điểm Mô tả đơn giản về xã, huyện, tỉnh, dự án…

Thông tin cơ sở Mô tả tóm tắt thông tin cơ sở về (các) nhóm chủ đề và sự tham gia của họ vào dự án. Mô tả mục đích của nghiên cứu tình huống, lý do tiến hành, và mối liên hệ của nghiên cứu này với chiến lược và những kết quả mong đợi của dự án. Nếu có thể, hãy đưa ra câu hỏi thực hiện phù hợp và các chỉ số thực hiện .

Mô tả Mô tả thông tin thu được trong giai đoạn thực hiện nghiên cứu tình huống, và đưa ra những phân tích. Khi kỹ thuật kể chuyện được sử dụng, viêt một bản tóm lược lô-gíc và súc tích về câu chuyện. Tránh sử dụng tên riêng. Nếu tên người có thể cải thiện câu chuyện, hãy xem xét việc sử dụng bút danh (biệt hiệu).

Bài học kinh nghiệm Tóm tắt ngắn gọn những điểm chính xuất hiện từ thông tin về nghiên cứu tình huống, và nếu thích hợp, bất kỳ hoạt động nào cần được tiến hành..

Những từ then chốt Phân bổ các từ then chốt (tối đa là 2) cho phép nghiên cứu tình huống kết nối với dữ liệu hiện có trong hệ thống thông tin.

Page 24: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 23

9 Mô hình Kirkpatrick đánh giá đào tạo

Năm 1975, Donald Kirkpatrick đã giới thiệu mô hình đánh giá 4 cấp và mô hình đó đã trở thành phương pháp kinh điển trong đánh giá đào tạo và tăng cường năng lực. Có 4 cấp:

• Cấp một: Phản ứng

• Cấp hai : Học tập

• Cấp ba : Hành vi

• Cấp bốn: Kết quả

Những cấp này có thể được áp dụng vào đào tạo gắn với công nghệ cũng như vào những mô hình đào tạo truyền thống hơn. Tên gọi và những mô tả đã được điều chỉnh của các bước đánh giá tổng kết này theo quy trình sau:

Cấp một: Phản ứng của học viên

Trong cấp hoặc bước đầu tiên này, các học viên được yêu cầu đánh giá đào tạo sau khi kết thúc khoá học. Những tờ đánh giá này đôi khi được gọi là những trang giấy mỉm cười hoặc niềm vui vì trong mẫu đơn giản nhất, những trang giấy này đo lường được mức độ thích thú của các học viên đối với đào tạo. Tuy nhiên, kiểu đánh giá này có thể hé mở những dữ liệu có giá trị nếu những câu hỏi phức tạp hơn được đưa ra. Ví dụ, một điều tra tương tự như điều tra sử dụng trong đánh giá xây dựng cũng có thể được sử dụng cho toàn bộ học viên. Bảng câu hỏi này vượt ra khỏi phạm vi tìm hiểu mức độ thích thú của các học viên đối với đào tạo mà chuyển sang các câu hỏi về:

• Tính phù hợp của các mục tiêu.

• Khả năng duy trì sự quan tâm của khoá học.

• Số lượng và sự thích hợp của các bài tập trao đổi tích cực

• Dễ xem .

• Giá trị được cảm nhận và khả năng chuyển giao kiến thức đã học tại nơi làm việc.

Đối với đào tạo gắn với công nghệ, điều tra có thể được giao và hoàn thành ngay, và sau đó được in ra hoặc e-mail tới người quản lý đào tạo. Vì quản lý loại đánh giá này rất dễ và chi phí thấp nên nó thường được thực hiện ở hầu hết các tổ chức.

Cấp hai: Kết quả học tập

Cấp hai trong mô hình Kirkpatrick là đo lường kết quả học tập. Nói một cách khác, các học viên đã thực sự học được kiến thức, kỹ năng và thái độ mà chương trình nhằm tới? Để thể hiện kết quả đạt được, yêu cầu các học viên làm bài kiểm tra trước và sau khi đào tạo, đảm bảo rằng các mục trong bài kiểm tra hoặc các câu hỏi phải thực sự hướng vào các mục đích học tập. Bằng việc tổng hợp điểm của tất cả các học viên, giáo viên đào tạo có thể thấy chính xác tác động do đào tạo mang lại. Kiểu đánh giá này không được tiến hành rộng rãi như Cấp một, nhưng vẫn rất phổ biến.

Cấp ba: Hành vi tại nơi làm việc

Các học viên thường đạt điểm cao trong các bài kiểm tra sau đào tạo, tuy nhiên câu hỏi thực tế đặt ra là liệu có chút kiến thức và kỹ năng mới nào còn đọng lại và được chuyển giao vào trong công việc hay không. Các đánh giá ở Cấp ba cố gắng trả lời liệu hành vi của các học viên có thực sự thay đổi nhờ kết quả của việc học tập hay không.

Page 25: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 24

Việc đo lường này được tiến hành lý tưởng trong vòng 3 tới 6 tháng sau chương trình đào tạo. Bằng việc cho phép một quãng thời gian trôi qua, các học viên có cơ hội áp dụng kỹ năng mới và mức độ ghi nhớ có thể được kiểm tra. Điều tra quan sát, đôi khi được gọi là các thẻ điểm về hành vi. Các điều tra này có thể được hoàn thành bởi học viên, người hướng dẫn học viên, những cá nhân trực tiếp nằm dưới quyền học viên, và thậm chí cả những khách hàng của học viên. Ví dụ, các câu hỏi điều tra đánh giá một chương trình đào tạo về bán hàng có thể bao gồm:

• Người đại diện bán hàng có bắt đầu cuộc nói chuyện với từng khách hàng bằng một lời phát biểu về lợi ích của sản phẩm, tiếp đó là yêu cầu tiến hành thực hiện?

• Người đại diện bán hàng có khả năng phân tích và mô tả các kiểu phản đối của khách hàng xem sự phản đối đó là đúng đắn hay do thông tin sai lệch, hoặc khách hàng cố tình phản ứng mà không có lý do rõ ràng?

• Người đại diện bán hàng có sử dụng câu trả lời mẫu phù hợp để đáp lại từng ý kiến phản đối không?

• Người đại diện bán hàng có kết thúc mỗi cuộc gọi bán hàng với kết quả là nhận được lời đề nghị mua hàng không?

• Nếu khách hàng tiềm năng không mua gì cả, người đại diện bán hàng có kết thúc cuộc gọi với một kế hoạch hành động cụ thể cho thời gian tới không?

• Người đại diện bán hàng có hoàn thiện hồ sơ lưu các cuộc gọi trong đó tổng hợp các thông tin về người được gọi, nội dung, địa điểm, thời gian và lý do gọi?

Cấp bốn: Kết quả kinh doanh

Cấp bốn trong mô hình này là đánh giá tác động của đào tạo lên kết quả kinh doanh. Phương pháp khoa học duy nhất để tách đào tạo thành một biến số là tách ra một nhóm đại diện trong số học viên, và sau đó triển khai mở rộng chương trình đào tạo cho số còn lại, hoàn thành đánh giá, và đối chiếu đánh giá kết quả kinh doanh của nhóm không được đào tạo với nhóm được đào tạo. Tiếc là phương pháp này ít khi được thực hiện vì những khó khăn trong việc thu thập dữ liệu kinh doanh và sự phức tạp của việc cô lập đào tạo thành một biến số riêng. Tuy nhiên, ngay cả các dữ liệu vụn vặt cũng đáng để thu thập. Dưới đây là một số chương trình đào tạo mẫu và loại dữ liệu về tác động của đào tạo lên kết quả kinh doanh có thể đo lường.

• Đào tạo bán hàng. Đo lường sự thay đổi trong khối lượng bán, mức độ giữ khách, độ dài của chu kỳ bán hàng, khả năng sinh lời đối với mỗi thương vụ sau khi tiến hành đào tạo.

• Đào tạo kỹ thuật. Đo lường mức giảm trong số cuộc gọi tới bộ phận hỗ trợ, lượng thời gian được rút ngắn để hoàn thành các báo cáo, mẫu biểu, hoặc nhiệm vụ; hay cải thiện sử dụng chương trình phần mềm hoặc hệ thống.

• Đào tạo chất lượng. Đo lường mức giảm số khiếm khuyết.

• Đào tạo an toàn lao động. Đo lường mức giảm số tai nạn hoặc mức giảm độ nghiêm trọng của các tai nạn

• Đào tạo Quản lý. Đo lường sự tăng lên trong mức độ trao đổi giao tiếp giữa lãnh đạo và những người trực tiếp dưới quyền

Page 26: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 25

Page 27: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 26

10 Đo lường mức độ đạt mục tiêu

Nền tảng:

• Đo lường mức độ đạt được mục tiêu (viết tắt là GAS) là phương pháp thu thập dữ liệu được sử dụng để hỗ trợ công tác theo dõi và đánh giá. Bản thân GAS không phải là một đánh giá mà là dữ liệu đo được bằng GAS, và những thay đổi trong điểm số GAS qua thời gian là những chỉ số theo dõi hiệu quả và có thể đánh giá được. Sử dụng phương pháp này vừa dễ lại vừa rẻ và có khả năng phát triển và thực hiện một cách nhanh chóng để thu thập dữ liệu về một loạt cấp độ mục đích và mục tiêu mà bạn có thể đang cố gắng đạt được cho một dự án.

• Dữ liệu định tính (dựa trên nhận thức của bên liên quan, nhận xét, quan sát hành vi) và dữ liệu định lượng (đầu ra thực tế, đầu vào hữu hình) đều có thể được thu thập bằng công cụ này. GAS thường được sử dụng trong đánh giá mục tiêu chương trình sức khỏe, và đã được sử dụng rộng rãi trong đánh giá sự phục hồi của các đường địa chấn ở Ôxtrâylia. Nền tảng của GAS là dựa trên ý tưởng là bạn cần nhận thức hơn nữa về đích mà bạn muốn đi tới trước khi bạn đến được đó. Vì lý do này mà GAS đặc biệt phù hợp với công tác đánh giá đầu tư kiểu định tính như nhận thức của cộng đồng về rủi ro thảm họa thiên nhiên, tinh thần sẵn sàng chuẩn bị của cộng đồng để đối phó với những thảm họa tự nhiên và khả năng hồi phục của họ từ những thảm họa đó

• GAS sử dụng một khung ma trận để so sánh ‘cấp kết quả’ (các thành viên tham gia cảm nhận như thế nào về kết quả) với các mục tiêu và kết quả dự án mà việc triển khai thực hiện đang nỗ lực để đạt được. Thuật ngữ mục tiêu và kết quả được sử dụng để tập trung vào khung lô-gíc dự án, trong đó xác định rõ mối quan hệ giữa đầu vào, đầu ra, kết quả và mục tiêu.

• Nhóm dự án và/hoặc các thành viên tham gia cần mô tả kết quả đầu ra mong đợi là gì cho từng hợp phần TRƯỚC KHI bắt đầu thực hiện. Phần lớn điều này ẩn chứa trong khung lô-gíc và phương pháp luận, nhưng có thể được cụ thể hoá đối với các kết quả định tính như nhận thức về rủi ro, tinh thần chuẩn bị để đối phó với thảm hoạ và khả năng phục hồi sau thảm hoạ..

• Các cấp kết quả khác nhau được sử dụng cho GAS có thể chỉ đơn giản là: ‘mong đợi it nhất’ ‘như mong đợi’ ‘khả thi nhất’ hoặc nó có thể được phân tách nhỏ hơn nữa để đưa ra thêm ‘các mức độ thành công của kết quả’ như: kém nhất, kém hơn mức mong đợi, như mong đợi, tốt hơn mức mong đợi và tốt nhất. • Ưu điểm thực tế của GAS là nó làm cho phép các thành viên tham gia có thể dự đoán

tốt nhất những gì dự kiến là có thể nhận thức được, thay vì những gì có tính chất ẩn tàng (vì những mong đợi ngầm của ngày hôm nay sẽ thay đổi theo thời gian ngay cả khi họ có thể không nhận thức được điều đó). GAS cũng làm cho các thành viên tham gia phải suy nghĩ: “Tôi thực sự mong đợi đạt được những gì từ việc tham gia vào hoạt động hoặc dự án này?”

• Công cụ GAS đơn giản được đề xuất phải tương tự như ví dụ trong Bảng 9. Các chỉ số về nhận thức được xây dựng để hướng những nhận thức của thành viên tham gia

Page 28: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 27

về các hợp phần dự án nơi mà sự tham gia của các ên liên quan giữ vai trò quan trọng .

• Bạn đã thấy rằng với công cụ này thì ngay cả khi những người khác nhau sử dụng cũng đều thu được kết quả giống nhau.

Xây dựng ma trận GAS như thế nào:

• Bước 1 Lập danh mục các kết quả mà dự án dự kiến sẽ đạt được (như đã nêu trong khung lô-gíc của hợp phần). Ví dụ, đối với dự án giảm thiểu thảm hoạ tự nhiên có thể có 3 kết quả là: nhận thức của các thành viên tham gia về rủi ro, tinh thần chuẩn bị sẵn sàng của họ để đối phó với những thảm hoạ và khả năng phục hồi của họ sau khi xảy ra các thảm hoạ

• Bước 2 Xác định mức độ “mong đợi” đối với kết quả là gì. Tự hỏi ‘chúng ta

mong chờ kết quả gì’? Điểm này cần được xây dựng với các đối tác nếu có sẵn nguồn lực và thời gian. Việc bắt đầu với một nhận xét có nghĩa về kết quả ‘mong đợi’ là điều hết sức quan trọng. Đối với một số kết quả, các tiêu chuẩn bằng ảnh có thể được sử dụng để thể hiện mức độ thành công mong đợi tại thời điểm nào đó (ví dụ, một thuyền đánh cá với những trang thiết bị an toàn cần thiết) .

Bảng 9 Biểu ma trận GAS

Ví dụ - Dự án Giảm thiểu Thảm hoạ Thiên nhiên

Mục tiêu Các biện pháp thích hợp được chuẩn bị để giảm thiểu tác động của các thảm

hoạ thiên nhiên ở các tỉnh miền Trung của Việt Nam phù hợp với các mục

tiêu của Quan hệ đối tác về Giảm thiểu Thảm hoạ.

Điểm (đánh dấu vào ô mô tả đúng nhất những

cảm nhận của bạn tại thời điểm này)

[Mô tả kết quả tốt nhất có thể] [Mô tả kết quả đạt được trên mức mong đợi]

[Mô tả kết quả đạt được ở mức mong đợi]

[Mô tả kết quả đạt được dưới mức mong đợi]

[Mô tả kết quả đạt được ở mức kém nhất]

Nơi ở: _________ Giới tính: ___________ Ngày: _______

Page 29: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 28

• Bước 3 Quyết định kết quả ‘tốt nhất có thể’ là gì đối với cùng kết quả - ghi điều này vào. Có thể viết ‘như sau và thêm…’ và chỉ cần bổ sung một số nhận xét. Đối với kết quả về môi trường, các tiêu chuẩn dạng ảnh có thể được sử dụng để thể hiện những cấp độ thành công trên và dưới mong đợi tại một điểm nhất định (ví dụ, một thuyền đánh cá được trang bị rất tốt hoặc một thuyền đánh cá không có trang thiết bị an toàn).

• Bước 4 Lặp lại qui trình đối với kết quả “kém nhấti” cho cùng kết quả. Sau đó, cố gắng điền tất cả những ô còn lại của ma trận. Cũng có thể để trống một số ô nếu không đưa ra được sự mô tả có nghĩa nào..

Phân tích và trình bày các kết quả GAS:

Tần suất của các điểm số cũng có thể được sử dụng để xác định xu hướng, và khác biệt giữa các ên liên quan hoặc những nhóm giới tính khác nhau – như trong Bảng 10. Trong ví dụ lấy từ Dự án Phát triển Nông thôn Quảng Ngãi (QNRDP), những kết quả cho thấy phần lớn các thành viên tham gia nhận thức rằng họ đã quản lý một chu trình thường niên của những hoạt động nhằm cải thiện cuộc sống của họ nhưng họ lại làm điều đó một cách đơn lẻ. Một số ít nam giới nhận thức rằng họ quản lý một chu trình thường niên của những hoạt động để cải thiện cuộc sống của họ và quản lý nguốn tài nguyên thiên nhiên của cộng đồng. Vì đây là một cuộc điều tra cơ sở nên nó cho thấy rằng phần lớn các thành viên tham gia có thể hưởng lợi từ các hoạt động của dự án này - một đo lường tiếp theo về chỉ số này trong một khoảng thời gian từ 18 đến 24 tháng dự kiến sẽ cho thấy sự chuyển biến trong nhận thức hướng tới kết quả mong đợi về sự bền vững.

Bảng 10 Ví dụ về đầu ra của phân tích GAS

GAS cơ sở của Xã Tinh ThoTháng 2/2003 (Sự bền vững)

0%

10%

20%

30%

40%

50%

60%

70%

80%

Kém hơnmong đợi

Như mongđợi

Tốt hơnmong đợi

NamNữ

Phân tích thống kê và diễn giải kết quả của GAS cung cấp nền tảng cho công tác đánh giá tình hình thực hiện đầu tư và so sánh các kết quả theo thời gian.

Page 30: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 29

11 Khung lôgíc Khung Lô-gíc (logframe) mô tả tóm tắt thiết kế dự án và không dài quá 4 trang. Khung Lô-gíc được sử dụng như một công cụ lập kế hoạch, thực hiện, và theo dõi & đánh giá các hoạt động. Khung lô-gíc có 4 cột và 6 dòng. Lôgic chiều dọc xác định các dự án định làm (tóm lược), làm rõ các mối quan hệ nhân quả, cụ thể hóa các giả định quan trọng và những điểm không chắc chắn ngoài tầm kiểm soát của người quản lý dự án. Lôgic chiều ngang chỉ ra cách đo lường các mục tiêu cụ thể của dự án đề cập trong tóm lược (các chỉ số kiểm chứng), và các phương tiện để kiểm chứng những đo lường này. Đây là khung theo dõi và đánh giá. Do việc thực hiện trong thực tế thường có thay đổi so với thiết kế ban đầu nên khung lô-gíc đánh giá được xây dựng trước khi thực hiện đánh giá. Công cụ mẫu kèm theo tài liệu này giúp xây dựng một khung lô-gíc đánh giá.

Bảng 11 Ví dụ khung lôgíc của một dự án

Tóm lược Chỉ số kiểm chứng Phương tiện kiểm chứng Giả định

Mục

tiêu

• Tăng thu nhập của sinh viên (SV) tốt nghiệp

• Lao động có tay nghề thu hút đầu tư trực tiếp nước ngoài

• Xu hướng thu nhập của sinh viên tốt nghiệp

• Xu hướng đầu tư trực tiếp nước ngoài trong các ngành tuyển dụng sinh viên tốt nghiệp

• Điều tra sinh viên tốt nghiệp hàng năm

• Số liệu thống kê của Chính phủ

• Số liệu thống kê của Chính phủ

Mục

đíc

h • Giảm nghèo

• Lao động có tay nghề đóng góp vào tăng trưởng kinh tế

• Xu hướng thu nhập của sinh viên tốt nghiệp

• Thay đổi GDP hàng năm

• Điều tra sinh viên tốt nghiệp hàng năm

• Số liệu thống kê của Chính phủ

• Đóng góp của ngành vào tăng trưởng

• Các kỹ năng của sinh viên tốt nghiệp được thừa nhận trên thị trường

Kết

quả

• Thái độ thay đổi • Cách tiếp cận giảng

dạy mới • Các kỹ năng giảng

dạy được nâng cao • Thêm việc làm mới

cho sinh viên tốt nghiệp

• Xu hướng thái độ của giáo viên

• Xu hướng tỷ lệ SV tốt nghiệp có việc làm

• Xu hướng kỹ năng của giáo viên

• Sự hài lòng của người tuyển dụng với SV tốt nghiệp

• Điều tra giáo viên hàng năm

• Điều tra sinh viên tốt nghiệp hàng năm

• Đánh giá kỹ năng giáo viên hàng năm

• Điều tra chủ lao động hàng năm

• Đóng góp của ngành vào tăng trưởng

• Năng lực phù hợp với chủ lao động và đầu tư nước ngoài

• Các kỹ năng của sinh viên tốt nghiệp được thừa nhận trên thị trường

Đầu

ra

• Giáo viên được đào tạo

• Hoạt động giảng dạy của giáo viên

• Các lớp học • Sinh viên tốt nghiệp

có năng lực

• Số giáo viên đáp ứng tiêu chuẩn về năng lực

• Số giờ giảng dạy • Số lớp học • Số sinh viên tốt

nghiệp đáp ứng tiêu chuẩn về năng lực

• Điều tra giáo viên hàng năm

• Hồ sơ lưu trữ của các trường tham gia

• Hồ sơ lưu trữ của các trường tham gia

• Kết quả thi

• Bộ GD&ĐT khuyến khích giáo viên thay đổi thái độ

• Trang thiết bị lớp học hỗ trợ giáo viên giảng dạy

• Sinh viên có động cơ học tập

Page 31: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 30

Tóm lược Chỉ số kiểm chứng Phương tiện kiểm chứng Giả định

Hoạ

t độn

g • Đào tạo giáo viên • Phân phát tài liệu • Tư vấn • Kiểm tra năng lực

• Số lượng hoạt động đào tạo cho giáo viên

• Số lượng và địa điểm phân phát tài liệu

• Số lượng các bài kiểm tra năng lực được xây dựng

• Báo cáo tiến độ dự án

• Báo cáo tiến độ dự án

• Hệ thống thông tin quản lý dự án

• Đào tạo hiệu quả • Tài liệu được chuyển

kịp thời • Năng lực chuyên môn

phù hợp với nhu cầu của chủ lao động

Đầu

vào

• Tài chính • Nhân lực • Tài liệu, thiết bị

giảng dạy • Các tiêu chuẩn về

năng lực

• Giải ngân quý • Tham gia của nhân

viên trong quý • Số lượng tài liệu

ggiảng dạy được chuẩn bị để phân phát

• Số lượng các tiêu chuẩn về năng lực được chuẩn bị

• Hệ thống thông tin quản lý dự án

• Hệ thống thông tin quản lý dự án

• Báo cáo tiến độ dự án

• Báo cáo tiến độ dự án

• Dự án tiếp tục • Ngân sách Chính phủ được giải ngân đúng tiến độ

• Giáo viên có thể tham gia

Khung lô-gíc được xây dựng trong giai đoạn thiết kế dự án là việc làm rất đúng lúc. Khung này sẽ phải được cập nhật thường xuyên khi bắt đầu triển khai thực hiện. Một mặt, việc cung cấp đủ chi tiết trong khung lô-gíc để có một kế hoạch hoạt động rõ ràng và hợp lý để thực hiện là rất quan trọng. Mặt khác, việc tránh đi vào mô tả quá nhiều và xây dựng một cấu trúc cứng nhắc có thể làm giảm sự cải tiến không ngừng cũng rất quan trọng.

Bảng 12 Định nghĩa các thuật ngữ trong khung lôgíc Mục tiêu Mô tả tại sao một chương trình, dự án ODA lại quan trọng đối với xã hội dưới góc độ lợi ích lâu dài

đối với đối tượng thụ hưởng cuối cùng cũng như lợi ích đối với các nhóm khác Mục đích Là mục tiêu trung tâm của dự án. Mục đích phải thể hiện được vấn đề cốt lõi và được xác định trên cơ

sở lợi ích bền vững cho các nhóm đối tượng Kết quả Những tác động ngắn hạn và trung hạn là kết quả của đầu ra của một hoạt động

Đầu ra Là các sản phẩm, tư liệu sản xuất và dịch vụ do một hoạt động phát triển tạo ra, có thể bao gồm cả những thay đổi do hoạt động có liên quan đến các kết quả thu được

Hoạt động Những công việc cụ thể được tiến hành để đạt được đầu ra mong độich một đầu tư ODA. Các hoạt động được thực hiện qua đó đầu vào được huy động để tạo ra sản phẩm nhất định.

Đầu vào Những nguồn tài lực, nhân lực và vật lực cần thiết để thực hiện các hoạt động theo kế hoạch nhằm tạo ra các đầu ra dự kiến

Tóm lược Mô tả ngắn gọn đầu vào, đầu ra, mục đích và mục tiêu

Chỉ số kiểm chứng

Là các nhân tố hay các biến định tính hoặc định lượng đóng vai trò là phương tiện đơn giản và tin cậy để đo lường các kết quả đạt được và phản ánh những thay đổi do một tác động đem lại hoặc giúp đánh giá thực hiện của một tác nhân phát triển.

Phương tiện kiểm chứng

Các nguồn dữ liệu và các công cụ, kỹ thuật thu thập được sử dụng để đo lường các chỉ số kiểm chứng khách quan được lựa chọn để phục vụ cho việc theo dõi và đánh giá dự án đầu tư ODA

Giả định Các yếu tố bên ngoài như các sự kiện, điều kiện hay các quyết định có thể ảnh hưởng đến tiến độ hoặc sự thành công của một chương trình, dự án ODA

Page 32: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 31

Lôgic Nếu – Thì Lôgic chiều dọc của khung lôgic được kết nối bằng các giả định, Như trong sơ đồ dưới đây, thứ tự vận hành như sau:

Nếu có hoạt động và những giả định liên quan thì sẽ có đầu ra Nếu có đầu ra và các giả định liên quan thì sẽ có kết quả

Nếu có kết quả và các giả định liên quan thì sẽ đạt được mục tiêu

Chuẩn bị khung lôgic như thế nào Để xây dựng Khung lôgic, bắt đầu với phần mô tả mục tiêu và dịch chuyển dọc theo cột tóm lược cho tới khi hoàn thành đầu vào. Sau đó bắt đầu ghi vào những giả định, bắt đầu từ góc phía dưới nơi dòng giả định kết nối với đầu vào hoạt động. Tiếp theo xác định các chỉ số kiểm chứng, bắt đầu từ mục tiêu rồi đi tiếp xuống và cuối cùng là đưa ra những phương tiện và nguồn kiểm chứng, bắt đầu từ đầu vào rồi đi lên. Khi hoàn thành một phần của khung lôgic, xem lại những gì đã được viết ra trong các phần trước đó để xem xét và thử nghiệm liệu lập luận có còn đúng không. Quy trình này thường sẽ đòi hỏi có sửa đổi những mô tả trước đó. Khung lôgic hỗ trợ đánh giá theo cách được mô tả dưới đây:

Page 33: Cam nang Phuong Phap Theo doi va Danh gia

Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Cẩm nang Theo dõi và Đánh giá – Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam 32

Tóm lược Giả định quan trọng

Phương tiện kiểm chứng Chỉ số

kiểm chứng

Đầu ra

Kết quả

Mục tiêu tổng thể

Hoạt động

Đầu vào

Tên dự án:

Địa điểm: Quyết định đầu tư số:

Cơ quan thực hiện và địa chỉ: Chủ dự án và địa chỉ:

Tóm tắt dự án và các mục tiêu: Kết quả dự kiếnĐầu ra dự kiếnHoạt độngĐầu vàoSứp xếp về mặt thể chế

Rủi ro khách quan (các giả định quan trọng)

Mục đích và kế hoạch đánh giá: BanđầuTheo dõiGiữa kỳKết thúcTác động

Các phát hiện đánh giá:Phù hợpHiệu suấtHiệu quảTác độngBền vữngBài học kinh nghiệm

Thời gian: Nhà tài trợ:

Yếu tố đanh giá và các công cụ: Chỉ sốĐo lường Biểu mẫuCông cụ

Khung lôgic dự án

Báo cáo đánh giá