Lý thuyết đo lường hiện đại IRT

TRƯỜNG ĐẠI HỌC NHA TRANG

KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO

THỰC TẬP CHUYÊN NGÀNH

Đề tài:

TÌM HIỂU LÝ THUYẾT ĐO LƯỜNG HIỆN ĐẠI IRT VÀ CHƯƠNG TRÌNH

MINH HỌA

Giáo viên hướng dẫn: Bùi Đức Dương

Sinh viên thực hiện: Lê Thị Chuyền

MSSV: 50130136

Lớp :50th2

Khoa : Công nghệ thông tin

Nha Trang tháng 12/2011

GVHD: Bùi Đức Dương

M c l cụ ụ

LỜI NÓI ĐẦU...............................................................................................................4

CHƯƠNG 1: MỞ ĐẦU.................................................................................................5

1.1 Cơ sở nghiên cứu và mục đích của đề tài.......................................................................5

1.2 Cấu trúc bài báo cáo.......................................................................................................5

CHƯƠNG 2: LÝ THUYẾT ĐO LƯỜNG TRONG GIÁO DỤC...............................6

2.1 Khái niệm về đo lường về đánh giá trong giáo dục.......................................................6

2.2 Lý thuyết đo lường trong giáo dục ................................................................................6

2.2.1 Lý thuyết đo lường cổ điển CTT (Classical Test Theory.......................................6

2.2.2 Lý thuyết đo lường hiện đại IRT............................................................................7

CHƯƠNG 3: HỆ THỐNG E-LEARNING CÁ NHÂN (PELS)...............................10

3.1 Kiến trúc hệ thống........................................................................................................10

3.2 Thành phần hệ thống....................................................................................................12

3.2.1 Thành phần giao diện............................................................................................12

3.2.2 Thành phần cá nhân..............................................................................................12

3.3 Đánh giá độ khó của câu hỏi trắc nghiệm khách quan.................................................13

3.3.1 Độ khó của CHTNKQ..........................................................................................13

3.3.2 Hiệu chỉnh độ khó của câu hỏi..............................................................................15

3.4 Đánh giá năng lực người học.......................................................................................15

3.5 Giới thiệu bài học.........................................................................................................16

CHƯƠNG 4: XÂY DỰNG NGÂN HÀNG CÂU HỎI VỚI GOOGLE DOCS.......17

4.1 Giới thiệu về google docs.............................................................................................17

4.2 Cách tạo câu hỏi với google docs.................................................................................17

CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM...............................................................24

5.1 Môi trường cài đặt........................................................................................................24

2

SVTH: Lê Thị Chuyền 50th2

GVHD: Bùi Đức Dương5.2 Tạo câu hỏi trắc nghiệm tin học văn phòng với google docs.......................................25

5.3 Cài đặt một số thuật toán..............................................................................................27

5.3.1 Thuật toán MLE....................................................................................................27

5.3.2 Thuật toán ước lượng năng lực thí sinh bằng phương pháp lặp...........................30

KẾT LUẬN....................................................................................................................33

3



LỜI NÓI ĐẦU

Một trong những mục tiêu của công cuộc giáo dục nước ta là đổi mới chất lượng giáo

dục nhằm nâng cao chất lượng giáo dục .Vai trò của việc kiểm tra đánh giá trong tiến

trình nâng cao đổi mới giáo dục nhằm nâng cao chất lượng đào tạo đã được khẳng định

như một chiến lược ,một chính sách giáo dục quốc gia.

Thực tiễn công tác kiểm tra ,đánh giá ở các trường học chi chú trọng kiến thức ghi nhớ

hơn là rèn kỹ năng và năng lực học sinh. Công tác kiểm tra ,đánh giá chịu sức ép của thi

cử ,bệnh thành tích .Các kết quả kiểm tra thường để xếp loại học sinh hơn là tìm ra điểm

yếu mạnh của học sinh để giúp học sinh tiến bộ và định hướng cho giáo viên trong việc

cải tiến phương pháp giảng dạy.

Đánh giá trong giáo dục là công cụ để xác định năng lực nhận thức người học ,điều

chỉnh quá trình dạy học.Đổi mới phương pháp dạy học được chú trọng để đáp ứng những

yêu cầu mới của mục tiêu giáo dục nên việc kiểm tra,đánh giá phải chuyển biến theo

hướng phát triển trí thông minh, sáng tạo của học sinh , khuyến khích vận dụng linh hoạt

các kiến thức , kỹ năng đã học vào những tình huống thực tế, làm bộc lộ khả năng của học

sinh. Đánh giá không chỉ thực hiện thời điểm cuối cùng của mỗi giai đoạn giáo dục mà

trong cả quá trình giáo dục .

Hướng tới yêu cầu kiểm tra đánh giá công bằng ,khách quan kết quả học tập của học

sinh , ngoài phương pháp đánh giá bằng quan sát và vấn đáp , trong phương pháp viết

người ta bổ sung các hình thức đánh giá khác như đưa thêm các dạng câu hỏi trắc nghiệm

khách quan, chú ý hơn tới việc đánh giá cả quá trình lĩnh hội tri thức của học sinh , quan

tâm tới việc tích cực hóa hoạt động học tập .Trên cơ sở nắm chắc kiến thức đo lường và

đánh giá trong giáo dục ,cần tiến hành xây dựng ngân hàng câu hỏi trăc nghiệm (gồm cả

câu hỏi TNKQ và TL ) chuẩn hóa cho từng môn học của mỗi cấp học hay bậc học . Sử

dụng ngân hàng này , học sinh có thể tự ôn tập kiểm tra kiến thức ,giáo viên có thể sử

dụng để kiểm tra đánh giá .

4


GVHD: Bùi Đức DươngXuất phát từ thực tế cấp thiết như vậy nên em đã chọn đề tài “Tìm hiểu lý thuyết đo

lường hiện đại IRT và cài đặt minh họa”. Mặc dù đã có nhiều cố gắng nhưng do những

lý do khách quan cũng như chủ quan nên trong quá trình thực hiện đồ án sẽ không tránh

khỏi những thiếu sót. Rất mong được sự đóng góp ý kiến của quý thầy cô và các bạn.

Cuối cùng em xin chân thành cảm ơn thầy Bùi Đức Dương đã giúp đỡ em trong thời

gian qua để em hoàn thành đồ án này. Cũng như các thầy cô trong khoa Công nghệ Thông

tin trường Đại học Nha Trang đã tạo điều kiện thuận lợi cho em trong thời gian làm đồ án.

CHƯƠNG 1: MỞ ĐẦU1.1 Cơ sở nghiên cứu và mục đích của đề tài

Lý thuyết đo lường hiện đại ra đời vào thập niên 1970 đã tỏ rõ nhiều ưu điểm nổi trội

so với các lý thuyết đo lường cổ điển trong việc áp dụng vào khoa học đo lường trong

giáo dục. Tuy nhiên, số lượng các nghiên cứu về IRT tại Việt Nam còn ít, chủ yếu là dừng

lại ở mức độ lý thuyết.

Việc ứng dụng lý thuyết đo lường hiện đại IRT vào khoa học đo lường trong giáo dục,

cụ thể là việc đánh giá bộ đề thi và xác định chính xác năng lực người học là việc làm cần

thiết và có nhiều ý nghĩa thực tiễn.

Đề tài này nghiên cứu tổng hợp lý thuyết đo lường hiện đại IRT và đề xuất hệ thống E-

Learning ước lượng năng lực người học và hỗ trợ việc học tập sử dụng thông tin phản hồi

từ người học và các câu hỏi trắc nghiệm thì được soạn google docs .

1.2 Cấu trúc bài báo cáo

Bài báo cáo được chia thành 4 chương:

Chương 1: Tóm tắt cơ sở nghiên cứu mục đích của đề tài và cấu trúc của bài báo cáo

Chương 2: Tổng quan về lý thuyết đo lường trong giáo dục.

Chương 3: Hệ thống E-learning cá nhân (PELS)

Chương 4: Xây dựng ngân hàng câu hỏi với google docs.

Chương 5: Kết quả thực nghiệm

Kết luận

5



CHƯƠNG 2: LÝ THUYẾT ĐO LƯỜNG TRONG GIÁO

DỤC

2.1 Khái niệm về đo lường về đánh giá trong giáo dục

Đánh giá là một khâu quan trọng trong quá trong quá trình giáo dục .Quá trình giáo dục

nào mà một con người tham gia cũng nhằm tạo ra những biến đổi nhất định trong con

người đó . Muốn biết những biến đổi đó xảy ra ở mức độ nào phải đánh giá hành vi của

người đó trong một tính huống nhất định . Sự đánh giá cho phép chúng ta xác định mục

tiêu giáo dục được đặt ra có phù hợp hay không và có đạt được hay không ,việc giảng dạy

có thành công hay không , người học có tiến bộ hay không .

Đo lường ((Measurement) là quá trình thu nhập thông tin một cách định lượng (số đo)

về các đại lượng đặc trưng của đào tạo năng lực (nhận thức, tư duy ,kỹ năng và phẩm chất

nhân văn ) trong quá trình giáo dục .

2.2 Lý thuyết đo lường trong giáo dục .

Khoa học đo lường trong giáo dục thật sự có thể xem như bắt đầu cách đây chỉ khoảng

một thế kỷ (Thorndike,1904). Ở châu Âu và đặc biệt là ở Mỹ, lĩnh vực khoa học này phát

triển mạnh vào thời kỳ từ trước và sau thế chiến thứ hai với vài dấu mốc quan trọng như

trắc nghiệm trí tuệ Stanford-Binet (xuất bản năm 1916), chấm trắc nghiệm bằng máy của

IBM năm 1935…

Tại Việt Nam trước năm 1975, ở miền Bắc, chỉ có một số nghiên cứu về đo lường

trong tâm lý, trong khi ở miền Nam có một vài chuyên gia được đào tạo ở Mỹ về lĩnh vực

này và kỳ thi tú tài năm 1974 đã triển khai bằng phương pháp trắc nghiệm khách quan.

Cho đến thập niên 1990, sự phát triển khoa học về đo lường trong giáo dục ở Việt Nam

vẫn rất yếu. Để khắc phục tình hình trên, Bộ GD-ĐT đã mời một số chuyên gia từ nước

ngoài sang tổ chức hội thảo, xuất bản sách, mặt khác cử một số giáo chức đại học đi học ở

nước ngoài về khoa học này, và cho đến nay đã có hàng chục đề tài thạc sỹ, tiến sỹ về lĩnh

vực liên quan.

2.2.1 Lý thuyết đo lường cổ điển CTT (Classical Test Theory)

6


GVHD: Bùi Đức DươngLý thuyết này dựa trên công thức cơ bản: X = T + E

Trong đó T (true score) là số đo năng lực thực sự của thí sinh trong kỹ năng đang được

đo lường, X (observed score) là điểm thực tế và E (error) là sai số.

Vì T không thể đo trực tiếp được nên T được giả định là trung bình của X. Chính giả

định này là một trong các điểm yếu của CTT vì X phụ thuộc vào câu hỏi nên trị trung

bình cũng thế trong khi T là số đo năng lực thật sự của thí sinh và phải độc lập với câu

hỏi.

2.2.2 Lý thuyết đo lường hiện đại IRT

Chỉ đến thập niên 1970 thì các mô hình đo lường dựa trên IRT mới ra đời .Nhờ các

phương pháp tính toán có tốc độ rất cao dựa vào máy tính ,IRT phát triển nhanh và thu

được nhiều thành tựu trong ba thập niên cuối thế kỷ 20 bước sang thế kỷ 21.

IRT xây dựng mô hình tính toán để xử lý dữ liệu dựa trên việc nghiên cứu mọi cặp

tương tác nguyên tố “Thí sinh- câu hỏi” (TS-CH) khi triển khai một TNKQ . Mỗi TS

đứng trước một CH sẽ đáp ứng như thế nào ,điều đó phụ thuộc vào năng lực tiềm ẩn của

TS và các đặc trưng của CH .

Hiện nay các 3 mô hình tính toán phổ biến trong IRT : mô hình 1 tham số (mô hình

Rasch) chỉ xét đến độ khó của CH, mô hình 2 tham số có xét đến độ phân biệt của CH, và

mô hình xét thêm mức độ đoán mò của TS khi trả lời CH.So với lý thuyết trắc nghiệm cổ

điển ,Lý thuyết trắc nghiệm hiện đại với IRT có những ưu quan trọng hơn.

Trong lý thuyết cổ điển độ khó ,độ phân biệt của CH tính được sẽ phụ thuộc vào mẫu

thí sinh được chọn để thử nghiệm , và năng lực xác định được của TS phụ thuộc vào đề

trắc nghiệm mà TS làm.

Công thức 1 diễn tả đường cong IRT với 3 tham sô:

Trong đó :

a, b, c tương ứng là độ phân biệt, độ khó và độ đoán mò của câu hỏi.

7


GVHD: Bùi Đức Dương, P() tương ứng là năng lực và xác suất trả lời đúng câu hỏi của thí sinh

Hình 1. Một số đường cong IRT

Căn cứ đường cong IRT, nếu biết được năng lực của thí sinh, chúng ta có thể suy ra các

tham số đặc trưng của câu hỏi (a, b, c) và ngược lại, nếu có a, b, c ta dễ dàng xác định

được .

Đây là vòng luẩn quẩn “con gà - cái trứng” trong khi xác định năng lực của thí sinh và

tham số câu hỏi. Phương pháp phổ biến hiện nay là giả thiết năng lực của thí sinh là

0(thường cho ở mức trung bình), dùng phương pháp lặp để tìm ra n sau n bước. Bước

xác định sẽ dừng nếu kết quả của 2 bước liên tiếp (i và i+1) sai khác không đáng kể.

Với IRT ,thành tựu kỳ diệu nhất mà mô hình toán mang lại là các tham số đặc trưng

của CH (liên quan đến độ khó, độ phân biệt ,mức độ đoán mò) không phụ thuộc mẫu thử

để định cỡ CH (same-free), và năng lực đo được của TS không phụ thuộc vào bài thi trắc

nghiệm cụ thể (item- free) được lấy từ ngân hàng câu hỏi (NHCH) đã được định cỡ.

Như vậy,theo IRT, mỗi câu hỏi có các thuộc tính đặc trưng cho nó , và mỗi TS ở một

trình độ nào đó có một năng lực tiềm ẩn xác định , các thuộc tính và đặc trưng này không

phụ thuộc vào phép đo , hoặc nói cách khác chúng là bất biến (invariance).

8


GVHD: Bùi Đức DươngCũng tương tự như phép đo độ dài : mỗi cái thước dùng để đo kích thước và kiểu khắc

độ xác định ,mỗi vật thể đo có chiều dài xác định ,phép đo là sự so sánh cái thước với vật

được đo để biết được chiều dài vốn có của vật được đo ,các phép đo khác nhau không

được làm thay đổi các thuộc tính vốn có của cái thước cũng như độ dài của vật đo.

Thành tựu căn bản nói trên của IRT cũng đem lại số ưu điểm quan trọng cho trắc

nghiệm hiện đại .IRT cho phép tính các hàm thông tin của từng CH và của cả ĐTN và sai

số chuẩn của phép đo theo các mức năng lực tiềm ẩn chứ không phải là sai số chuẩn trung

bình chung cho cả phép đo trắc nghiệm cổ điển, Từ đó có thể thiết kế một ĐTN cho phép

đo chính xác khoảng năng lực nào mà ta mong muốn.Hơn nữa ,IRT cho phép thiết kế các

ĐTN với mức độ tương đương rất cao để đảm bảo các ĐTN khác nhau có thể cho cùng

một kết quả như nhau khi đánh giá năng lực của một TS nào đó.

Các thành tựu quan trọng đó của IRT đã nâng cao độ chính xác của phép đo lường

trong tâm lý giáo dục lên một tầm cao mới về chất so với các lý thuyết đo lường cổ

điển .Từ thành tựu tổng quát đó của IRT , người ta có thể đưa ra các quy trình để xây

dựng NHCH (item banking) ,phân tích các kết quả TNKQ để tu chỉnh NHCH, chủ động

thiết kế các đề trắc nghiệm (ĐTN) theo các mục tiêu mong muốn.

Với việc ứng dụng các kết quả của khoa học đo lường hiện đại không chỉ giới hạn

trong giáo dục .IRT áp dụng tốt cho các loại trắc nghiệm tâm lý , trắc nghiệm bệnh lý

trong y tế , cho việc thiết kế các bảng hỏi và xử lý kết quả của các cuộc điều tra tâm lý xã

hội ,điều tra thị trường khác nhau . Tóm lại ,nó là công cụ quan trọng cho việc nghiên cứu

các phản ứng của con người trong các khoa học hành vi.

CHƯƠNG 3: HỆ THỐNG E-LEARNING CÁ NHÂN (PELS)

3.1 Kiến trúc hệ thống

Mô hình này bao gồm 3 thành phần hệ thống. Thành phần giao diện (Interface Agent) giúp hệ thống tương tác với người sử dụng, thành phần phản hồi (Feedback Agent) nhận thông tin phản hồi từ người học và thành phần giới thiệu khóa học (Courses recommendation Agent) giúp hệ thống đưa ra danh sách các bài học phù hợp với người sử dụng.

9


GVHD: Bùi Đức Dương.

Hình 1. Kiến trúc hệ thống PELS

.

Trong 3 CSDL của hệ thống, CSDL các bài học (Courses Database) sẽ lưu trữ các bài

học với độ khó khác nhau. CSDL tài khoản người học (User Account Database) dùng để

chứa tài khoản đăng nhập còn CSDL thông tin người học (User Profile Database) là nơi

lưu trữ các thông tin liên quan năng lực, hành vi người sử dụng.

Thủ tục học trên hệ thống PELS được mô tả thông qua 15 bước cụ thể dựa theo kiến

trúc như sau:

Bước 1. Thu thập thông tin người học và xác nhận bài học yêu cầu để tìm các bài học

thông qua thành phần giao diện.

Bước 2. Nhận biết tình trạng người học dựa trên các thông tin cá nhân thông qua

CSDL người dùng.

10


GVHD: Bùi Đức DươngBước 3. Nạp khả năng học dựa trên việc chọn bài từ CSDL thông tin. (Nếu là người

mới truy cập, hệ thống sẽ gán một mức độ vừa phải)

Bước 4. Chọn các bài học giới thiệu từ CSDL bài học cho học viên thông qua khả năng

người học.

Bước 5. Hiển thị các bài học cho người học và đợi các phản hồi (Sau khi người học lựa

chọn thành phần bài học, họ được hỏi để trả lời hai câu hỏi được gán)

Bước 6. Lựa chọn các đáp ứng phản hồi sử dụng thành phần phản hồi

Bước 7. Đánh giá lại các khả năng người học dựa trên các phản hồi đáp ứng trên các

bài học.

Bước 8. Hiệu chỉnh các tham số khó của các thành phần bài học trong CSDL bài học.

Bước 9. Lưu trữ các khả năng mới của người học vào CSDL thông tin người dùng.

Bước 10. Lưu trữ các tham số khó của thành phần bài học đã được hiệu chỉnh

Bước 11. Gửi năng lực người học mới đánh giá lại cho thành phần giới thiệu bài học.

Bước 12. Lựa chọn các phần cho người học dựa trên việc sắp xếp các thông tin.

Bước 13. Ghi lại mã của bài học vừa giới thiệu, tránh việc trùng lắp.

Bước 14. Liệt kê các thành phần bài học giới thiệu đưa ra giao diện.

Bước 15. Người học lựa chọn bài học dựa trên kết quả mà hệ thống giới thiệu.

Lặp lại bước 5 đến 15 cho đến khi người dùng hoặc chọn bài học khác hay đưa ra điều

kiện truy vấn mới để tìm bài học. Tiến trình có thể dừng nếu người học đăng xuất khỏi hệ

thống.

3.2 Thành phần hệ thống

3.2.1 Thành phần giao diện

Thành phần giao diện trong hệ thống dùng để cung cấp giao diện thân thiện tương tác

với người dùng và cũng là kênh thông tin giao tiếp với thành phần cá nhân. Thành phần

này cung cấp các chức năng quản lý đăng nhập, tìm kiếm người học và truy vấn yêu cầu.

11


GVHD: Bùi Đức DươngKhi đăng nhập hệ thống lần đầu tiên, người dùng sẽ được yêu cầu tạo một tài khoản

mới. Căn cứ vào truy vấn người học, giao diện sẽ đưa ra danh sách bài học đồng thời nhận

thông tin phản hồi sau khi làm bài của người học. Thông tin này sẽ được chuyển đến

thành phần cá nhân cho các bước tiếp theo là xác định năng lực người học và hiệu chỉnh

độ khó của câu hỏi.

Bảng câu hỏi chứa 2 câu hỏi “”Bạn nghĩ gì về độ khó của bài học này ?” và “bạn có

hiểu nội dung của bài học này hay không? ” Câu hỏi dầu tiên đòi hỏi người trả lời chọn 1

mức độ “rất khó”,”khó”,”vùa phải”,”dễ”,”rất dễ”.Trả lời câu hỏi thứ 2 có 2 lực chọn “có”

hoặc “không”.Phản hồi của người học được gửi đến thành phần cá nhân để đánh giá lại

khả năng của người học và hiệu chỉnh lại độ khó của câu hỏi.

3.2.2 Thành phần cá nhân

Thông tin phản hồi của người học được thành phần giao diện chuyển đến thành phần cá

nhân. Thành phần cá nhân bao gồm thành phần phản hồi và thành phần giới thiệu khóa

học được mô tả trong Hình 3.

Sau khi nhận thông tin phản hồi từ thành phần hệ thống, thành phần cá nhân sử dụng

giải thuật đánh giá MLE để xác định năng lực người học. Đồng thời, hệ thống hiệu chỉnh

độ khó của bài học. Thành phần cá nhân cũng sẽ đưa ra danh sách các bài học cho thành

phần giới thiệu các khóa học.

3.3 Đánh giá độ khó của câu hỏi trắc nghiệm khách quan

3.3.1 Độ khó của CHTNKQ

Để giới thiệu độ khó phù hợp của câu hỏi trắc nghiệm khách quan cho người học .Tác giả đã đề xuất hàm đặc trưng câu hỏi trắc nghiệm bởi mô hình Rash với 1 tham số là độ khó .Hệ thống này xem xét cả độ khó của câu hỏi và khả năng của người học.Một câu hỏi quá khó sẽ làm khó khăn cho người học .Ngược lại câu hỏi quá dễ dàng sẽ làm cho người học không có cảm giác thử thách và do đó gây lãng phí thời gian. Vì vậy cần cung cấp những câu hỏi với độ khó phù hợp cho người học là quan trọng đối với hệ thống học tập .

12


GVHD: Bùi Đức DươngCác tác giả đã sử dụng đề xuất mức độ khó gồm 5 mức của Likert vào năm 1932

(Likert, 1932) để định nghĩa độ khó của câu hỏi. Việc hiệu chỉnh độ khó dựa vào 3 định

nghĩa sau đây.

Định nghĩa 2.3.1. Độ khó của câu hỏi được định nghĩa trên cơ sở 5 mức như sau:

D = {D1, D2, D3, D4, D5} tương ứng với các mức {Rất dễ, Dễ, Trung bình, Khó, Rất khó}

Hình 3 . Thành phần cá nhân PELS

Định nghĩa 2.3.2. Độ khó trung bình của câu hỏi thứ j dựa trên tổng hợp các đánh

giá của người học:

13


GVHD: Bùi Đức DươngTrong đó:

bj(voting) là độ khó trung bình của câu hỏi thứ j

nij số người chọn mức khó là i cho câu hỏi j

Nj là tổng số người bình chọn cho câu hỏi j

3.3.2 Hiệu chỉnh độ khó của câu hỏi

Định nghĩa 2.3.3. Độ khó được hiệu chỉnh của câu hỏi thứ j dựa trên công thức:

Trong đó:

bj(tuned) là độ khó được hiệu chỉnh sau một thời gian bầu chọn

w là trọng số hiệu chỉnh

bj(voiting) là độ khó bầu chọn tính theo Định nghĩa 2.3.2

3.4 Đánh giá năng lực người học

Để đánh giá năng lực, người học sẽ được kiểm tra qua n bài thi, từ bài 1 đến n bài. Mỗi

bài thi có một tham số đi kèm tương ứng là u1, u2, …, un. Khi làm một bài thi, người học

sẽ được hỏi có hiểu được hay không. Nếu làm được câu thứ i thì u i=1, ngược lại thì ui=0.

Nếu là câu hỏi trắc nghiệm thì ui=1 khi câu trả lời là đúng, nếu trả lời sai thì ui=0.

Tiếp đó, các tác giả đã sử dụng kết quả giả thuật MLE được Horward đưa ra năm 1990

để xác định năng lực người học. Công thức cụ thể như sau:

Trong đó

14


bj(tuned)= w* bj(initial) + (1-w) * bj(voiting)

là năng lực người học được đánh giá sau n bài học


và

Qj() = 1- Pj()

Pj() là xác suất người học có thể làm đúng câu thứ j với năng lực là hiện tại là .

Ngược lại, Qj() là xác suất người học làm sai câu j. u j là tham số có giá trị 0 hoặc 1 đã

giới thiệu trên đây.

3.5 Giới thiệu bài học

Sau khi thành phần phản hồi đánh giá lại khả năng người học, thành phần giới thiệu bài

học sẽ giới thiệu các bài học phù hợp với người học. Hàm thông tin IF (Hambleton,

Swaminathan, Rogers, 1991) sẽ được sử dụng để tính toán độ phù hợp của các bài học đối

với học viên có năng lực .

Trong đó Ij() là giá trị trả về của hàm thông tin dựa trên năng lực người học () và độ

khó của bài thứ j (bj(tuned)). Từ đây, thành phần giao diện sẽ giới thiệu các bài học theo

chiều giảm dần của giá trị hàm thông tin, tương ứng với độ phù hợp giảm dần của bài học.

Sơ đồ của quá trình giới thiệu bài học được miêu tả trong Hình 4.

15



Hình 2 . Quy trình giới thiệu bài học

CHƯƠNG 4: XÂY DỰNG NGÂN HÀNG CÂU HỎI VỚI

GOOGLE DOCS.

4.1 Giới thiệu về google docs

Từ tháng 6 năm 2008, Google Docs đã bổ sung thêm tính năng tạo bảng hỏi và thu

nhận kết quả trả lời bảng hỏi trực tuyến. Đây là một chức năng khá tốt đối với những

người làm nghiên cứu khi cần thu thập, xử lý dữ liệu trực tuyến. Bảng hướng dẫn được

viết ra này nhằm giúp cho người mới bắt đầu với Google Docs có thể tạo và sử dụng bảng

hỏi cho riêng mình.

Bảng hỏi được tạo bởi Google Docs (GDS) đảm bảo các yêu cầu cơ bản của một bảng

hỏi. Các loại câu hỏi có thể sử dụng gồm: câu lựa chọn (chỉ chọn 1 phương án trả lời), câu

kiểm (chọn nhiều phương án trả lời), câu trả lời tự do (một câu, một đoạn văn, một cụm từ

từ một danh sách cho sẵn), câu đánh giá (theo thang chia). Bảng hỏi được thiết kế trên

nền web, truy cập từ một trình duyệt web bất kỳ. Người câu hỏi (tác giả bảng hỏi) có thể

16


GVHD: Bùi Đức Dươnggửi yêu cầu câu hỏi đến người nhận bất kỳ qua e-mail hoặc gửi liên kết đến bảng hỏi lên

một trang web.Kết quả trả lời bảng hỏi sẽ được GDS thu thập tự động và lưu vào một

bảng tính trong tài khoản Docs của tác giả bảng hỏi. Từ bảng tính này, có thể xuất ra tập

tin đĩa dưới nhiều dạng khác nhau (cvs, html, ods, xls, pdf, txt) tùy theo yêu cầu. Tác giả

của bảng hỏi hoặc người trả lời bảng hỏi có thể xem kết quả điều tra dưới dạng tóm tắt

bằng các biểu đồ hoặc một bảng tính đầy đủ (chỉ dùng cho tác giả).

4.2 Cách tạo câu hỏi với google docs

Việc tạo một bảng câu hỏi trực tuyến trong Google Docs là tương đối dễ dàng và không

đòi hỏi nhiều kiến thức chuyên ngành về tin học. Các bước thực hiện như sau:

Bước 1. Chuẩn bị:

- Tạo một tài khoản Google.

- Chuẩn bị danh sách câu hỏi và các lựa chọn cho bảng câu hỏi.

- Truy cập Google Docs tại địa chỉ http://docs.google.com/ bằng một chương trình

duyệt web (Chrome, Mozilla Firefox,…).

Bước 2. Tạo bảng câu hỏi thông qua chức năng tạo mới một Form:

Tại trang Google Docs, chọn Create New > Form.

Hình 5. Tạo mới một Form.

để chuyển tới màn hình bảng câu hỏi (Hình 6):

17


http://docs.google.com/


Hình 6. Màn hình soạn thảo Bảng câu hỏi.

Bước 3. Soạn thảo Bảng câu hỏi:

Tại màn hình này, ta sẽ soạn thảo nội dung cho bảng câu hỏi (tạo các câu hỏi). Nhưng

trước hết, ta sẽ điểm qua một số các chức năng hỗ trợ có trên màn hình (Hình 6):

Theme: Plain -> Lựa chọn các chủ đề (themes) hoặc nền (background) cho bảng câu hỏi.

[FIELD: Untitled Form] -> Điền tiêu đề cho bảng câu hỏi.

+Add Item -> Thêm câu hỏi . Cho phép lựa chọn các dạng câu hỏi khác nhau: Text,

Paragraph text, Multiple choice, Checkboxes, Choose from the list, Scale, Grid.

Question Title -> Nội dung câu hỏi.

Help text -> Giải thích thêm cho câu hỏi.

Question Type -> Lựa chọn loại câu hỏi trong các dạng sau:

- Text: Trả lời bằng một dòng.

- Paragraph text: Trả lời bằng một đoạn văn bảng.

- Multiple choice: Trả lời bằng cách chọn một trong nhiều phương án cho trước.

18


GVHD: Bùi Đức Dương- Checkboxes: Trả lời bằng cách chọn nhiều phương án.

- Choose from the list: Chọn trả lời từ danh sách.

- Scale: Đánh giá trên thang chia điểm.

[checkbox] Make this as a required question -> Lựa chọn bắt buộc trả lời câu hỏi.

Pencil icon -> Nút lệnh cho phép chỉnh sửa câu hỏi.

Box icon -> Nút lệnh cho phép sao chép câu hỏi.

Trash box icon -> Nút lệnh cho phép xóa câu hỏi.

Done -> Nút lệnh cho phép thêm câu hỏi vào bảng câu hỏi (Sau khi câu hỏi đã được soạn

thảo xong).

Save -> Nút lệnh cho phép lưu bảng câu hỏi.

Ví dụ:

+ Tạo câu hỏi câu hỏi dạng Multiple choice như sau (Hình 7):

Câu hỏi: chọn phương án ghéo đúng nói về thuật ngữ tin học: Tin học là:

a. Ngành khoa học về xử lý thông tin tự động dựa trên máy tính điện tử.

b. áp dụng máy tính trong các hoạt động xử lý thông tin.

c. máy tính và các công việc liên quan đến máy tính điện tử.

d. lập chương trình cho máy tính .

19



Hình 7. Tạo câu hỏi dạng Multiple choice.

+ Tạo câu hỏi dạng Text (Hình 4):

MSSV:

Hình 8. Tạo câu hỏi dạng Text.

Bước 4. Xuất bản bảng câu hỏi: Đưa bảng câu hỏi đến người học.

Có nhiều cách để thực hiện bước này như:

Cách 1: Xuất bản bảng câu hỏi dạng bảng tính trong Google Docs bằng cách:

- Nhấn vào liên kết phía dưới trình duyệt (Hình 5):

Hình 1. Liên kết tới bảng câu hỏi (xuất bản).

Bảng câu hỏi sẽ xuất hiện như hình (Hình 6):

20



Hình 9. Màn hình Bảng câu hỏi (xuất bản).

- Gửi đường link trên thanh địa chỉ cho người học.

Cách 2: Nhúng bảng câu hỏi vào trang web và công bố trang web để người học phản hồi.

Cách thực hiện như sau:

- Nhấn vào nút More actions > chọn Embed.

Hình 10. Nút lệnh thực hiên các hình thức xuất bản khác của Bảng câu hỏi.

- Sao chép đoạn mã cho bởi Google Docs và chèn nó vào trang web lấy ý kiến người

học.

Cách 3: Gửi email kèm bảng câu hỏi:

- Nhấn vào nút Email this form, đến hộp thoại:

21



Hình 11. Gửi Bảng câu hỏi qua Email tới người học.

- Điền địa chỉ người học cần gửi vào ô to: rồi nhấn nút Send.

Bước 5. Thu thập và xử lý thông tin phản hồi từ người học.

Việc thu thập thông tin phản hồi từ bảng câu hỏi được Google Docs thực hiện một cách tự

động và đưa vào một bảng tính (spreadsheet) (Hình 9). Giảng viên có thể lấy thông tin

từ bảng tính này để phân tích và có những điều chỉnh phù hợp.

Hình 12. Bảng tính (Spreadsheet) lưu trữ thông tin phản hồi từ người học.

Ngoài ra, ta cũng có thể xem bảng tổng hợp tự động (Hình 13) các phản hồi của Google

Docs bằng cách:

- Tại trang soạn thảo bảng câu hỏi, nhấn nút See responses > Sumary

22



để tới trang tổng hợp như hình:

Hình 13. Bảng tổng hợp các phản hồi.

CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM

5.1 Môi trường cài đặt

Ngôn ngữ C# khá đơn giản, chỉ khoảng 80 từ khóa và hơn mười mấy kiểu dữ liệu được

xây dựng sẵn. Tuy nhiên, ngôn ngữ C# có ý nghĩa cao khi nó thực thi những khái niệm

lập trình hiện đại. C# bao gồm tất cả những hỗ trợ cho cấu trúc, thành phần component,

lập trình hướng đối tượng. Những tính chất đó hiện diện trong một ngôn ngữ lập trình

hiện đại. Và ngôn ngữ C# hội đủ những điều kiện như vậy, hơn nữa nó được xây dựng

trên nền tảng của hai ngôn ngữ mạnh nhất là C++ và Java.

23


GVHD: Bùi Đức DươngNgôn ngữ C# được phát triển bởi đội ngũ kỹ sư của Microsoft, trong đó người dẫn đầu

là Anders Hejlsberg và Scott Wiltamuth. Cả hai người này điều là những người nổi tiếng,

trong đó Anders Hejlsberg được biết đến là tác giả của Turbo Pascal, một ngôn ngữ lập

trình PC phổ biến. Và ông đứng đầu nhóm thiết kế Borland Delphi, một trong những

thành công đầu tiên của việc xây dựng môi trường phát triển tích hợp (IDE) cho lập trình

client/server.

Phần cốt lõi hay còn gọi là trái tim của bất cứ ngôn ngữ lập trình hướng đối tượng là sự

hỗ trợ của nó cho việc định nghĩa và làm việc với những lớp. Những lớp thì định nghĩa

những kiểu dữ liệu mới, cho phép người phát triển mở rộng ngôn ngữ để tạo mô hình tốt

hơn để giải quyết vấn đề. Ngôn ngữ C# chứa những từ khóa cho việc khai báo những kiểu

lớp đối tượng mới và những phương thức hay thuộc tính của lớp, và cho việc thực thi

đóng gói, kế thừa, và đa hình, ba thuộc tính cơ bản của bất cứ ngôn ngữ lập trình hướng

đối tượng.

Trong ngôn ngữ C# mọi thứ liên quan đến khai báo lớp điều được tìm thấy trong phần

khai báo của nó. Định nghĩa một lớp trong ngôn ngữ C# không đòi hỏi phải chia ra tập tin

header và tập tin nguồn giống như trong ngôn ngữ C++. Hơn thế nữa, ngôn ngữ C# hỗ trợ

kiểu XML, cho phép chèn các tag XML để phát sinh tự động các document cho lớp. C#

cũng hỗ trợ giao diện interface, nó được xem như một cam kết với một lớp cho những

dịch vụ mà giao diện quy định. Trong ngôn ngữ C#, một lớp chỉ có thể kế thừa từ duy

nhất một lớp cha, tức là không cho đa kế thừa như trong ngôn ngữ C++, tuy nhiên một lớp

có thể thực thi nhiều giao diện. Khi một lớp thực thi một giao diện thì nó sẽ hứa là nó sẽ

cung cấp chức năng thực thi giao diện.

Trong ngôn ngữ C#, những cấu trúc cũng được hỗ trợ, nhưng khái niệm về ngữ nghĩa

của nó thay đổi khác với C++. Trong C#, một cấu trúc được giới hạn, là kiểu dữ liệu nhỏ

gọn, và khi tạo thể hiện thì nó yêu cầu ít hơn về hệ điều hành và bộ nhớ so với một lớp.

Một cấu trúc thì không thể kế thừa từ một lớp hay được kế thừa nhưng một cấu trúc có thể

thực thi một giao diện.

24


GVHD: Bùi Đức DươngNgôn ngữ C# cung cấp những đặc tính hướng thành phần (component-oriented), như là

những thuộc tính, những sự kiện. Lập trình hướng thành phần được hỗ trợ bởi CLR cho

phép lưu trữ metadata với mã nguồn cho một lớp. Metadata mô tả cho một lớp, bao gồm

những. phương thức và những thuộc tính của nó, cũng như những sự bảo mật cần thiết

và những thuộc tính khác. Mã nguồn chứa đựng những logic cần thiết để thực hiện những

chức năng của nó.. Do vậy, một lớp được biên dịch như là một khối self-contained,

nên môi trường hosting biết được cách đọc metadata của một lớp và mã nguồn cần thiết

mà không cần những thông tin khác để sử dụng nó.

Một lưu ý cuối cùng về ngôn ngữ C# là ngôn ngữ này cũng hỗ trợ việc truy cập bộ nhớ

trực tiếp sử dụng kiểu con trỏ của C++ và từ khóa cho dấu ngoặc [] trong toán tử. Các mã

nguồn này là không an toàn (unsafe). Và bộ giải phóng bộ nhớ tự động của CLR sẽ không

thực hiện việc giải phóng những đối tượng được tham chiếu bằng sử dụng con trỏ cho đến

khi chúng được giải phóng.

5.2 Tạo câu hỏi trắc nghiệm tin học văn phòng với google docs

Sau khi thiết kế thử nghiệm với google docs và tìm hiểu về môn tin học cơ sở thì kết

quả đã tạo ra được 100 câu hỏi trắc nghiệm trong đó có 50 câu hỏi về windows,25 câu

hỏi về Microsoft Word, 25 câu hỏi về Microsoft Exel ,đề thi trắc nghiệm này được gửi

qua mail cho các thí sinh hoặc ta có thể gửi cho thí sinh đường link :

https://docs.google.com/spreadsheet/ccc?

key=0ArEETRZilvOedDM0UUFiRlktR2xvTkpZeWxRaUpaRHc#gid=0 để thí sinh gửi

phản hồi.

25


https://docs.google.com/spreadsheet/ccc?key=0ArEETRZilvOedDM0UUFiRlktR2xvTkpZeWxRaUpaRHc#gid=0

https://docs.google.com/spreadsheet/ccc?key=0ArEETRZilvOedDM0UUFiRlktR2xvTkpZeWxRaUpaRHc#gid=0


Hình 14:Đề thi hiển thị trên Web

26


GVHD: Bùi Đức DươngĐề thi sau khi được kiểm bởi một số sinh viên và kết quả được 20 thí sinh phản hồi

lại kết quả được đưa bảng tính :

Hình 15: Kết quả phản hồi

Dựa trên kết quả thu nhập được ta thấy rằng với google docs quá trình tạo câu hỏi trắc

nghiệm ,việc tổ chức thi,kiểm tra nhanh hơn và đặc biệt là việc tồng hợp kết quả phản hồi

sẽ tiện lợi trong việc đánh giá cho điểm thí sinh.

5.3 Cài đặt một số thuật toán

5.3.1 Thuật toán MLE

Sau khi thí sinh phản hồi thì kết quả được cập nhập vào bảng tính của google docs. Từ bảng tính thu được ta có thể đánh giá năng lực của các thí sinh .

Dữ liệu đầu vào ở đâu là file Exel thống kê kết quả mà thí sinh trả lời các câu hỏi:

27



Hình 16: Dữ liệu đầu vào

Trong đó : Hàng 2 : độ khó câu hỏi

Cột B thể hiện năng lực hiện tại của thí sinh đó.

Giao diện : Sau khi đọc dữ liệu từ file exel vào datagridview thì kết quả hiển thị :

Hình 17: Giao diện cài đặt

Đoạn mã sau tính toán năng lực của thí sinh qua việc trả lời n câu hỏi :

28


GVHD: Bùi Đức Dươngdouble P, Q, L = 1, b, x, u;

for (int j = 1; j < dataGridView1.RowCount-1; j++)

{

for (int i = 2; i < dataGridView1.ColumnCount - 1; i++)

{

b = double.Parse(dataGridView1.Rows[0].Cells[i].Value.ToString());

x =double.Parse( dataGridView1.Rows[j].Cells[1].Value.ToString()) - b;

P = Math.Pow(Math.E, x) / (1 + Math.Pow(Math.E, x));

Q = 1 - P;

u = double.Parse(dataGridView1.Rows[j].Cells[i].Value.ToString());

L *= Math.Pow(P, u) * Math.Pow(Q, 1 - u);

P = 0;

}

dataGridView1.Rows[j].Cells[dataGridView1.ColumnCount-1].Value = L.ToString();

L = 1;

}

Sau khi tính toán thì kết quả được hiển thị:

29



Hình 18: Kết quả sau khi tính

5.3.2 Thuật toán ước lượng năng lực thí sinh bằng phương pháp lặp

Sử dụng mô hình 2 tham số với độ khó và độ phân biệt của câu hỏi

Trong đó : là năng lực của thí sinh ở bước lặp thứ s

ai độ phân biệt ở câu hỏi thứ i

ui phản hổi câu hỏi thứ i bằng 1 nếu là trả lời đúng ngược lại bằng 0

: xác xuất trả lời đúng câu hỏi thứ i .

: xác xuất trả lời sai câu hỏi thứ i .

Xét bài toán : ước lượng năng lực của thí sinh khi trả lời 3 câu hỏi với những thông số sau:

30



b a

Câu 1 -1 1.0

Câu 2 0 1.2

Câu 3 1 0.8

Phản hồi của thí sinh đó qua 3 câu hỏi là :

Câu 1 1

Câu 2 0

Câu 3 1

Bây h ta ước lượng thí sinh đó qua n bước saocho độ lệch giữa 2 lần tính khác nhau không đáng kể 0.001

Đoạn mã sau thể hiện ước lượng năng lực của thí sinh qua các bước lặp:

double[] b = { -1, 0, 1 };

double[] a = { 1, 1.2, 0.8 };

double[] u = { 1, 0, 1 };

double P = 0, Q, T1 = 0, T2 = 0;

double theta_start = 1, theta_end = 0;

Queue Qu = new Queue();

Qu.Enqueue(theta_start);

double copy;

do

{

T1 = 0; T2 = 0;

for (int i = 0; i < b.Length; i++)

{

31


GVHD: Bùi Đức Dương P = 1 / (1 + Math.Pow(Math.E, -a[i] *

(theta_start - b[i])));

Q = 1 - P;

T1 = T1 + a[i] * (u[i] - P);

T2 = T2 + a[0] * a[0] * (P * Q);

P = 0;

}

copy = theta_start;

theta_end = theta_start + T1 / T2;

Qu.Enqueue(theta_end);

theta_start = theta_end;

} while (Math.Abs(theta_end - copy) > 0.001);

while (Qu.Count != 0)

{

Console.WriteLine("{0}", ((double)Qu.Peek()).ToString());

Qu.Dequeue();

}

Sau khi thực thi chương trình thì kết quả thu được như sau :

32



Hình 19: Kết quả lặp

Như ta thấy thì sau 4 lần lặp thì độ lệch lúc này là 0.0001 đủ nhỏ để ta có thể dừng . Như vậy năng lực của thí sinh đó là 0.3248.

KẾT LUẬN

1. Nhận xét

Trong đề tài này trình bày tác giả đã dùng lý thuyết đo lường hiện đại (IRT) để ước

lượng năng lực của người học, đồng thời hiệu chỉnh tham số khó các câu hỏi từ đó đề xuất

các bài học phù hợp. Ở bài báo cáo này đề xuất mô hình hệ thống PELS sử dụng thuật

toán ước lượng MLE và hàm thông tin IF để tính toán năng lực từng người học và độ khó

từng câu hỏi. Đề tài này còn trình bày về tính năng mới của google docs trong việc hỗ trợ

soạn thảo câu hỏi trắc nghiệm và thu nhận phản hồi trực tuyến từ người học .

Về thực nghiệm đề tài đã cài đặt thuật toán MLEvà phương pháp lặp để ước lượng

năng lực người học và thử nghiệm phản hồi trực tuyến từ một số sinh viên Đại học Nha

Trang qua việc trả lời câu hỏi trắc nghiệm được tạo bởi google docs.

33


GVHD: Bùi Đức Dương2. Hướng phát triển đề tài

Đề tài mới chỉ dừng lại ở tìm hiểu lý thuyết và cài đặt một số thuật toán nhỏ .Qua việc

nghiên cứu lý thuyết này thì gợi mở hướng phát triển của đề tài. Ta có thể xây dựng một

Web site thi trắc nghiệm khi người học đăng nhập để thi tùy theo năng lực của người học

đã có sẵn trong CSDL có bài thi phù hợp sau đó ta có thể đánh giá lại năng lực người học

và lưu xuống CSDL để cung cấp bài học phù hợp cho lần học sau

TÀI LIỆU THAM KHẢO

1. Bùi Đức Dương – Ứng dụng lý thuyết đo lường hiện đại IRT(Item Response Theory) vào khoa học đo lường trong giáo dục.

2. Wikipedia

3. GS.TSKH Lâm Quang Thiệp, VN cần áp dụng khoa học về đo lường trong giáo dụ http://www.edtech.com.vn/index.php/ly-lun-nghien-cu/ppdayvahoc/67-lythuyet

4. The basic of tem response theory _ Frank B.Baker

5. Personalized e-learning system using Item Response Theory_ Chih-Ming Chen a,*, Hahn-Ming Le b, Ya-Hui Chen b

6. Trần Mạnh Khang_ Lấy thông tin người học bằng phiếu khảo sát trực tuyến

34


http://www.edtech.com.vn/index.php/ly-lun-nghien-cu/ppdayvahoc/67-lythuyet

Education

Lý thuyết đo lường hiện đại IRT