ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ THANH HƢƠNG

ỨNG DỤNG KHAI PHÁ DỮ LIỆU

ĐỂ XÂY DỰNG HỆ THỐNG TƢ VẤN HỌC TẬP

TẠI TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội - 2015

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ THANH HƢƠNG

ỨNG DỤNG KHAI PHÁ DỮ LIỆU

ĐỂ XÂY DỰNG HỆ THỐNG TƢ VẤN HỌC TẬP

TẠI TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

Ngành: Công nghệ Thông tin

Chuyên ngành: Hệ thống Thông tin

Mã số: 60480104

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS. NGUYỄN HÀ NAM

Hà Nội - 2015

1

LỜI CẢM ƠN

Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS.Nguyễn Hà Nam, Trƣờng Đại học

Công nghệ - Đại học Quốc gia Hà Nội, ngƣời thầy đã dành nhiều thời gian tận tình

chỉ bảo, hƣớng dẫn, giúp đỡ tôi trong suốt quá trình tìm hiểu, nghiên cứu.Thầy là

ngƣời đinh hƣơng va đƣa ra nhiều góp ý quý báu trong quá trình tôi thƣc hiện luân

văn.

Tôi xin chân thành cảm ơn các thầy, cô ở khoa Công nghệ thông tin – Trƣờng Đại

học Công nghệ - ĐHQGHN đã cung cấp cho tôi những kiến thức và tạo cho tôi những

điều kiện thuận lợi trong suốt quá trình tôi học tập tại trƣờng.

Tôi cũng bày tỏ lòng biết ơn về sự giúp đỡ của lãnh đạo cơ quan, đồng nghiệp đã

cung cấp dữ liệu, tài liệu và cho tôi những lời khuyên quý báu. Tôi xin cảm ơn gia đình,

ngƣời thân, bạn bè và các thành viên trong nhóm nghiên cứu luôn động viên và tạo mọi

điều kiện tốt nhất cho tôi.

Tôi xin chân thành cảm ơn!

Hà Nội, tháng 1 năm 2016

Họ và tên

Nguyễn Thị Thanh Hƣơng

2

LỜI CAM ĐOAN

Tôi xin cam đoan đây là đề tài nghiên cứu của riêng tôi, thực hiện dƣới sự hƣớng

dẫn của PGS.TS. Nguyễn Hà Nam.

Các kết quả nêu trong luận văn là trung thực và chƣa đƣợc ai công bố trong bất cứ

công trình nào khác.

Hà Nội, tháng 1 năm 2016

Họ và tên

Nguyễn Thị Thanh Hƣơng

3

MỤC LỤC

LỜI CẢM ƠN ...................................................................................................................... 1

LỜI CAM ĐOAN ................................................................................................................ 2

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ......................................................... 5

DANH MỤC CÁC BẢNG .................................................................................................. 6

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ............................................................................. 6

Chƣơng 1. Giới thiệu tổng quan ........................................................................................ 8

1.1.Bài toán ứng dụng KPDL để xây dựng hệ thống tƣ vấn tại trƣờng ĐHCNHN ......... 8

1.2. Một số hƣớng nghiên cứu về khai phá dữ liệu trong lĩnh vực giáo dục hiện nay

Error! Bookmark not defined.

1.3. Hƣớng tiếp cận của luận văn ................................... Error! Bookmark not defined.

1.4. Kết luận chƣơng 1 ................................................... Error! Bookmark not defined.

Chƣơng 2. Các kiến thức cơ sở liên quan ....................... Error! Bookmark not defined.

2.1. Khai phá dữ liệu ...................................................... Error! Bookmark not defined.

2.1.1. Khái niệm KPDL .............................................. Error! Bookmark not defined.

2.1.2. Những nhóm bài toán của KPDL ..................... Error! Bookmark not defined.

2.1.3. Các bƣớc xây dựng một giải pháp về KPDL .... Error! Bookmark not defined.

2.1.4. Ứng dụng KPDL trong giáo dục ....................... Error! Bookmark not defined.

2.2. Một số kỹ thuật KPDL trong phân lớp, dự báo ....... Error! Bookmark not defined.

2.2.1 Cây quyết định ................................................... Error! Bookmark not defined.

2.2.2 Phân lớp Naïve Bayes ........................................ Error! Bookmark not defined.

2.2.3 Mạng nơ ron nhân tạo ........................................ Error! Bookmark not defined.

2.2.4 Luật kết hợp ....................................................... Error! Bookmark not defined.

2.3. KPDL với hệ quản trị CSDL SQL Server ............... Error! Bookmark not defined.

2.3.1. Giới thiệu chung ............................................... Error! Bookmark not defined.

2.3.2. Ngôn ngữ truy vấn KPDL DMX (Data Mining Extensions). Error! Bookmark

not defined.

2.3.3. Bộ công cụ SQL Server Business Intelligence Development Studio ........ Error!

Bookmark not defined.

2.3.4. Lập trình KPDL với Analysis Services APIs ... Error! Bookmark not defined.

2.3.5 Đánh giá hiệu quả của các mô hình KPDL ....... Error! Bookmark not defined.

2.4. Kết luận chƣơng 2 ................................................... Error! Bookmark not defined.

4

Chƣơng 3. Phƣơng pháp giải quyết bài toán ................... Error! Bookmark not defined.

3.1. Tìm hiểu và thu thập dữ liệu điểm ....................... Error! Bookmark not defined.

3.2. Xây dựng mô hình ................................................... Error! Bookmark not defined.

3.3. Lập trình KPDL với Analysis Services APIs .......... Error! Bookmark not defined.

3.4. Đánh giá mô hình ................................................. Error! Bookmark not defined.

3.4.1 Đánh giá các mô hình dự báo với Lift Chart ..... Error! Bookmark not defined.

3.4.2 Đánh giá các mô hình dự báo với Classification Matrix .. Error! Bookmark not

defined.

3.5. Kết luận chƣơng 3 .................................................. Error! Bookmark not defined.

Chƣơng 4. Xây dựng hệ thống tƣ vấn học tập tại trƣờng ĐHCNHN .. Error! Bookmark

not defined.

KẾT LUẬN ....................................................................... Error! Bookmark not defined.

HƢỚNG PHÁT TRIỂN .................................................... Error! Bookmark not defined.

TÀI LIỆU THAM KHẢO ................................................................................................... 9

5

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Chữ viết tắt Ý nghĩa

BIDS Bussiness Intelligence Development Studio

CSDL Cơ sở dữ liệu

DMX Data Mining Extensions

DMM Data Mining Model

KPDL Khai phá dữ liệu

SOM Self-Organizing Map

MS Microsoft

ĐHCNHN Đại học Công Nghiệp Hà Nội

6

DANH MỤC CÁC BẢNG

Bảng 2.4: Lựa chọn các thuật toán khai phá dữ liệu theo mục đích.................................. 23

Bảng 3.1: Bảng dữ liệu xây dựng hệ thống tƣ vấn học tập ............................................... 34

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1: Các bƣớc xây dựng một hệ thống KPDL .......... Error! Bookmark not defined.

Hình 2. 1: Biểu diễn cây quyết định cơ bản ...................... Error! Bookmark not defined.

Hình 2. 2: Cây quyết định cho việc chơi Tennis ............... Error! Bookmark not defined.

Hình 2. 3: Mô hình mạng nơron nhiều lớp ........................ Error! Bookmark not defined.

Hình 2. 4: Tiến trình học ................................................... Error! Bookmark not defined.

Hình 2. 5: Hình ảnh tổng quan về KPDL với SQL 2008 .. Error! Bookmark not defined.

Hình 3. 1: Mô hình CSDL quan hệ đƣợc thu thập để xây dựng hệ thống .................. Error!

Bookmark not defined.

Hình 3. 2: Một phần bảng các lộ trình học theo ngành ..... Error! Bookmark not defined.

Hình 3. 3: Một phần dữ liệu xây dựng hệ thống ............... Error! Bookmark not defined.

Hình 3. 4: Tạo 04 Mining Models cho một Mining Structure ......... Error! Bookmark not

defined.

Hình 3. 5: Kết quả tạo viewer cho mô hình Cây quyết định ............ Error! Bookmark not

defined.

Hình 3. 6: Kết quả tạo viewer cho mô hình Luật kết hợp . Error! Bookmark not defined.

Hình 3. 7: Kết quả tạo viewer cho mô hình Naïve Bayes . Error! Bookmark not defined.

Hình 3. 8: Kết quả tạo viewer cho mô hình mạng nơ ron nhân tạo . Error! Bookmark not

defined.

Hình 3. 9: Biểu đồ Lift Chart cho 04 mô hình .................. Error! Bookmark not defined.

Hình 3. 10: Kết quả của ma trận Classification Matrix của 04 mô hình Error! Bookmark

not defined.

Hình 3. 11: Thiết kế một truy vấn DMX với mô hình đƣợc chọn .... Error! Bookmark not

defined.

Hình 3. 12: Kết quả truy vấn với mô hình đƣợc chọn ....... Error! Bookmark not defined.

Hình 3. 13: Sự phụ thuộc của thuộc tính dự đoán vào các thuộc tính khác ............... Error!

Bookmark not defined.

Hình 3. 14: Lựa chọn Lift Chart với Predict Value=”K” .. Error! Bookmark not defined.

Hình 3. 15: Kết quả Lift Chart không xác định giá trị thuộc tính dự đoán ................ Error!

Bookmark not defined.

Hình 3. 16: Classification Matrix của 04 mô hình ............ Error! Bookmark not defined.

7

Hình 3. 17: Biểu đồ so sánh mức độ chính xác các mô hình ........... Error! Bookmark not

defined.

Hình 4. 1: Sơ đồ hoạt động của hệ thống .......................... Error! Bookmark not defined.

Hình 4. 2: Kết quả tƣ vấn học tập với mô hình Naïve Bayes ........... Error! Bookmark not

defined.

Hình 4. 3: Kết quả tƣ vấn học tập với mô hình Cây quyết định ....... Error! Bookmark not

defined.

Hình 4. 4: Kết quả tƣ vấn học tập với mô hình Luật kết hợp ........... Error! Bookmark not

defined.

Hình 4. 5: Kết quả tƣ vấn học tập với mô hình Neural Network ..... Error! Bookmark not

defined.

Hình 4. 6: Kết quả tƣ vấn học tập với sinh viên nam ........ Error! Bookmark not defined.

Hình 4. 7: Kết quả tƣ vấn học tập với sinh viên nữ ........... Error! Bookmark not defined.

Hình 4. 8: Xem chi tiết một lộ trình học............................ Error! Bookmark not defined.

LỜI MỞ ĐẦU

Trƣờng ĐHCNHN là một trƣờng nằm trong hệ thống các trƣờng chuyên nghiệp

trực thuộc Bộ công thƣơng. Một vấn đề cấp thiết đặt ra trong công tác quản lý và đào tạo

của nhà trƣờng là xây dựng các mục tiêu, chiến lƣợc nhằm mở rộng quy mô đào tạo, thu

hút đƣợc nhiều sinh viên, bên cạnh đó là việc nâng cao chất lƣợng giảng dạy, đảm bảo

đào tạo những sinh viên ra trƣờng đáp ứng đƣợc yêu cầu công việc. Công nghệ thông tin

đã đƣợc ứng dụng trong công tác quản lý của nhà trƣờng, song việc khai thác vẫn còn

nhiều hạn chế.

Xuất phát từ yêu cầu đặt ra đối với đơn vị mình, tôi đã thực hiện đề tài luận văn

“ỨNG DỤNG KHAI PHÁ DỮ LIỆU ĐỂ XÂY DỰNG HỆ THỐNG TƢ VẤN HỌC

TẬP TẠI TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI”. Luận văn đi sâu vào việc

khai phá dữ liệu từ thông tin cá nhân, điểm tuyển sinh đầu vào kết hợp với lộ trình học để

dự đoán kết quả học tập của sinh viên, hỗ trợ tƣ vấn cho sinh viên lựa chọn lộ trình học

phù hợp để đạt đƣợc kết quả học tập cao nhất.

Luận văn gồm có phần mở đầu, kết luận và 04 chƣơng, cụ thể nhƣ sau:

Chƣơng 1: Giới thiệu tổng quan

Giới thiệu bài toán ứng dụng KPDL để xây dựng hệ thống tƣ vấn tại trƣờng

ĐHCNHN, trình bày một số hƣớng nghiên cứu về KPDL trong giáo dục và hƣớng tiếp

cận của luận văn.

Chƣơng 2: Các kiến thức cơ sở liên quan

8

Nghiên cứu các cơ sở lý thuyết KPDL, các vấn đề liên quan đến KPDL trong lĩnh

vực giáo dục. Tìm hiểu các kỹ thuật khai phá dữ liệu sử dụng trong bài toán phân lớp, dự

báo (cây quyết định, phân lớp Naïve Bayes, mạng nơ ron nhân tạo, luật kết hợp) và kỹ

thuật KPDL trên hệ quản trị CSDL MS SQL Server.

Chƣơng 3. Phƣơng pháp giải quyết bài toán

Mô tả ứng dụng, xây dựng bài toán liệt kê lộ trình học cho từng ngành học để tƣ

vấn cho sinh viên chọn lộ trình phù hợp với ngành mình đang theo học. Thu thập và xử lý

các dữ liệu liên quan để phát triển hệ thống. Xây dựng 4 mô hình: Cây quyết định, Naïve

Bayes, Neural Networks, Luật kết hợp và đƣa ra đánh giá các mô hình tƣơng ứng.

Chƣơng 4: Xây dựng hệ thống tƣ vấn học tập tại trƣờng ĐHCNHN

Dựa trên những đánh giá về mô hình, lựa chọn mô hình cho kết quả tốt nhất. Xây

dựng chƣơng trình thực nghiệm để tƣ vấn cho sinh viên.

Chƣơng 1. Giới thiệu tổng quan

1.1. Bài toán ứng dụng KPDL để xây dựng hệ thống tƣ vấn tại trƣờng ĐHCNHN

Trƣờng Đại học Công nghiệp Hà Nội cung cấp dịch vụ giáo dục - đào tạo nhiều

ngành, nhiều trình độ, chất lƣợng cao, đáp ứng nguồn nhân lực cho công nghiệp hóa, hiện

đại hóa đất nƣớc và xuất khẩu lao động, tạo cơ hội học tập thuận lợi cho mọi đối tƣợng.

Về ngành, nghề đào tạo: Trong những năm qua nhà trƣờng đã xây dựng đƣợc chƣơng

trình và triển khai đào tạo 21 chuyên ngành đại học chính quy, 18 chuyên ngành đào tạo

cao đẳng chính quy, 14 chuyên ngành Trung cấp chuyên nghiệp và nhiều chƣơng trình

đào tạo trình độ khác nhau.

Về qui mô đào tạo: Trên 50.000 học sinh, sinh viên.

Các lĩnh vực đào tạo: Công nghệ, kỹ thuật, Kinh tế, May, Thời trang, Sƣ phạm, Du lịch

Các loại hình đào tạo: Chính qui, Vừa làm vừa học, Liên thông, Liên kết nƣớc ngoài,

Nâng bậc thợ, Đào tạo lao động xuất khẩu, Bồi dƣỡng ngắn hạn và dài hạn theo nhu cầu

xã hội quan tâm.

Một thực tế đặt ra đối với trƣờng ĐHCNHN là làm sao thu hút đƣợc nhiều sinh

viên dựa trên “thƣơng hiệu” của nhà trƣờng, để đáp ứng chỉ tiêu đào tạo. Tuy nhiên, yêu

cầu đặt ra về số lƣợng cũng phải kèm theo yêu cầu về chất lƣợng đào tạo. Vấn đề nâng

cao chất lƣợng đào tạo là một vấn đề luôn đƣợc nhà trƣờng quan tâm.

Nhằm đổi mới giáo dục đại học ở Việt Nam, Bộ Giáo dục và Đào tạo đã yêu cầu

chuyển đổi từ việc thực hiện chƣơng trình đào tạo theo hệ thống niên chế thành đào tạo

9

theo hệ thống tín chỉ kiểu Hoa Kỳ, bắt đầu từ năm học 2008-2009 và đòi hỏi phải hoàn tất

việc chuyển đổi này trƣớc năm 2012.

Trƣờng Đại học Công nghiệp Hà Nội đã triển khai đào tạo theo học chế tín chỉ bắt

đầu từ năm học 2008 – 2009. Đào tạo tín chỉ có ƣu điểm giúp sinh viên có thể tự quản lý

quỹ thời gian và tùy theo khả năng của mình để tự quyết định các môn học theo từng kỳ.

Vì vậy, việc tƣ vấn học tập, chủ yếu liên quan đến lựa chọn lộ trình học phù hợp nhằm

đạt đƣợc kết quả học tập cao nhất cho mỗi sinh viên đƣợc đặc biệt quan tâm. Đó cũng là

khó khăn chung không chỉ của sinh viên, mà còn của các cố vấn học tập, giáo viên chủ

nhiệm và các tổ chức quản lý trong trƣờng. Các giảng viên chuyên trách, cố vấn học tập

không thể tiếp cận toàn bộ dữ liệu về điểm của sinh viên.

Đối với mỗi sinh viên, việc lựa chọn cho mình một lộ trình học phù hợp theo đúng

quy trình đào tạo là một việc hết sức khó khăn, đặc biệt là với các sinh viên mới vào

trƣờng, khi mà kinh nghiệm học tập ở bậc đại học và hình thức đào tạo tín chỉ còn rất mới

mẻ. Xuất phát từ thực tế đó, việc tƣ vấn lựa chọn lộ trình học cho sinh viên theo ngành

học đã đăng ký là một việc làm hết sức thiết thực và ý nghĩa.

TÀI LIỆU THAM KHẢO

Tiếng Việt

[1] Phan Xuân Hiếu (2013), Bài giảng môn học KPDL và kho dữ liệu, Trƣờng Đại học

Công nghệ, Đại học Quốc gia Hà Nội.

[2] Hà Quang Thụy (2010), Bài giảng môn học Kho dữ liệu và KPDL, Trƣờng Đại học

Công nghệ, Đại học Quốc gia Hà Nội.

[3] Đỗ Phúc, Giáo trình khai thác dữ liệu, NXB Đại học Quốc gia TP HCM, 2005.

[4] Nguyễn Thái Nghe, Paul Janecek, Peter Haddawy, Một phân tích giữa các kỹ thuật

trong dự đoán kết quả học tập, Khoa Công nghệ thông tin và Truyền thông, Đại học

Cần Thơ.

Tiếng Anh

[5] JamieMacLennan, ZhaoHui Tang, Bogdan Crivat. Data Mining with Microsoft SQL

Server 2008. Published by Wiley Publishing, Inc., Indianapolis, Indiana. 2008.

[6] Jiawei Han and Micheline Kamber. Data Mining Concepts and Techniques, Second

Edition. Published by Elsevier Inc. 2006.

10

[7] Brian Knight, Devin Knight, Adam Jorgensen, Patrick LeBlanc, Mike Davis. Knight's

Microsoft Business Intelligence 24-Hour Trainer. Published by Wiley Publishing, Inc.

2010.

[8] Tang, Z. H., MacLennan, J.: “Data Mining with SQL Server 2005”, Indianapolis:

Wiley, 2005.

[9] Usama M.Fayyad, Gregory Piatesky-Shaporo, Padhraic Smyth and Ramasamy

Uthurusamy (1996), Advances in Knowledge Discovery and Data Mining, AAAI

Press.