TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ

ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN

THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC

NĂM HỌC 2016 – 2017

ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC

BẰNG NHẬN DIỆN KHUÔN MẶT

Giảng viên hướng dẫn: Trần Bá Minh Sơn

Nhóm Sinh viên thực hiện: 1. Nguyễn Xuân Cường

2. Phạm Minh Tiến

3.Nguyễn Hoàng Anh

4.Nguyễn Quốc Thông

Bình Dương, tháng 03 năm 2017

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ

ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN

THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC

NĂM HỌC 2016 - 2017

ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC

BẰNG NHẬN DIỆN KHUÔN MẶT

Giảng viên hướng dẫn: Trần Bá Minh Sơn

Nhóm Sinh viên thực hiện: 1. Nguyễn Xuân Cường

2. Phạm Minh Tiến

3.Nguyễn Hoàng Anh

4.Nguyễn Quốc Thông

Bình Dương, tháng 03 năm 2017

MỤC LỤC

LỜI NÓI ĐẦU ............................................................................................................................ 2

1.Giới thiệu ................................................................................................................................. 2

2.Mục tiêu ................................................................................................................................... 3

3.Phạm Vi ................................................................................................................................... 3

4.Đối Tượng ............................................................................................................................... 3

5.Phương Pháp Nghiên cứu ........................................................................................................ 3

+ Phương pháp nghiên cứu lý thuyết: ..................................................................................... 3

+ Phương pháp nghiên cứu thực nghiệm: ............................................................................... 3

6. Nội dung và tiến độ nghiên cứu .............................................................................................. 4

NỘI DUNG ................................................................................................................................ 4

CHƯƠNG I KHẢO SÁT HIỆN TRẠNG, THU THẬP YÊU CẦU,CỞ SỞ LÝ LUẬN ........... 4

1.1 Tổng quan về hệ thống ..................................................................................................... 4

1.1.1 Mô ta bài toán ............................................................................................................ 4

1.1.2 Giới thiệu bài toán nhận dạng khuôn mặt người ....................................................... 4

1.1.3 Ứng dụng của đề tài vào cơ sở thực tiễn ................................................................... 5

1.2.1 Yêu cầu các chức năng .............................................................................................. 6

1.3 Mô ta chức năng ............................................................................................................... 6

1.3.1 Chức năng nhận diện khuôn mặt. .............................................................................. 6

1.3.2 Chức năng kiểm tra việc vào ra lớp học. ................................................................... 7

1.3.3 Xuất danh sách chi tiết vào ra lớp học của sinh viên................................................. 7

1.4.2 Trích đặc trưng bằng phương pháp PCA ................................................................... 7

1.5 Phân tích phân lớp tuyến tính LDA .................................................................................. 9

1.6 Mẫu nhị phân cục bộ (LBP) ............................................................................................. 9

1.6.1 Mô ta kết cấu (Texture descriptor) ............................................................................ 9

1.6.2 Mẫu nhị phân cục bộ mở rộng ................................................................................... 9

1.6.3 Mẫu đồng nhất (uniform patterns) ............................................................................. 9

1.6.4 Áp dụng LBP mô ta khuôn mặt ................................................................................. 9

1.7 Support vector Machines (SVM) ...................................................................................... 9

1.7.1 Các khái niệm nền tang ........................................................................................... 10

1.7.2 SVM tuyến tính ....................................................................................................... 10

1.7.3 SVM phi tuyến ........................................................................................................ 10

1.7.4 SVM cho vấn đề nhận dạng đa lớp .......................................................................... 10

1.8 ĐỀ XUẤT PHƯƠNG PHÁPNHẬN DẠNG MẶT NGƯỜI ......................................... 11

1.8.1 Phân tích bài toán nhận dạng mặt người ................................................................. 11

1.8.1.1 Phát hiện khuôn mặt (face detection) ............................................................... 11

1.8.1.2 Tiền xử lý anh (preprocessing) ......................................................................... 11

1.8.1.3 Trích rút đặc trưng ( feature extraction) ........................................................... 11

1.8.1.4 Nhận dạng/Phân lớp. ........................................................................................ 12

1.8.1.5 Dữ liệu hệ thống nhận dạng. ............................................................................. 12

1.9 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM............................................ 12

1.10 Áp dụng LBP trích rút đặc trưng & PCA để giam số chiều. ........................................ 13

1.11 Áp dụng SVM phân lớp/nhận dạng .............................................................................. 13

1.12 Đánh giá phương pháp .................................................................................................. 15

CHƯƠNG II PHÂN TÍCH THIẾT KẾ HỆ THỐNG ............................................................... 16

2.1 Sơ đồ use-case ................................................................................................................ 16

2.2 Mô hình sequence diagram ........................................................................................ 17

2.2.1 Mô hình đăng ký đăng nhập hệ thống ................................................................ 17

2.2.2 Mô hình chức năng nhận diện camera .................................................................... 18

2.2.3 Chức năng thông báo, chỉnh sửa danh sách điểm danh và cho các bộ phận ........... 18

2.3 Sơ đồ thực thể kết hợp .................................................................................................... 19

2.4 Cấu trúc bang và kiểu dữ liệu thuộc tính ........................................................................ 20

CHƯƠNG III THIẾT KẾ GIAO DIỆN ................................................................................... 22

Giao diện đăng nhập ............................................................................................................. 22

Giao diện quan lý sinh viên: ................................................................................................. 23

Giao diện lưu trữ CSDL và nhận diện ................................................................................. 23

Giao diện xử lý training anh và lưu trữ CSDL ..................................................................... 24

CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN ....................................... 25

4.1 Đánh giá kết qua ........................................................................................................ 25

4.1.1 Kết qua đạt được ...................................................................................................... 25

4.1.2 Việc chưa đạt được ............................................................................................. 25

4.2 Hướng phát triển .................................................................................................... 25

DANH SÁCH CÁC KÍ TỰ , CHỮ VIẾT TẮT

CSDL Cơ Sở Dữ Liệu

PK PRIMARY KEY

PCA Principal component analysis

2

LỜI NÓI ĐẦU

1.Giới thiệu

Hiện nay tình trạng trốn học,bỏ tiết học, không thực hiện đầy đủ nội quy tham gia đầy

đủ số tiết học trong các trường học nói chung và đại học Thủ Dầu Một nói riêng, việc

quan lý điểm danh còn nhiều khó khăn, quan lý điểm danh còn nhiều thiếu sót cũng

như là lưu trữ còn chưa chặt chẽ. Với sự phát triển nhanh chóng của các loại máy móc

hiện đại như máy anh số, máy quay phim kỹ thuật số, máy vi tính,điện thoại thông

minh… thì lượng thông tin con người thu được dưới dạng hình anh là khá lớn. Xử lý

anh là một trong những lĩnh vực ngày càng được phổ biến trong đời sống xã hội.

Không chỉ dừng lại ở việc xử lý những vết nhòe, tái chế và phục hồi các anh cũ, ngày

nay các kỹ phương pháp xử lý anh đã mang lại những tiến bộ vượt bậc như nhận dạng

vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng khi nó kết hợp với lĩnh vực trí tuệ

nhân tạo. Bên cạnh đó, vấn đề an ninh bao mật đang được yêu cầu khắc khe tại mọi

quốc gia trên thế giới. Các hệ thống xác định, nhận dạng con người được ra đời với độ

tin cậy cao. Một trong nhưng bài toán nhận dạng con người được quan tâm nhất hiện

nay đó là nhận dạng qua khuôn mặt. Có hai phương pháp nhận dạng phổ biến hiện nay

là nhận dạng dựa trên đặc trưng của các phần tử trên khuôn mặt như biển đổi Sóng

Wavelet (Gabor Wavelet) và Mạng Nơron (Neural Network), Support Vector Machine

(SVN),… và nhận dạng dựa trên xét tổng thể toàn khuôn mặt như phương pháp Phân

tích thành phần chính (Principal Component Analysis – PCA) phương pháp Phân tích

sự khác biệt tuyến tính (Linear Discriminant Analysis – LDA),kết qua nhận dạng cao

bởi nó hoạt động ổn định và có tính thích nghi cao khi dữ liệu đầu vào thay đổi

nhiều.Kết hợp với phương pháp nhận diện khuôn mặt vào trong việc nhận dạng và

điểm danh sinh viên ra vào lớp một cách tự động. Việc đó làm giam rất nhiều chi phí

cũng như là quan lý thông tin một cách chặt chẽ và nhanh chóng nhất. Đó là lí do

nhóm chọn đề tài: "XÂY DỰNG ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC

BẰNG NHẬN DẠNG KHUÔN MẶT"

3

2. Mục tiêu

Mục tiêu chính của đề tài là xây dựng một ứng dụng quan lý vào ra lớp học bằng nhận

dạng khuôn mặt đáp ứng các chức năng sau:

- Quan lý vào ra lớp học hiệu qua.

- Tính năng nhận dạng khuôn mặt.

- Giúp cho việc kiểm tra sĩ số lớp học nhanh.

- Quan lý thời gian lên lớp của sinh viên.

- Hiện đại cách điểm danh.

3. Phạm Vi

Tập trung Nghiên cứu về nhận diện sinh viên vào ra lớp học ở cấp trường.

4. Đối Tượng

Tất ca những đối tượng có nhu cầu , ưu tiên trường đại học Thủ Dầu Một

5. Phương Pháp Nghiên cứu

+ Phương pháp nghiên cứu lý thuyết:

- Công nghệ ASP.NET, truy vấn SQL, phân tích thiết kế hệ thống.

- Các phương pháp nhận dạng khuôn mặt người

- Phân tích thành phần chính (PCA)

- Phân tích phân lớp tuyến tính LDA

- Mẫu nhị phân cục bộ (LBP)

- Support vector Machines (SVM)

+ Phương pháp nghiên cứu thực nghiệm:

- Khao sát những góc chụp camera

- Khao sát thời gian nhận diện gửi kết qua tra về máy chủ.

- Lập trình thiết kế ứng , cài đặt thuật toán trong môi trường thực nghiệm

4

6. Nội dung và tiến độ nghiên cứu

- Xây dựng cơ sở dữ liệu hình anh mẫu để nhận diện.

- So sánh anh của đối tượng được nhận diện với anh được lưu trong cơ sở dữ liệu.

- Truy xuất thông tin của đối tượng được nhận diện.

- Ghi nhận thời gian vào và ra.

NỘI DUNG

CHƯƠNG I KHẢO SÁT HIỆN TRẠNG, THU THẬP YÊU

CẦU,CỞ SỞ LÝ LUẬN

1.1 Tổng quan về hệ thống

1.1.1 Mô tả bài toán

Khi nói đến việc điểm danh từng sinh viên trong trường đại học thì mọi người chúng ta

đều nghĩ rằng chỉ điểm danh đơn thuần bằng giấy,bút,danh sách đã in sẵn... mà chưa

quan tâm đến việc áp dụng công nghệ mới vào việc điểm danh. Việc điểm danh truyền

thống gây ra rất nhiều vấn đề như : mất rất nhiều thời gian,chi phí không những thế bên

cạnh đó còn xay ra thêm các vấn đề như là thất lạc danh sách điểm danh, khó thống kê

trên số lượng sinh viên rất lớn của môi trường đại học nói chung và môi trường đại học

Thủ Dầu Một nói riêng. Vì thế khi áp dụng công nghệ mới vào việc điểm danh thì sẽ tiết

kiệm rất nhiều thời gian , chi phí, rút ngắn được nhiều thời gian cho việc điểm danh ,

thống kê và nhiều vấn đề phát sinh. Với công nghệ nhận diện khuôn mặt thì việc điểm

danh sẽ trở lên tự động có khoa học hơn.

1.1.2 Giới thiệu bài toán nhận dạng khuôn mặt người

Nhận dạng mặt người (Face recognition) được nghiên cứu từ nhưng năm 1980, là một

lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision), và cũng được xem

là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tương tự như nhận dạng

vân tay – Fingerprint recognition, hay nhận dạng mống mắt – Iris recognition. Trong

5

khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế một cách rộng rãi thì

nhận dạng mặt người vẫn còn nhiều thách thức. So với nhận dạng vân tay và mống mắt,

nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi hỏi sự tương tác có kiểm soát

hơn. Bài toán nhận dạng mặt người còn nhiều thách thức nên hàng năm trong & ngoài

nước vẫn có nhiều nghiên cứu về các phương pháp nhận dạng mặt người. Để thử nghiệm

phương pháp chúng ta cần có một cơ sở dữ liệu anh mẫu. Có ba cơ sở dữ liệu anh mẫu

phổ biến là: Cơ sở dữ liệu AT&T, Cơ sở dữ liệu Yale A, Cơ sở dữ liệu Yale B Bài toán

nhận dạng khuôn mặt có thể áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau.

1.1.3 Ứng dụng của đề tài vào cơ sở thực tiễn

Trong đề tài này, nhóm tập trung tìm kiếm và đề xuất một thuật toán hiệu qua nhận dạng

khuôn mặt nhằm kiểm tra việc vào ra lớp học của sinh viên trường đại học Thủ Dầu

Một.Do các khó khăn của bài toán nhận dạng khuôn mặt như: Tư thế góc chụp, sự xuất

hiện hoặc thiếu một số thành phần của khuôn mặt, sự biểu cam của khuôn mặt, sự

che khuất, hướng của anh, điều kiện của anh...

Vì thế nhóm đưa ra những gia định và ràng buộc sau làm giam độ phức tạp của bài toán

như sau:

- Góc anh trực diện (frontal) hoặc gần như trực diện, không bị che khuất (no occlusion)

- Ảnh được chụp trong điều kiện ánh sáng bình thường.

- Cơ sở dữ liệu anh nhỏ, khoang trăm anh.

- Ảnh được xét là anh số, nghĩa là anh mặt người được chụp từ các thiết bị như máy anh

số,camera,….Không xem xét các anh mặt người nhân tạo như vẽ, điêu khắc …

6

1.2.1 Yêu cầu các chức năng

CÁC CHỨC NĂNG CỦA CHƯƠNG TRÌNH

PHẦN MỀM ĐIỂM DANH NHẬN DIỆN BẰNG KHUÔN MẶT

A.Các chức năng tổng quát

1.Nhận diện khuôn mặt.

2. Chức năng kiểm tra việc vào ra lớp học.

3.Xuất danh sách chi tiết vào ra lớp học của sinh viên.

B.Phân rã các chức năng nhỏ trong các chức năng tổng quát

1.Nhận Diện Khuôn Mặt

1.1Chụp hình anh khuôn mặt .

1.2 Lưu CSDL.

1.3 Phân tích nhận diện hình anh.

1.4 Lưu thông tin nhận diện điểm danh.

2. Chức năng kiểm tra việc vào ra lớp học

2.1 Lưu các thông tin điểm danh từng học sinh vào Các Bang trên server .

2.2 Lưu Các lần ra vào lớp trong suốt buổi học .

2.3Xuất thông tin các sinh viên có trong lớp học tại thời gian hiện tại.

2.4 Sinh viên có mặt trong lớp ở khoang thời gian nào.

3. Thông báo danh sách điểm danh cho các bộ phận quan lý

3.1 Xuất ra danh sách các thời gian chi tiết của từng sinh viên.

1.3 Mô tả chức năng

1.3.1 Chức năng nhận diện khuôn mặt.

Mô ta:Hệ thống camera tự động chụp hình anh ,gửi về máy chủ sau đó máy chủ dùng

thuật toán nhận diện khuôn mặt của thư viện OpenCV ,EmguCV để nhân diện những

khuôn mặt đã được chụp bởi camera

- Trình tự thực hiện:

1.Camera chụp hình anh.

2.Camera truyền hình anh cần phân tích về máy chủ.

3. Máy chủ phân tích nhận diện hình anh.

4.Lưu cơ sở dữ liệu thông tin đã nhận diện.

- Kết quả: Nhận diện các sinh viên .

7

1.3.2 Chức năng kiểm tra việc vào ra lớp học.

Mô ta: Phát hiện ra những sinh viên đã vào lớp sau đó ghi vào cơ sở dữ liệu.

- Trình tự thực hiện:

1. Máy chủ nhận hình anh và phân tích

- Kết quả: Điểm danh được sinh viên đã vào ra lớp học.

1.3.3 Xuất danh sách chi tiết vào ra lớp học của sinh viên.

- Mô tả: Bộ Phận kiểm tra thông tin chi tiết sinh viên theo lớp,khoa và theo ngày giờ

bằng cách truy cập vào website quan lý thiết kế riêng.

- Trình tự thực hiện:

1. Truy cập vào website để xem thông tin

- Kết quả: xem và quan lý được thông tin chi tiết vào ra của sinh viên

1.4 Các phương pháp nhận dạng khuôn mặt người

1.4.1 Phân tích thành phần chính (PCA)

Phân tích thành phần chính là phương pháp lâu đời nhất và cũng là phương pháp phổ

biến nhất khi nghiên cứu nhận dạng khuôn mặt. Phân tích thành phần chính là một

kỹ thuật phân tích biến đổi được nghiên cứu khá rộng rãi và biết đến nhiều. Thuật toán

này lần đầu tiên được giới thiệu bởi Pearson (1901), và được phát triển một cách độc

lập bởi Hotelling (1933). Ý tưởng chính của thuật toán phân tích thành phần chính là

giam số chiều của tập dữ liệu có sự tương quan lớn giữa các biến. Mặc dù giam số

chiều của biến nhưng vẫn duy trùy sự biến đổi nhiều nhất có thể của tập dữ liệu ban đầu.

Thực chất của PCA là giai quyết bài toán tìm trị riêng và vector riêng cho ma trận đối

xứng.

1.4.2 Trích đặc trưng bằng phương pháp PCA

+ Trích chọn đặc trưng PCA và huấn luyện

- Nhận các khuôn mặt từ cơ sở dữ liệu – tập luyện

Đầu tiên chúng ta sẽ đọc cơ sở dữ liệu và nhận vào các anh luyện Ii . Các anh luyện ở đây đều

là anh mặt, điều kiện quan trọng là chúng có mặt ở tâm anh và có cùng kích thước với nhau.

Gia sử có M anh, khi đó i=1..M.

Sau đó ta tương ứng mỗi anh Ii với một vector Γi

Ii (anh N×N) → Γi(vector 𝑁2 ×1)

8

- Tính toán giá trị trung bình

Giá trị vector trung bình:

Với M là số anh trong tập luyện, Γi là vector 1 chiều (𝑁2 ×1) đại diện cho mỗi anh.

Ψ là vector trung bình (kích thước 𝑁2 ×1)của tập tất ca các Γi trên;

Ψ còn được gọi là vector trung bình mặt của tập luyện.

- Trừ đi giá trị trung bình

Sai số của các anh so với giá trị vector mặt trung bình được tính toán theo công thức:

Φi = Γi – Ψ (*)

Trong đó: Φi là vector sai số ứng với mỗi anh, Γi là vectot 1 chiều của các anh,

Ψ là vector trung bình mặt.

- Tính ma trận hiệp biến

Ma trận hiệp biến được tính theo công thức sau:

Trong đó C là ma trận hiệp biến (kích thước 𝑁2 × 𝑁2 ) 𝐴 =

1

√𝑀[𝛷1𝛷2. . . 𝛷𝑛 ]

A là ma trận 𝑁2 × 𝑀, 𝚽n là giá trị sai số được tính ở công thức (*).

- Tính các trị riêng và vector đặc trưng của ma trận hiệp biến

Để tính các trị riêng và vector đặc trưng của ma trận hiệp biến ta phai tính với ma trận C hay

chính là tính cho ma trận 𝐴𝐴𝑇 . Tuy nhiên điều này là không kha thi, do C là ma trận 𝑁2 × 𝑁2

nên số chiều là quá lớn, khối lượng tính toán là vô cùng nhiều (đặc biệt khi kích thước anh

luyện lớn thì N lớn, 𝑁2 và 𝑁2 × 𝑁2

là cực kì lớn)

Ta nhận thấy 2 ma trận 𝐴𝐴𝑇 và 𝐴𝑇𝐴 luôn có chung trị riêng và vector đặc trưng thì có liên hệ

với nhau bởi biểu thức ui = Avi mà ma trận 𝐴𝑇𝐴 lại có số chiều ít hơn hẳn (ma trận M×M)

nên ta sẽ chuyển đổi về ma trận 𝐴𝑇𝐴.

Sau khi tính toán ta được M vector đặc trưng của 𝐴𝐴𝑇 (ui = Avi) tương ứng với M giá trị

riêng. Chuẩn hóa các vector đặc trưng ui về vector đơn vị:

||ui || =1

- Lựa chọn các thành phần và xây dựng vector đặc trưng

Để giam thiểu tối đa số chiều cũng như giam độ phức tạp tính toán, ta chỉ giữ lại K vector đặc

trưng (tương ứng K giá trị riêng lớn nhất). Khi đó mỗi khuôn mặt sau khi trừ đi giá trị trung

bình sẽ được đại diện bởi K vector đặc trưng:

9

Mỗi khuôn mặt training Φi sẽ được biểu diễn bởi một vector:

Trong đó 𝑤𝑗𝑖 (j=1..K) là các trọng số tương ứng với K vector đặc trưng, 𝛺𝑖 là vector đại diện

cho khuôn mặt thứ i trong tập luyện.

1.5 Phân tích phân lớp tuyến tính LDA

1.6 Mẫu nhị phân cục bộ (LBP)

LBP là một toán tử kernel 3×3, nó tổng quát hóa cấu trúc không gian cục bộ của một

anh. Ojala và các đồng nghiệp đã giới thiệu phương pháp LBP và chỉ ra kha năng phân

tách cao của chúng cho sự phân lớp vân. Bởi vì kha năng phân tách và chi phí tính

toán thấp, LBP trở nên rất phổ biến trong nhận dạng mẫu LBP đã được áp dụng cho

phát hiện khuôn mặt, nhận dạng khuôn mặt, xác thực khuôn mặt, truy vấn anh.

1.6.1 Mô tả kết cấu (Texture descriptor)

1.6.2 Mẫu nhị phân cục bộ mở rộng

1.6.3 Mẫu đồng nhất (uniform patterns)

1.6.4 Áp dụng LBP mô tả khuôn mặt

Việc áp dụng mô ta khuôn mặt bằng LBP được Ahonen và các cộng sự thực hiện năm

2006. Ý tưởng của phương pháp là chia hình hanh khuôn mặt thành các khối, sau đó

tính toán các histogram tương ứng với các khối. Cuối cùng kết hợp các histogram này

lại với nhau để có được vector đặc trưng cho khuôn mặt.

1.7 Support vector Machines (SVM)

SVM là một phương pháp phân lớp xuất phát từ lý thuyết học thống kê. Thuật toán

SVM lần đầu tiên được Vladimir Vapnik đề xuất. Sau đó, Corinna Cortes cùng với

10

Vladimir Vapnik đề xuất hình thức chuẩn hiện nay. SVM có nhiều tính năng ưu việt so

với các phương pháp cổ điển khác: dễ dàng xử lý, xử lý với tính ổn định cao trên dữ

liệu phức tạp, có thể có số chiều lớn và quan trọng hơn ca là kha năng xử lý tổng quát..

1.7.1 Các khái niệm nền tang

1.7.2 SVM tuyến tính

1.7.3 SVM phi tuyến

1.7.4 SVM cho vấn đề nhận dạng đa lớp

Hình 1.1.7.4 :Cấu Trúc 1 cây nhị phân cho nhận dạng 8 lớp

11

1.8 ĐỀ XUẤT PHƯƠNG PHÁPNHẬN DẠNG MẶT NGƯỜI

1.8.1 Phân tích bài toán nhận dạng mặt người

Một hệ thống nhận dạng mặt người thông thường gồm các bước sau đây:

1.8.1.1 Phát hiện khuôn mặt (face detection)

Phát hiện khuôn mặt là quá trình xác định vị trí khu vực khuôn mặt trong hình anh và

sẽ lấy ra tất ca các khuôn mặt trong một hình anh.

1.8.1.2 Tiền xử lý ảnh (preprocessing)

Bước này nhằm mục đích lọc nhiễu, nâng cao chất lượng anh, trong bước này bao gồm

các bước : Căn chỉnh anh, chuẩn hóa ánh sáng

1.8.1.3 Trích rút đặc trưng ( feature extraction)

Ở bước này một phương pháp trích chọn đặc điểm như: mẫu nhị phân cục bộ – LBP

(hay Gabor wavelets, Gradient, Discrete Cosine Transform …) sẽ được sử dụng với

anh mặt để trích xuất các thông tin đặc trưng cho anh,kết qua là mỗi anh sẽ được biểu

diễn dưới dạng một vector.đề tài nhóm chọn chủ yếu trình bày về phương pháp Local

Binary Pattern mục

12

1.8.1.4 Nhận dạng/Phân lớp.

Bước nhận dạng (recognition) hay phân lớp (classification), tức là xác định danh tính

(identity) hay nhãn (label) của anh – đó là anh của ai. Trong Báo Cáo trình bày về

phương pháp phương pháp SVM

1.8.1.5 Dữ liệu hệ thống nhận dạng.

Dữ liệu hệ thống nhận dạng được chia làm 3 tập

▪ Tập huấn luyện (training set),

▪ Tập tham chiếu (reference set)

▪ Tập để nhận dạng (probe set).

Trong nhiều hệ thống, tập training trùng với tập reference (trong báo cáo này tập huấn

luyện trùng với tập training). Tập training gồm các anh được dùng để huấn luyện,

thông thường tập này được dùng để sinh ra một không gian con là một ma trận và

phương pháp hay được sử dụng là PCA, LDA…Tập reference gồm các anh đã biết

danh tính được chiếu vào không gian con ở bước training.. Sau khi thực hiện chiếu tập

reference vào không gian con, hệ thống lưu lại kết qua là một ma trận với mỗi cột của

ma trận là một vector tương ứng với anh (định danh đã biết) để thực hiện nhận dạng

(hay phân lớp). Nhận dạng (hay phân lớp) được thực hiện với tập các anh probe.

1.9 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM

Hiện tại có nhiều phương pháp kết hợp để nhận dạng khuôn mặt như trên đề cập.Nhóm

sẽ trình bày về phương pháp nhận dạng mặt người bằng cách kết hợp ba phương pháp

LBP, PCA & SVM, ứng dụng việc kết hợp ba phương pháp nhận dạng

Sơ đồ kết hợp các phương pháp

13

1.10 Áp dụng LBP trích rút đặc trưng & PCA để

giảm số chiều.

Trong báo cáo anh chia làm 49 khối, mỗi chiều của anh chia làm 7 phần kích thước của anh

khuôn mặt trước khi rút đặc trưng cần là 126x147px.

Các bước thực hiện trích rút đặc trưng khuôn mặt:

Các bước thực hiện trích rút đặc trưng

1.11 Áp dụng SVM phân lớp/nhận dạng

Sử dụng SVM nhiều lớp với chiến lược one-vs-one (Theo nghiên cứu của Chih-Wei

Hsu và Chih-Jen Lin [11] chiến lược one-vs-all cho kết qua không được tốt), sử dụng

với hàm nhân là Radial basic funtion (RBF) để nhận dạng (Theo kết qua thực nghiệm

hàm nhân RBF cho tỉ lệ nhận dạng cao nhất)

14

Sơ đồ phân lớp nhận dạng sử dụng SVM

15

1.12 Đánh giá phương pháp

Đồ thị tỉ lệ nhận dạng phương pháp PCA và LDA trên tập AT&T

Đối với sinh viên trường thì để lấy tập dữ liệu anh lớn như vậy là rất khó. Sau khi thử

nghiệm với phương pháp LBP, SVM, PCA với số lượng anh mẫu/người từ 3 trở lên,

kết qua cũng rất kha quan.

Tỉ lệ nhận dạng theo số lượng ảnh mẫu phương pháp LBP-PCA- SVM trên CSDL

AT&T & Yale A

16

CHƯƠNG II PHÂN TÍCH THIẾT KẾ HỆ THỐNG

2.1 Sơ đồ use-case

Sơ đồ 1: Sơ đồ use case mô ta chức năng của 2 actor Camera và Máy chủ .

Sơ đồ 2 : Sơ đồ use case mô ta chức năng của actor Bộ Phận Quan Lý

17

2.2 Mô hình sequence diagram

2.2.1 Mô hình đăng ký đăng nhập hệ thống

Hình 2.1. Mô hình đăng ký

_ Dòng sự kiện: ở trang chủ, Admin sẽ nhấp vào “Đăng ký”, hệ thống sẽ chuyển sang

trang đăng ký, ở đây hệ thống yêu cầu admin nhập đầy đủ thông tin theo yêu cầu, sau

khi admin nhập đầy đủ thông tin vào nhấp vào nút”Đăng ký” thì hệ thống sẽ gửi thông

tin vào trong CSDL, nếu dữ liệu đúng thì hệ thống sẽ phan hồi lại cho admin là đăng ký

thành công và sẽ chuyển qua trang đăng nhập, ngược lại hệ thống sẽ báo lỗi vào yêu cầu

Admin nhập lại.

18

2.2.2 Mô hình chức năng nhận diện camera

Hình 2.2 Mô hình chức năng nhận diện camera

Dòng sự kiện : Camera nhận diện hình anh gửi về Controller xử lý , kiểm tra xem hình

anh người cần nhận diện đã có trong CSDL chưa, nếu có rồi thì tra kết qua nhận

diện,nếu không có thì controller nhận diện và lưu hệ thống CSDL.

2.2.3 Chức năng thông báo, chỉnh sửa danh sách điểm danh và cho các bộ phận

Hình 2.3 Chức năng thông báo, chỉnh sửa danh sách điểm danh và cho các bộ phận

19

Dòng sự kiện : Các bộ phận thực hiện thao tác kiểm tra thông tin điểm danh trên diao

diện điểm danh sinh viên , sau đó controller sẽ thực hiện yêu cầu kiểm tra xem thông

tin cần lấy trong CSDL nếu có thì xuất thông tin về giao diện. Các bộ phận tiếp tục từ

thông tin đã nhận được thực hiện các thao tác thêm xóa sửa , controller điều khiển

nhận các yêu cầu và thực hiện thao tác trên CSDL. Sau đó thông báo kết qua ra giao

diện.

2.3 Sơ đồ thực thể kết hợp

20

2.4 Cấu trúc bảng và kiểu dữ liệu thuộc tính

Table: SINHVIEN (Sinh Viên)

Field Name Data Type Null Key Description

MaSV Varchar(15) No PK

Lop Varchar(6) Yes

Ho Nvarchar(20) Yes

Ten Nvarchar(20) Yes

Table: GIANGVIEN (Giảng Viên)

Field Name Data Type Null Key Description

MaGV Varchar(15) No PK

Password NVarchar(100) Yes

Ho Nvarchar(20) Yes

Ten Nvarchar(20) Yes

Table: MONHOC (Môn Học)

Field Name Data Type Null Key Description

MaMH Varchar(5) No PK

TenMH Nvarchar(80) Yes

SoTC int Yes

Table: LOP(Lớp)

Field Name Data Type Null Key Description

MaLop Varchar(8) No PK

TenLop Nvarchar(80) Yes

Table: KHOA (Khoa)

Field Name Data Type Null Key Description

MaKhoa Varchar(5) No PK

TenKhoa Nvarchar(80) Yes

21

Table: IMAGES(Hình Ảnh)

Field Name Data Type Null Key Description

IDIMG Varchar(5) No PK

LinkIMG Nvarchar(500) Yes

Table: DIEMDANH(Điểm Danh)

Field Name Data Type Null Key Description

MaDD Varchar(8) No PK Mã điểm danh này là mỗi môn sinh

viên có mỗi mã

MaGV Varchar(15) Yes FK

MaSV Varchar(15) Yes

MaMH Varchar(5) Yes

MaLop Varchar(8) Yes

Table: CTDIEMDANH(Chi Tiết Điểm Danh)

Field Name Data Type Null Key Description

MaDD Varchar(8) No PK Mã Điểm Danh

NgayDD Datetime Yes Ngày Điểm Danh, Điểm Danh Vào

Ngày nào

SoNV int Yes Số Ngày Vắng

NgayBDMH Datetime Yes Ngày Bắt Đầu Môn Học

NgayKTMH Datetime Yes Ngày Kết Thúc Môn Học

22

Table: CTDIEMDANH(Chi Tiết Điểm Danh)

Field Name Data Type Null Key Description

MaDD Varchar(8) No PK Kết Nối Với Mã Điểm danh của bang

chi tiết điểm danh

NgayHT Datetime Yes Ngày hiện Tại Đang Học

TrangThaiHT Int Có hoặc không,nếu có trong lớp giá

trị sẽ là có và ngược lại cập nhật khi

sinh viên này ra vào lớp

CHƯƠNG III THIẾT KẾ GIAO DIỆN

Giao diện đăng nhập

23

Giao diện quản lý sinh viên:

Giao diện lưu trữ CSDL và nhận diện

24

Giao diện xử lý training ảnh và lưu trữ CSDL

25

CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN

4.1 Đánh giá kết quả

4.1.1 Kết quả đạt được

- Thực hiện được việc quan lý vào ra lớp học một cách khoa học,

- Lưu trữ được thông tin các sinh viên đi học một cách tự động theo phòng học

- Nhận diện được hình anh các sinh viên một cách khá tốt qua nhận diện khuôn

mặt

- Thống kê được danh sách các sinh viên vào ra lớp học một cách nhanh chóng

4.1.2 Việc chưa đạt được

- Việc nhận diện các khuôn mặt còn hạn chế một số góc nhìn .

- Thuật toán sử dụng chưa được tối ưu

4.2 Hướng phát triển

- Cai thiện thuật toán để việc nhận diện được nhanh hơn

- Cai thiện góc nhìn để camera bắt được đầy đủ góc khía cạnh khuôn mặt