18
Мэдрэлийн гүн сүлжээ ашиглан хүний царай таних аргачлалын судалгаа (Face Recognition with Deep Neural Network) М.Эрхэмбаатар А.Хүдэр* Б.Луубаатар** Магистрант, Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс *Удирдагч: Доктор, дэд проф., Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс **Зөвлөх: Докторант ахлах багш, Электроникийн салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс 2016-11-30

Face recognition with Deep Neural Network

Embed Size (px)

Citation preview

Page 1: Face recognition with Deep Neural Network

Мэдрэлийн гүн сүлжээ ашиглан хүний царай таних аргачлалын судалгаа

(Face Recognition with Deep Neural Network)

М.ЭрхэмбаатарА.Хүдэр*

Б.Луубаатар**

Магистрант, Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс*Удирдагч: Доктор, дэд проф., Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс

**Зөвлөх: Докторант ахлах багш, Электроникийн салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс

2016-11-30

Page 2: Face recognition with Deep Neural Network

Удиртгал Дүрс болон царай илрүүлэх, таних хэрэгцээ өссөн

Хүний чадавхи 99.5%, DeepFace 99.7%, EigenFace 64.8%

Маш их хэмжээний өгөгдөл: ImageNet

Параллель тооцоолол: GPU, CUDA, cuDNN, Caffe, Torch

Тасалгааны камераар дүрс, царай таних хэрэгцээ

Хүндрэл, тооцооллын зардал

Зургийг Стэнфордын их сургуулийн “CS131: Computer Vision: Foundations and Applications” хичээлийн материалиас авав

зургийг Brandon Amos

Page 3: Face recognition with Deep Neural Network

Хэрэгцээ: Компьютер хараа

Хиймэл оюун ухаан, Робот

Ухаалаг гэр, оффис, хот

Эрүүл мэнд, оношилгоо CT, MRI (Хорт хавдар илрүүлэх)

Дрон, жолоочгүй автомашин

Камерийн хяналт, газарзүй орчны зураглал

Бизнес, медиа, энтертайнмент, ...

Зургуудыг Nvidia.com, Omate.com сайтаас тус тус авав

Page 4: Face recognition with Deep Neural Network

Зорилго

Онол алгоритмд суралцаж, эзэмших Computer Vision, Image Classification, Machine & Deep Learning, CNN, RNN, Softmax, SVM, ..

Өгөгдлийн бааз бүрдүүлэх

Өгөгдөл олборлолт, Сургалтын өгөгдөл, Их өгөгдөл (ImageNet 14 сая зурагтай) ...

Техник ур чадвар эзэмших

Суперкомпьютер: GPU, Параллель тооцоолол, ..

Багаж хэрэгсэл: Numpy, Scikit-learn, Linux, OpenCV, Dlib, CUDA, cuDNN, Caffe, Torch, TensorFlow, ..

Туршилт, судалгааны аргачлалын ур чадвар эзэмших

Дүрс илрүүлэх, царай таних, ангилагч, мэдрэлийн сүлжээ үүсгэх

Вишн Лаборатори, МХТС NVIDIA GPU Educators Program, “AI & Autonomous Robotic” хичээл, лаб. ажил

AI Robot of smart home

Page 5: Face recognition with Deep Neural Network

Судлагдсан байдал

Pre-trained VGG models by Oxford University, Монголын жишээ*

Page 6: Face recognition with Deep Neural Network

Царай илрүүлэх, таних

(зургийг “Face Detection and Recognition: Theory and Practice” номноос авч ашиглав)

Page 7: Face recognition with Deep Neural Network

Царай илрүүлэх: HOG хэв шинж

Histogram of Oriented Gradients

1. Цэгийн градиент чиглэл 2. HOG дүрслэл

3. HOG царайн хэв шинж

зургийг “Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning” нийтлэлээс авч ашиглав

Page 8: Face recognition with Deep Neural Network

Мэдрэлийн гүн сүлжээ

Convolutional, Non-linear, Pooling (Down sampling), Fully Connected layers, Output

Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

Page 9: Face recognition with Deep Neural Network

CNN: Шүүлтүүрдэх (Convolving)

Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

Page 10: Face recognition with Deep Neural Network

CNN: Мэдрэл (neuron)

Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

Page 11: Face recognition with Deep Neural Network

CNN: Шүүлтүүр (feature)

Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

зургийг Andrew Ng

Page 12: Face recognition with Deep Neural Network

CNN: Backpropagation

Forward pass, Lost function, Backward pass, Weight update

MSE (Mean Squared Error), Softmax, SVM, Gradient descent, Epoch

Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

Page 13: Face recognition with Deep Neural Network

Царай танилт: Сургалтын өгөгдөл

4 хүний нийт 226ш сургалтын өгөгдөл, туршилтын 50ш зураг

Dlib, OpenCV, Python

Page 14: Face recognition with Deep Neural Network

Царай танилт: Хэрэгжүүлэлт, туршилт

Python, OpenCV, Dlib, Torch, OpenFace, CUDA, cuDNN, LinuxMint

HOG face detection, pre-trained CNN model with Linear SVM classifier

Page 15: Face recognition with Deep Neural Network

Үр дүн

Туршилтын дундаж 92.54%, DeepFace 99.97%, Хүний чадавхи 99.5%

Өгөгдөл Туршилтын үр дүн (True positive) Дундаж Алдаа

Хүүхэд, 2 нас 50ш 0.83 0.87 0.91 0.98 0.86 0.97 0.97 0.99 0.97 0.92 0.927 0

Хүүхэд, 8 нас 68ш 0.99 0.99 0.68 0.97 0.99 0.94 1.00 1.00 0.99 0.48 0.903 2

Том хүн, эр 26ш 0.92 0.95 0.90 0.78 0.90 0.93 0.87 0.97 0.96 0.93 0.911 1

Том хүн, эм 82ш 0.83 0.98 0.99 0.91 0.93 0.98 0.99 0.98 1.00 0.99 0.958 0

Нийт 226ш 0.925 3

Өгөгдөл Туршилтын үр дүн (True negative) Дундаж Алдаа

Өөр хүн 10ш 0.49 0.59 0.42 0.21 0.28 0.53 0.03 0.06 0.64 0.54 0.379 6

Page 16: Face recognition with Deep Neural Network

Дүгнэлт

Интринсик Экстринсик

Ажиглагчаас хамааралгүй Ажиглагчаас хамааралтай

Физик хүчин зүйлс Гэрэлтүүлэг,

Үсний хэлбэр, насжилт Байршил

Нүүрний хувирал, нүдний шил Фокус

Арьсны өнгө, хүйс, угсаатанзүйн Шуугиан (noise)

Сургалтын өгөгдөл цөөдсөн, бусад хүмүүсийн зураг оруулах 92.5%

Их хэмжээний өгөгдөл (хүн тус бүрийн 500-1000) дээр GPU ашиглаж туршилт хийх

Тасалгааны камер, гэрийн туслах-роботын хиймэл оюунд ашиглах боломжтой

Page 17: Face recognition with Deep Neural Network

Ашигласан материал

[1] “Baidu’s Artificial-Intelligence Supercomputer Beats Google at Image Recognition”, MIT Technology Review, 2015

[2] “DeepFace: Closing the Gap to Human-Level Performance in Face Verification”. Facebook AI Research Publication, 2014

[3] “Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning”, 2016

[4] Navneet Dalal, Bill Triggs. "Histograms of Oriented Gradients for Human Detection”, 2005

[5] Vahid Kazemi, Josephine Sullivan. “One Millisecond Face Alignment with an Ensemble of Regression Trees”, 2014

[6] Florian Schroff, Dmitry Kalenichenko, James Philbin. “FaceNet: A Unified Embedding for Face Recognition and Clustering”, 2015

[7] Brandon Amos. OpenFace. https://cmusatyalab.github.io/openface/

[8] D. A. Forsyth and J. Ponce. "Computer Vision: A Modern Approach (2nd edition)". Prence Hall, 2011

[9] opencv.org, dlib.com, http://torch.ch

[10] CUDA, cuDNN. http://nvidia.com

[11] “CS231n Convolutional Neural Networks for Visual Recognition”, Stanford University

[12] Stan Z. Li Anil K. Jain. “Handbook of Face Recognition”. Springer, 2004

[13] Asit Kumar Datta, Madhura Datta, Pradipta Kumar Banerjee. “Face Detection and Recognition: Theory and Practice”. Taylor & Francis, 2015

[14] Mohamed Daoudi, Anuj Srivastava, Remco Veltkamp. “3D Face Modeling, Analysis and Recognition”. Wiley, 2013

Page 18: Face recognition with Deep Neural Network

Анхаарал хандуулсанд баярлалаа!

Асуулт?

“Engineers turn dreams into reality”

Hayao Miyazaki