โครงรางโครงงานทางวศวกรรม

(Senior Project Proposal)ภาควชาวศวกรรมคอมพวเตอร

คณะวศวกรรมศาสตร จฬาลงกรณมหาวทยาลย

5 กนยายน 2554

ชอหวขอโครงงาน (ภาษาไทย) การนบจำานวนผชมจากตวรบรภาพและความลก

ชอหวขอโครงงาน (ภาษาองกฤษ) Viewer Tally from Visual and Depth Imageโดย

นายคมเทพ ศกดศรยทธนา รหสประจำาตว 5130060021 ลายมอชอ………………

อาจารยทปรกษาโครงงาน

ผศ.ดร.อรรถวทย สดแสง ลายมอชอ…………………………

อ.ดร.นทท นภานนท ลายมอชอ…………………………

ชอหวขอโครงงาน

(ภาษาไทย) การนบจำานวนผชมจากตวรบรภาพและความลก

(ภาษาองกฤษ) Viewer Tally from Visual and Depth Imageความเปนมาและความสำาคญของปญหา

การนบจำานวนคนนบวามความสำาคญเชงธรกจเปนอยางมาก เพราะจำานวนคนเปนขอมลทสำาคญในการนำาไปพฒนาธรกจ เชน การนบจำานวนคนทเขาหางสรรพสนคาสามารถนำาเสนอขอมลทสำาคญในการปรบปรงชวโมงการซอขายใหมความเหมาะสมทสด สำาหรบในโครงงานนเราจะใหความสนใจกบการนบจำานวนผชมปายโฆษณาเปนสำาคญ [1]

เจาของธรกจมกใชปายโฆษณาเปนสอในการประชาสมพนธอนเนองมาจากความสามารถในการสอสารขอมลใหกบลกคาดวยตนทนทตำากวา สามารถดงดดความสนใจของลกคากลมใหมไดมากกวา และสามารถเพมยอดขายไดดกวาการประชาสมพนธโฆษณาดวยวธการอนๆ [2]

ทำาใหในปจจบนการใชปายโฆษณาเพอการประชาสมพนธและโฆษณามแนวโนมการใชงานทสงขน ในปพ.ศ. 2553 ทผานมา สถตการใชจายในการใชปายโฆษณาของประเทศไทยสงถง 3,841 ลานบาทและคดเปนรอยละ 3.91 ของคาใชจายในการโฆษณาทงหมด สำาหรบปพ.ศ.2554 นบตงแตเดอนมกราคมจนถงเดอนกรกฎาคม สถตการใชจายในการใชปายโฆษณาของ

ประเทศไทยตลอดระยะเวลา 7 เดอนสงถง 2,426 ลานบาทและคดเปนรอยละ 3.95 ของคาใชจายในการโฆษณาทงหมด [3]ในอดตการใชคอมพวเตอรในการตรวจจบคน (Human Detection) เปน

ปญหาทยากและทาทายเนองจากการเปลยนแปลงของทาทาง ความแตกตางของเสอผา ความไมเหมาะสมของแสงสวาง และความซบซอนของพนหลง แตในปจจบนเทคโนโลยทางดานตวรบรภาพไดพฒนาไปอกระดบหนง โดยทางบรษท Microsoft สามารถพฒนา Kinect ซงเปนอปกรณทสามารถรบรขอมลภาพและความลกไดในเวลาเดยวกน ทำาใหความสามารถในการตรวจจบคนมประสทธภาพสงขน [4][5]

ปญหาทเดนชดจากการใชปายโฆษณาคอการไมทราบขอมลทแทจรงของจำานวนผชมปายโฆษณา ทำาใหการตรวจสอบผลตอบรบขาดประสทธภาพ เจาของธรกจขาดขอมลในการประเมนคณภาพและความคมคาในการผลตปายโฆษณา แมวาอาจมการจางแรงงานมนษยมานบจำานวนผชมแตขอมลทไดกมความคลาดเคลอนสงและขาดมาตรฐาน ดงนนโครงงาน “การนบจำานวนผชมจากตวรบรภาพและความลก จงถกออกแบบมาเพอลดปญหาในเรองของ”การนบจำานวนผชมปายโฆษณาโดยอาศย Kinect และหลกการประมวลผลภาพ เพอใหสามารถนบจำานวนคนไดอยางถกตองและแมนยำาขนทฤษฎทเกยวของ1. Kinect [6][7][8]

เปนอปกรณรบรการเคลอนไหวทใชการทำางานผสมผสานกนระหวางฮารดแวรและซอฟทแวร ฟงกชนหลกของ Kinect มสองฟงกชนคอ สรางภาพเคลอนไหวสามมตของวตถในมมมองทกำาหนด และแยกแยะมนษยออกจากวตถเหลานนได ในปจจบน Kinect มความละเอยดของภาพอยท 640x480 pixel และสามารถทำางานไดท 30 frames ตอวนาท

สำาหรบ Hardware ของ Kinect สามารถแบงออกเปน 3 สวนประกอบสำาคญ ไดแก

Color VGA video camera เปนกลองถายภาพเคลอนไหวซงชวยในการจดจำาใบหนา (Face Recognition) และการตรวจจบลกษณะเดนอนๆโดยใชความสามารถในการตรวจจบองคประกอบของสทงสามสอนไดแก สแดง สเขยว และสนำาเงนDepth sensor ประกอบดวยการทำางานรวมกนของตนกำาเนดแสงอนฟราเรด (Infrared Projector) และตวรบรแบบ monochrome CMOS (Complimentary Metal-Oxide Semiconductor) ซงทำาหนาทรบแสงอนฟราเรดทถกสะทอนกลบมาจากวตถ จากนนทำาการวดเวลาในการเดนทาง (Time of Flight) แสงอนฟราเรดนใชหลกการทำางานเชนเดยวกบโซนารคอ หากร

ระยะเวลาทแสงอนฟราเรดใชในการเดนทางไปกลบกจะสามารถคำานวณระยะหางระหวางตวรบรความลกกบวตถได โดยการทำางานดวยความเรวแสงหลายๆรอบทำาใหสามารถระบระยะหางทแนนอนไดโดยไมตองคำานงถงสภาพแสงสวาง

Multi-array microphone เปนอาเรยของไมโครโฟน 4 ตวซงสามารถแยกแยะเสยงของผใชออกจากเสยงรบกวนภายในหองได

หลกการในการตรวจจบการเคลอนไหวของ Kinect ทำาใหการประมวลผลภาพทำาไดงายยงขนโดยอาศยความลกมาเปนอกหนงในปจจยในการแยกแยะวตถ จากรปท 1.3 จะพบวาการแยกตวคนออกจาก

พนหลงโดยใชคณสมบตความแตกตางของสและพนผวจะทำาไดยาก

รปท 1.2 – แสดงสวนประกอบสำาคญของ Hardware ใน Kinect

เพราะสของพนหลงและสของเสอมความคลายคลงกนมาก แตจะเปนเรองทงายมากถาใชคณสมบตของความลกเปนเกณฑในการแบง

โดยทางบรษท Microsoft ไดเผยแพรชดพฒนาซอฟทแวรบน Windows Platform สำาหรบ Kinect (The Kinect for Windows SDK beta) ซงเปนชดเครองมอโปรแกรมมงสำาหรบนกพฒนาแอพพลเคชน ทำาใหผทสนใจในการพฒนาสามารถเขาถงการใชงานอปกรณ Microsoft Kinect ไดอยางงายดายดวยการใชงานเชอมตอผานระบบปฏบตการ Windows 7

โดยชดพฒนาซอฟทแวรนมลกษณะเดนดงน Raw sensor streams ทำาใหสามารถเขาถงขอมลดบจากตว

รบรความลก ตวรบรสของกลอง และ Four-element Microphone Array Skeletal tracking ทำาใหสามารถตดตามโครงรางกระดกของ

มนษยหนงหรอสองคนทกำาลงเคลอนทได ทำาใหสามารถสรางแอพพลเคชนทบงคบดวยทาทางได

Advanced audio capabilities ทำาใหสามารถประมวลผลเสยง กำาจดเสยงรบกวนทซบซอน กำาจดเสยงสะทอน ระบแหลงทมาของเสยง และสามารถบรณาการรวมกบ Windows speech recognition API ได

Sample code and documentation ประกอบดวยเอกสารเชงเทคนคมากกวา 100 หนา เอกสารตวอยางตางๆ และ Built-in help files

Easy installation สามารถตดตงไดอยางรวดเรว ไมมการตงคาทซบซอน และขนาดของตวตดตงนอยกวา 100 MB

2. การตรวจจบมนษยโดยใชขอมลความลกทไดจาก Kinect (Human Detection Using Depth Information by Kinect ) [5]

รปท 1.3 – แสดงภาพสและภาพระดบสเทาแสดงความลกของคนๆหนง

กระบวนการทำางานในการตรวจจบมนษยโดยใชขอมลความลกนนสามารถแบงออกไดเปน 4 ขนตอนดงน

1. การจบคระยะทางการเกลาแบบสองมต (2D Chamfer Distance Matching) 2. การเขารปโมเดลสามมต (3D Model Fitting) 3. การสรางเสนแสดงโครงราง (Extract Contours) 4. การตดตามตว (Tracking) ซงกระบวนการทำางานทงหมดสามารถแสดงเปนลำาดบขนตอนได

ดงแสดงในรปท 2.12.1) 2D Chamfer Distance Matching2.1.1) Preprocessingขนตอนนใชในการเตรยมขอมลสำาหรบการประมวลผลในขนตอน

ตอไป โดยไดรบขอมลนำาเขาจากตวรบรความลกของ Kinect ในรปแบบของอาเรยความลก (Depth Array) ในบรเวณทตวรบรไมสามารถวดคาได คาในอาเรยตำาแหนงนนจะถกตงคาเรมตนใหเปน 0 ซงถอวาเปนสญญาณรบกวนในการประมวลผล ดงนนสงทเราจำาเปนตองทำาในขนตอนนคอลดสญญาณรบกวนใหนอยลง เราจงตงสมมตฐานวาขอมลภาพมความตอเนอง และจดภาพทไมสามารถวดคาไดมคาความลกเทากบจดภาพขางเคยง ดวยสมมตฐานนเราจงใชกระบวนการประมาณคาจากขอมลขางเคยง (Neighbor Interpolation Algorithm) เพอเตมเตมจดทวางเหลานใหมคาใกลเคยงกบความเปนจรงมากทสด หลงจาก

รปท 2.1 – แสดงภาพรวมของกระบวนการตรวจจบมนษย

นนจงใชตวกรองมธยฐาน (Median filter) ขนาด 4×4 เพอทำาการปรบคาขอมลใหมความตอเนอง และจะไดผลลพธดงแสดงในรปท 2.2a

2.1.2) 2D Chamfer Distance Matching ขนตอนนใชในการจบครปรางสองมตระหวางเสนขอบในภาพกบ

แมแบบขาวดำารปหวมนษย (Binary Head Template)ดงแสดงในรปท 2.2d เพอระบตำาแหนงทมความเปนไปไดทจะเปนหว โดยเรมจากจากการใช Canny Edge Detector เพอหาเสนขอบในอาเรยความลก และทำาการลบเสนขอบทมขนาดเลกกวาคาขดแบง (Threshold) เพอลดการคำานวณและลดสญญาณรบกวนจากภายนอก จากนนนำาขอมลของเสนขอบมาใชในการหาตำาแหนงทเปนไปไดของรปรางทอาจเปนมนษยดวยวธการตรวจจบแบบคราวๆ (Rough Scanning) โดยพยายามใหมอตราการเกดความผดพลาดทระบบตรวจจบไมได (False Negative) นอยทสด แตอาจมอตราการเกดความผดพลาดในกรณทระบบตรวจจบไดแตผด (False Positive) สง ซง False Positive ทเกดขนจะถกจดการในขนตอนถดไป และจะไดผลลพธดงแสดงในรปท 2.2b

ขนตอนถดมาคอการแปลงระยะทาง (Distance Transform) โดยแปลงจากภาพเสนขอบมาเปนแผนทระยะทาง (Distance Map) ซงแตละจดภาพในแผนทระยะทางเกบคาระยะหางระหวางจดภาพนนถงเสนขอบทใกลทสดดงแสดงในรปท 2.2c จากนนใชแมแบบขาวดำารปหวมนษยกำาหนดตำาแหนงและเลอนไปบนพนทบรเวณตางๆของแผนทระยะทางเพอหาบรเวณทมโอกาสเปนหวมนษย การจบคถกพจารณาจากคาของจดภาพในแผนทระยะทางโดยถอวายงจดภาพมคานอยยงมความเปนไปไดทจะเปนหว และถาคาของจดภาพในแผนทระยะทางมคานอยกวาคาขดแบง จะสรปวาตรวจพบวตถทมลกษณะเชนเดยวกบหว อยางไรกตามวตถทตรวจจบไดในความเปนจรงอาจจะไมใชหวมนษย ดงนนจงมความจำาเปนตองกำาหนดคาขดแบงใหสงเพอเปนการรบประกนวาจะม

อตราการเกด false negative ทตำามาก สวนการพจารณาวาวตถทพบนนเปนหวมนษยหรอไมจะถกพจารณาในขนตอนถดไป2.2) 3D Model Fitting

ขนตอนนใชในการตรวจสอบบรเวณทงหมดทถกตรวจจบดวยกระบวนการ 2D Chamfer Distance Matching จากขนตอนทแลว

2.2.1) Compute the parameters of the headในการสรางโมเดลสามมตเพอใหพอดกบอาเรยความลก เราจำาเปน

ตองทราบถงพารามเตอรของหวทปรากฏในบรเวณทตรวจจบได โดยคา

รปท 2.2– แสดงผลลพธขนตางๆในขนตอน 2D Chamfer Distance Matching (a) แสดงอาเรยความลกหลงจากกระบวนการลดสญญาณรบกวน (b) แสดงภาพเสนขอบขาวดำาหลงจากใช Canny Edge Detector และทำาการกำาจดขอบเลกๆแลว (c) แสดงแผนทระยะทางทถกสรางขนจากภาพเสนขอบ (d) แสดงแมแบบขาวดำารปหวมนษย (e) แสดงผลลพธสดทายโดยจดสเหลองแสดงบรเวณทถกตรวจจบได

รปท 2.3 – แสดงกราฟแสดงความสมพนธระหวางความสงของหวและความลกของหว

พารามเตอรนนสามารถหาไดโดยการทำาการทดลองเพอหาความสมพนธระหวางความสงและความลกของหว ดงแสดงในรปท 2.3

และไดสมการกำาลงสามดงน− y=p1 ∙ x

3+ p2 ∙ x2+ p3 ∙ x+ p4 (Eq.1)

โดยท p1=−1.3835×10−9

p2=1.8435×10−5

p3=−0.091403p4=189.38

จากผลลพธการตรวจจบของ 2D Chamfer Distance Matching สงทไดคอความลกของวตถลกษณะเดยวกบหวจากอาเรยความลก จากสมการขางตนทำาใหเราสามารถคำานวณความสงของหวเมอเทยบกบความลกได และทำาการคนหาหวทอยในขอบเขตรศม R ของความสงนนซงสามารถคำานวณไดจากสมการ

R=1.33h/2(Eq.2)โดยท h คอความสงของหวทคำานวณจากสมการ (1) และ R

คอรศมการคนหา

เมอทราบคารศมการคนหาแลว จะทำาการคนหาหวในบรเวณวงกลมรศม R ในภาพเสนขอบได ถาพบเสนขอบวงกลมในบรเวณนทผานขอจำากด (constraints) ทงหมด เราจะถอวาเสนขอบวงกลมนนคอหวมนษย จากนนจะทำาการหาคารศมทใกลเคยงกบความเปนจรงมากทสดดวยการประมาณคารศมของหวจากแผนทระยะทาง เนองจากแตละจดภาพในแผนทระยะทางเกบคาของระยะหางจากจดภาพนนไปถงเสนขอบทใกลทสด เมอพจารณาวาหวเปนรปรางทรงกลมและคาจดศนยกลางของหวเปนเพยงการประมาณคารศมของหว ดงนนเราสามารถใชคารศมนเปนคาประมาณของคารศมทแทจรง Rt ได

2.2.2) Generate 3D Model

เนองจากการคำานวณเพอสรางโมเดลสามมตคอนขางซบซอน จงไมควรใชโมเดลทแตกตางหลายโมเดลหรอใชโมเดลเดยวแตตองหมนโมเดลและคำานวณหลายรอบ โมเดลทสมควรนำามาใชคอโมเดลทสามารถครอบคลมลกษณะเดนของหวจากทกทศทาง ไดแก ดานหนา ดานหลง ดานขาง รวมไปถงมมสงและมมตำาในกรณทตวรบรถกตดตงไวสงหรอตำากวาหว โมเดลทใชจงควรเปนโมเดลทเรยบงายทสดนนคอใชโมเดลครงทรงกลมเปนตวแทนของรปทรงสามมตของหว ดงแสดงในรปท 2.4

2.2.3) Fittingนำาโมเดลทถกสรางขนไปวางในบรเวณทถกตรวจจบและทำาการสกดบรเวณวงกลม CR(Circular Region) ดวยรศม Rt รอบๆจดศนยกลางและทำาการ normalize ความลกนนดวยสมการดงน

dept hn (i , j)=depth (i , j )−min (depth (i , j ) ) i , j∈CR (Eq.3)โดยท depth (i , j ) คอคาความลกของจดภาพ (i , j ) ในอาเรยความลก

และ depthn (i , j ) คอคาความลกทถก normalize แลวของจดภาพ( i , j ) จากนนทำาการคำานวณหาคาผดพลาดกำาลงสองระหวางพนทวงกลมกบโมเดลสามมต เพอนำามาเปรยบเทยบกบคาขดแบงเพอใชในการตดสนใจวาบรเวณใดเปนหวโดยคาผดพลาดกำาลงสองสามารถคำานวณไดจากสมการEr= ∑

i , j∈CR¿dept hn ( i , j )−template (i , j)¿

2 (Eq.4)

2.3) Extract Contoursเมอทราบวาบรเวณใดเปนหวแลว เราสามารถสรางเสนแสดงโครง

รางของคนได และสามารถใชประโยชนในการตดตามมอและขาของเขารวมถงจดจำาการกระทำา ในภาพสแบบ RGB การแยกความแตกตางระหวางเทากบพนสามารถทำาไดงายเนองจากคนยนอยบนพนและมความแตกตางของระดบสทชดเจน ทำาใหสามารถใชคณสมบตการไลระดบสในการแยกความแตกตางได แตในสวนของอาเรยความลกนน คาของเทากบพนบรเวณทยนจะมคาเทากนเนองจากมความลกทเทากน ดงนนจงเปนไปไมไดทจะคำานวณเสนแสดงรปรางของคนทงตวจากการใชอาเรยความลกและตวตรวจจบเสนขอบ

นอกจากกรณของเทาและพนบรเวณทยน ยงมกรณของคนจบวตถทมความลกเทากบบคคลนนซงเปนปญหาลกษณะเดยวกน และเพอแกไขปญหานเราจงใชประโยชนจากขอเทจจรงทวาเทาของคนจะอย

รปท 2.4 – (a) แสดงโมเดลสามมตของหว (b) แสดงโมเดลครงทรงกลมใชแทนโมเดลสามมตของหว

บนพนและลำาตวตงฉากกบพนในอาเรยความลกเสมอ เพอแบงแยกขอบระหวางคนกบพนเราจงใชตวกรอง

F=[1,1,1 ,−1 ,−1 ,−1]T (Eq.5)จากการใชตวกรอง F ทำาใหสามารถแบงแยกพนกบพนผวทขนาน

กบพนได และขอบทถกสรางจากการใชตวกรอง F จะถกเพมเขาไปในอาเรยความลกเดมเพอใชเปนคานำาเขาของ Region Growing Algorithm

Region growing Algorithm ใชเพอสรางเสนแสดงโครงรางของคนจากอาเรยความลกทถกเพมสวนขอบพนแลว โดยสมมตใหคาความลกบนพนผวของคนมความตอเนองและแตกตางกนในระยะทกำาหนดไว โดยอลกอรธมนเรมตนจากตำาแหนง seed location ซงกคอจดศนยกลางของบรเวณทถกตรวจจบดวยกระบวนการ 3D Model Fitting โดยกำาหนดกฎสำาหรบการเตบโตของบรเวณวาจะตองอยบนพนฐานของความคลายคลงกนระหวางบรเวณนนกบจดภาพขางเคยง ความคลายคลงระหวางสองจดภาพ x และ y ในอาเรยความลกถกนยามดงน

S ( x , y )=¿depth ( x )−depth ( y )∨¿(Eq.6)และ Region growing Algorithm ม pseudocode ดงนStart region growing until similarity between the region and neighboring pixels is higher than a thresholdi. Initialize: region = seedii. (1) Find all neighboring pixels of the region (2) Measure the similarity of the pixels and the region (Eq.7) s1, s2, ... and sort the pixels according to the similarity (3) If smin < threshold(3.1) Add the pixel with the highest similarity to the region.(3.2) Calculate the new mean depth of the region(3.3) Repeat (1)-(3) Else algorithm terminate

iii. Return the regionคา S คอความคลายคลงและ depth() คนคาความลกของจดภาพ

และความลกของบรเวณถกนยามโดยคาความลกเฉลยของทกจดภาพในพนทดงสมการ

depth (R )= 1N∑

i∈R(depth ( i )) (Eq.7)

2.4) Trackingการตดตามคนในภาพส RGB มกจะอยบนพนฐานของส โดยม

สมมตฐานวาสของวตถชนดเดยวกนในเวลาทตางกนควรจะมความคลายคลงกน แตในภาพของความลกเราไมมขอมลส สงทเรามคอขอมลของวตถแบบสามมต ดงนนอลกอรธมการตดตามคนของภาพความลกจงอยบนพนฐานของการเคลอนทของวตถ โดยทเราสมมตใหพกดและความเรวของวตถเดยวกนในเฟรมภาพทอยตดกนจะเปลยนแปลงไปอยางคงท เรมจากการหาจดศนยกลางของวตถทเราตรวจจบได จากนนคำานวณพกดสามมตและความเรวของคนในแตละ

รปท 2.5– (a) แสดงผลจากการใช Region Growing Algorithm (b) แสดงการสรางเสนแสดงโครงรางของคนทงหมดในแผนทความลก

เฟรมภาพ เราสามารถทราบขอมลของพกดสามมตไดโดยตรงจากอาเรยความลก สำาหรบความเรวนนเราสามารถคำานวณไดจากพกดของเฟรมทอยตดกน เราจงนยามคะแนนพลงงาน (Energy Score) ของการเปลยนแปลงในพนทและเวลาเปน

E=(c−c0)2+(v−v0)

2 (Eq.8)โดยท E คอคะแนนพลงงาน c คอพกดของคนในเฟรมปจจบน c0 คอพกดของคนในเฟรมกอนหนาv คอความเรวของคนในเฟรมปจจบน v0คอความเรวของคนในเฟรมกอนหนา

ขนตอนแรกของการตดตามคนคอการสรางปายชอ (label) ใหแตละคนตามลำาดบของการตรวจจบไดในเฟรมแรก สำาหรบในเฟรมถดมา การตดตามนนเลอกจากการจบคของคนทเปนไปไดทงหมดในภาพ โดยเลอกคนทมคะแนนพลงงานนอยทสดเปนคำาตอบ กรณพเศษทจำาเปนตองไดรบการควบคมคอเมอจำานวนของคนทงหมดในเฟรมเปลยนไป เชนคนออกไปจากภาพหรอคนเดนเขามาในภาพ เราจำาเปนตองสรางปายชอใหกบแตละคนในภาพใหม3. การตรวจจบใบหนาดวยการใช OpenCV (Face Detection Using OpenCV) [9]การตรวจจบใบหนาของ OpenCV ใชวธของ Paul Viola และ Michael Jones ซงถกตพมพในป 2001 ถกเรยกงายๆวา “Viola-Jones method” โดยใชการตรวจจบวตถในภาพรวมกบแนวคดหลก 4 แนวคดดงน

ใช Haar features ใชการรวมภาพ(Integral Image) เพอตรวจจบลกษณะเดน

อยางรวดเรว (Rapid Feature Detection) ใช The Adaboost machine-learning method

ใช Cascaded classifier เพอรวมลกษณะเดนตางๆเขาดวยกนอยางมประสทธภาพ

การมอยของลกษณะเดนของ Haar ถกกำาหนดโดยการลบคาเฉลยบรเวณจดภาพมดออกจากคาเฉลยบรเวณจดภาพสวาง ถาผลลพธทไดมคามากกวาคาขดแบง(ถกตงคาในระหวางการเรยนร) แสดงวามลกษณะเดนของ Haar อย

การตรวจสอบหาลกษณะเดนของ Haar ในแตละสวนของภาพอยางมประสทธภาพนน Viola และ Jones ใชเทคนคทเรยกวาการรวมภาพ (Integral Image) โดยการรวมจดภาพเลกๆเขาดวยกน จากรปท 3.2 การจะหาคาของรปสเหลยม D คอการนำา A+B+C+D (ตำาแหนงท 4) ลบออกดวย A+B (ตำาแหนงท 2) และ A+C (ตำาแหนงท 3) และบวกเพมเขาไปดวย A (ตำาแหนงท 1) นนคอ D=(A+B+C+D )-(A+B)-(A+C)+(A) ซงมคาเทากบ (x4,y4)-(x2,y2)-(x3,y3)+(x1,y1)

รปท 3.1– แสดงตวอยางลกษณะเดนของ Haar ทถกใชใน OpenCV

ในการเลอกลกษณะเดนของ Haar และการตงระดบคาขดแบง Viola และ Jones ใช machine-learning method ทเรยกวา “Adaboost” ซงรวม weak classifier (ไดรบคำาตอบทถกตองมากกวาการเดาสมเพยงเลกนอย) จำานวนมากเขาดวยกนเพอสราง strong classifier โดยใชหลกทวา weak classifier แตละตวคอยๆผลกดนคำาตอบสดทายไปในทศทางทถกตอง Adaboost จะทำาการเลอกชดของ weak classifier ในการรวมและกำาหนดนำาหนกของแตละตว การรวมกนของนำาหนกกคอ strong classifier นนเองViola และ Jones รวมชดของ Adaboost classifiers เปนเหมอนโซกรองดงแสดงในรปท 3.3 ซงมประสทธภาพสงในการแบงพนทภาพ

รปท 3.2– แสดงเทคนคการรวมภาพ (a) หลงจากทรวมภาพแลว จดภาพทตำาแหนง (x,y) จะรวมคาของทกจดภาพในสเหลยมสดำา (b) ผลรวมคาของทกจด

รปท 3.3 – แสดงสายโซของตวกรอง บรเวณเลกๆของภาพซงสามารถผานตวกรองทงหมด

ตำาแหนงของตวกรองในลำาดบอยบนพนฐานของคานำาหนกความสำาคญท Adaboost กำาหนดไว ตวกรองทมคานำาหนกสงสดจะอยใน

ลำาดบแรกเพอกำาจดสวนของภาพทไมใชใบหนาออกไป

จากรปท 3.3 จะพบวาตวกรองแรกใชความจรงทวาบรเวณแกมสวางกวาบรเวณดวงตา และตวกรองตวทสองใชความจรงทวาบรเวณสนจมกจะสวางกวาบรเวณดวงตา

4. การตดสนผชมโดยใช Rule Based Systems [10]Rule Based Systems ใชสำาหรบการเกบและจดการกบความรทตองการตความ โดยทำาหนาทเปนฐานความร (knowledge base) สำาหรบโครงงานนเราตดสนคนทมองปายโฆษณาดวยการพจารณาจากมมของใบหนาทหนเขาสกลองและพฤตกรรมของบคคลเพอใชในการตดสนวาบคคลใดกำาลงมองมาทปายโฆษณา เชน ถาไมมการเคลอนไหวและใบหนาตรงเขาหากลองเปนระยะเวลาเกน 3 วนาทถอวาเปนการมอง

รปท 3.3 – แสดงตวอยางของตวกรองสองตวแรกใน Viola-Jones Cascade

หรอเคลอนทผานกลองและใบหนาตรงเขาหากลองเปนระยะเวลาเกน 3 วนาทถอวาเปนการมอง

วตถประสงค1. เพอสรางเครองมอชวยผใชใหสามารถทราบขอมลจำานวนครงการมอง

ปายโฆษณาโดยผชมไดอยางถกตองและแมนยำา

ขอบเขตของโครงงาน1. ระบบจะตองสามารถวเคราะห ประมวลผล และระบไดวามบคคลใด

มองปายโฆษณา2. ระบบจะตองสามารถทำางานไดในสภาพแสงทเหมาะสม3. ระบบจะตองสามารถทำางานไดในสภาพความลกไมเกน 6 เมต

แนวคดในการพฒนาโครงงานระบบจะรบขอมลนำาเขาสองลกษณะ ไดแก ขอมลนำาเขาทเปนอาเรย

ความลกซงไดจากตวรบรความลกของ Kinect และขอมลนำาเขาทเปนภาพส RGB ซงไดจากกลอง RGB ของ Kinectในสวนของขอมลอาเรยความลกจะนำาไปใชเปนขอมลนำาเขาของ

กระบวนการตรวจจบมนษย (Human Detection) ซงสามารถแบงออกเปน 4 ขนตอน ไดแก การจบคระยะทางการเกลาแบบสองมต การเขารปโมเดลสามมต การสรางเสนแสดงโครงราง และการตดตามตว

ในสวนของขอมลภาพส RGB จะนำาไปใชเปนขอมลนำาเขาของกระบวนการตรวจจบใบหนา (Face Detection) ดวย OpenCV ซงใช Viola-Jones method เปนกระบวนการในการทำางาน

จากนนนำาขอมลทไดจากกระบวนการตรวจจบมนษยและกระบวนการตรวจจบใบหนามาพจารณาดวย Rule-based Systems เพอตดสนวาบคคลใดถอวาเปนผชม

ขนตอนการดำาเนนงาน1. กำาหนดวตถประสงค ขอบเขต เปาหมาย และความตองการเชงหนาทของโครงงาน รวมถงภาษาทใช และเทคโนโลยทเกยวของ2. ศกษาคนควางานหรอทฤษฎทเกยวของกบการออกแบบระบบ2.1 การพฒนาแอพพลเคชนดวย The Kinect for Windows SDK beta2.2 การจบคระยะทางการเกลาแบบสองมต (2D Chamfer Distance Matching)2.3 การเขารปโมเดลสามมต (3D Model Fitting)2.4 การสรางเสนแสดงโครงราง (Extract Contours)2.5 การตดตามตว (Tracking)2.6 การตรวจจบใบหนาดวยการใช OpenCV (Face Detection Using OpenCV)2.7 การตดสนผชมโดยใช Rule Based System3. ทดสอบการใชงานทฤษฎทเกยวของจากการศกษาในขอ 2 และปรบปรงเพอพจารณาความเปนไปได4. ศกษาคนควาขอมลเพมเตมเพอทำาการปรบปรงและกำาหนดรายละเอยดของโครงงานใหชดเจนยงขน5. พฒนาแอพพลเคชน6. ทดสอบการทำางานของระบบตามวตถประสงคทตงไว ตรวจสอบความถกตอง ความครบถวน ความเขากนได และปรบปรงแกไขความผดพลาดของระบบ7. นำาระบบไปใชงานจรง

ระยะเวลาในการดำาเนนงาน

ประโยชนทคาดวาจะไดรบ1. ไดแอพพลเคชนซงสามารถนบจำานวนครงของคนทเคลอนทผาน

Kinect ได2. ไดแอพพลเคชนซงสามารถนบจำานวนครงของคนทมองปายโฆษณาได

รายการอางอง

[1] Duan-Yu Chen and Kuan-Yi Lin. A Novel Viewer Counter for Digital Billboards. 2009[2] Charles R. Taylor, George R. Franke, and Hae-Kyong Bang. Use and Effectiveness of Billboards: Perspectives from Selective-Perception Theory and Retail-Gravity Models. 2006[3] Advertising Association of Thailand. Thailand advertisement expenditure. [Online] Available from: http://www.adassothai.com/index.php/main/ad_expenditure. [Aug 29, 2011][4] Wikipedia. Kinect. [Online] Available from: http://en.wikipedia.org/wiki/Kinect. [Aug 29, 2011][5] Lu Xia, Chia-Chih Chen and J.K. Aggarwal. Human Detection Using Depth Information by Kinect. 2011[6] Gadget Lab. How Motion Detection Works in Xbox Kinect. [Online] Available from: http://www.wired.com/gadgetlab/2010/11/tonights-release-xbox-kinect-how-does-it-work/all/1. [Aug 30, 2011][7] How stuff works. How Microsoft Kinect Works. [Online] Available from: http://www.howstuffworks.com/microsoft-kinect.htm. [Aug 30, 2011][8] Kinect for Windows SDK Beta. About. [Online] Available from: http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/about.aspx. [Aug 30, 2011][9] Servo Magazine. How Face Detection Works. 2007[10] Wikipedia. Rule-based System. [Online] Available from: http://en.wikipedia.org/wiki/Rule-based_system. [Aug 30, 2011]