บทท 1 บทน ำ

บทนจะกลาวถงทมาและความส าคญของปญหา วตถประสงคของงานวจย ขอบเขตของงานวจย ขนตอนการดาเนนงานวจย ประโยชนทคาดวาจะไดรบ และโครงรางของวทยานพนธ

1.1 ทมำและควำมส ำคญของปญหำ การคนหาต าแหนงของรางกายมนษยเปนกระบวนการบนทกการต าแหนงของรางกาย ให

อยในรปแบบดจตอล สามารถแบงวธการหาคนไดหลายรปแบบแตทจะน าเสนอเปนเพยงสองรปแบบคอ 1. คนหาดวยสญญาณเสยง เสยงเกดจาการสนสะเทอนของวตถพลงการสนจะถายทอดผานตวกลางซงตวกลาจะสนในลกษณะอดและขยายความเรวของเสยงขนอยกบสภาพของตวกลางเชนอณหภมความหนาแนนและความยดหยนของตวกลาง บตส (Beats) เกดจากการแทรกสอดของเสยงจากแหลงก าเนด 2 แหลง ทมแอมพลจด เทากนแตความถตางกนเลกนอย 2. คนหาดวยกลองซงแบงเปนสองรปแบบใหญๆ คอ การตรวจจบการเคลอนไหวโดยการทาเครองหมายตามต าแหนงตางๆ บนรางกาย (Marker Motion Capture) และการตรวจจบการเคลอนไหวโดยปราศจากการทาเครองหมายตามต าแหนงตางๆ บนรางกาย (Markerless Motion Capture) ขอมลการตรวจจบการเคลอนไหวทได สามารถนาไปใช ในงานดานตางๆ ได เชน การท าการตนอนเมชน การตรวจจบการลมของผสงอาย (Fall Detection) การวเคราะหพฤตกรรม และการปฏสมพนธกบคอมพวเตอรโดยปราศจากการใชอปกรณ หรอการ ใชทาทางการเคลอนไหวในการปฏสมพนธกบคอมพวเตอร (Natural User Interface : NUI) เปนตน

กลอง Kinect เปนอปกรณเสรมการใชงานเครองเลนเกม Xbox 360 ทพฒนาโดยบรษท Microsoft มความสามารถในการใหภาพส (RGB Image) ภาพความลก (Depth Image) ทกลองตรวจจบ และสามารถรบฟงเสยงของผใชได เมอน ามาใชงานรวมกบซอฟตแวรคอมโพเนนททเหมาะสม จะสามารถตรวจจบรางกายของผใช และสามารถจ าแนกต าแหนงของขอตอตางๆ ของรางกายผใชได โดยใหขอมลต าแหนงของขอตอในรปแบบจดพกดสามมต ดงนนจงสามารถน ามาประยกตใชกบการคนหาต าแหนงของรางกายมนษย แบบปราศจากการทาเครองหมายตามต าแหนงตางๆ บนรางกายได

เมอใชกลอง Kinect ในการตรวจจบการเคลอนไหว ขอมลต าแหนงของรางกายทได จะมความถกตองเฉพาะสวนทกลองตรวจจบได หากบางสวนของรางกายถกบดบง ขอมลต าแหนงของสวนนนจะเปนคาประมาณ มความถกตองนอย ดงนนเพอเพมความถกตองในการตรวจหาต าแหนงจงน าเอาสญญาณเสยงมาใชเพอท าใหขอมลทไดมความถกตองและแมนย ามากขน ดงนนจงน าไมโครโฟนมาจดวางในหลายๆ มมมอง เพอใหครอบคลมกบการตรวจจบเสยงในทศทางทเกดเสยง แตการท าเชนนจะท าใหไดขอมลต าแหนงของสญญาณเสยงมากกวาหนงชดในการตรวจจบคนหนงคน และคาต าแหนงของมนษยทไดจากกลองกบสญญาณเสยงแตละตวมคาไมเทากน เพราะมต าแหนงอางองซงเปนต าแหนงทตงของกลองและไมโครโฟนแตกตางกน จงจ าเปนตองน าขอมลต าแหนงทไดมาทาการปรบต าแหนงอางอง และท าการประมวลผลรวมกนใหเปนขอมลชดเดยว โดยการรวมขอมลต าแหนงนน จะตองเพมความถกตองของขอมลต าแหนงดวย ในสวนของการพฒนาระบบและโปรแกรมในการตรวจจบการเคลอนไหว เนองจากในขณะนยงไมมวธการส าหรบการใชกลอง Kinect กบไมโครโฟนหลายตว ในการตรวจจบรางกายมนษยตาม จงตองมการออกแบบระบบและพฒนาโปรแกรมขนมาโดยเฉพาะ ซงควร เปนระบบทรองรบการใชกลอง Kinect และไมโครโฟนในการตรวจจบไดไมจากด และเปนโปรแกรมทสามารถนาไปพฒนาเพมเตมได

งานวจยนจงศกษาการใชงานกลอง Kinect และไมโครโฟนหลายตว ในการคนหามนษยคนทพด ในงานวจยนเสนอวธการคนหาต าแหนงมนษย โดยใชกลอง Kinect และสญญาณเสยงโดยใชไมโครโฟนหลายตวเพอบอกทศทางของเสยง

1.2 วตถประสงคของงำนวจย 1. เพอศกษาการใชงานกลอง Kinect ในการตรวจจบรางกายมนษย 2. เพอศกษาการคนหามนษยดวยสญญาณจากเสยงของมนษย 3. เพอเสนอวธการคนหามนษยคนทพดจากการตรวจจบโดยใชกลอง Kinect และ

ไมโครโฟนหลายตว

4. เพอเสนอโปรแกรมแสดงผลการคนหาต าแหนงและทศทางจากมนษยคนทพด

1.3 ขอบเขตของงำนวจย

1. ใช OpenNI ทม PrimeSense NiTE Middleware เปนชดเครองมอในการพฒนาโปรแกรมตรวจจบโดยใชกลอง Kinect

2. ท าการทดสอบวธการคนหาต าแหนงและทศทางทน าเสนอโดยใชกลอง Kinect จ านวน 1 ตวและไมโครโฟนจ านวน 4 ตว ในการตรวจจบคนหาของผใช 1 ทาน ในหองโลงไมมสงของใดๆ อยในหอง

3. ใชไมบรรทดเหลก ไมบรรทดครงวงกลม (อปกรณเครองเขยน) และตลบเมตร ในการวดหาระยะทตงและวดหาทศทางทตรวจจบของกลอง Kinect

4. คอมพวเตอรทน ามาใชในการตรวจจบการเคลอนไหวมคณลกษณะ (Specification) ทเทากน 1.4 ขนตอนกำรดำเนนงำนวจย

1. ศกษาทบทวนทฤษฎและงานวจยทเกยวของ 2. ศกษาการใชงานกลอง Kinect ในการตรวจจบของรางกายมนษย 3. ศกษาการประมวลผลของสญญาณเสยงในการคนหาต าแหนง 4. เสนอวธการคนหามนษยคนทพดจากการตรวจจบโดยใชกลอง Kinect และ

ไมโครโฟนหลายตว 5. ออกแบบระบบการตรวจจบวธการคนหามนษยคนทพดจากการตรวจจบโดยใชกลอง

Kinect และไมโครโฟนหลายตว โดยหลกการ 6. เสนอวธการทดสอบจากการตรวจจบมนษยคนทพดโดยใชกลอง Kinect และ

ไมโครโฟนหลายตวทนาเสนอ

7. พฒนาโปรแกรมตรวจจบมนษยคนทพดโดยใชกลอง Kinect และไมโครโฟนหลายตว

8. พฒนาโปรแกรมแสดงผลตรวจจบมนษยคนทพดโดยใชกลอง Kinect และไมโครโฟนหลายตว

9. แสดงผลการทดสอบวธการตรวจจบมนษยคนทพดโดยใชกลอง Kinect และไมโครโฟนหลายตวทนาเสนอ

10. สรปผล

1.5 ประโยชนทไดรบ 1.5.1 ไดระบบตรวจจบมนษยคนทพดโดยใชกลอง Kinect และไมโครโฟนหลายตว 1.5.2 ไดวธการตรวจจบมนษยคนทพดโดยใชกลอง Kinect และไมโครโฟนหลายตว ทม

ผลลพธทยอมรบได สามารถน าไปใชในการท าหองประชมอจฉรยะได เชน กลองทตดในหองประชมสามมารถหมนหาคนทก าลงพดหรอบรรยายอยได หรอพฒนาใสในหนยนตใหพดหรอโตตอบกบมนษยทคยอยได เปนตน

บทท 2

ทฤษฏทเกยวของและกำรประยกตใชในโครงงำน

การพฒนาโครงงานโปรแกรมประมวลภาพเสนส จ าเปนตองศกษาขอมลตางๆ ทจ าเปน

ตอโปรแกรมไมวาจะเปนในดาน image processing หรอ OpenCV เพอน าขอมลตางๆ ทไดศกษามา

นนน ามาประยกตใช

2.1 กำรประมวลผลภำพ (image processing) เปนการประยกตใชงานการประมวลผลสญญาณบนสญญาณ 2 มต เชน ภาพนง (ภาพถาย)

หรอภาพวดทศน (วดโอ) และยงรวมถงสญญาณ 2 มตอนๆ ทไมใชภาพดวย แนวความคดและเทคนค ในการประมวลผลสญญาณ ส าหรบสญญาณ 1 มตนน สามารถปรบมาใชกบภาพไดไมยาก แตนอกเหนอจาก เทคนคจากการประมวลผลสญญาณแลว การประมวลผลภาพกมเทคนคและแนวความคดทเฉพาะเชน connectivity และ rotation invariance ซงจะมความหมายกบสญญาณ 2 มตเทานน แตอยางไรกตามเทคนคบางอยาง จากการประมวลผลสญญาณใน 1 มต จะคอนขางซบซอนเมอน ามาใชกบ 2 มต

เมอหลายสบปมาแลว การประมวลผลภาพนน จะอยในรปของการประมวลผลสญญาณแอนะลอก (analog) โดยใชอปกรณปรบแตงแสง (optics) ซงวธเหลานนกไมไดหายสาบสญ หรอเลกใชไป ยงมใชเปนสวนส าคญ ส าหรบการประยกตใชงานบางอยาง เชน ฮอโลกราฟ (holography) แตเนองจากอปกรณคอมพวเตอรในปจจบน ราคาถกลง และเรวขนมาก การประมวลผลภาพดจทล (digital image processing) จงไดรบความนยมมากกวา เพราะการประมวลผลทท าไดซบซอนขน แมนย า และงายในการลงมอปฏบต

ภาพในทน รวมความหมายถงสญญาณดจทลใน 2 มตอนๆ โดยทวไปค านเมอใชอยางกวางๆ จะครอบคลมถงสญญาณวดโอ (video) หรอภาพเคลอนไหว ซงจะเปนชดของภาพนง เรยกวา เฟรม (frame) หลายๆ ภาพตอกนไปตามเวลา 2.1.1 การแบงชนของการประมวลผลทางภาพตามกระบวน

2.1.1.1 Image Representation และ Image Modeling คอ การสรางภาพในแบบจ าลองทางคณตศาสตร

2.1.1.2 Image Enhancement คอ การปรบปรงคณภาพของภาพเพอแสดงผลผานจอโดยไมเปลยนแปลงขอมลภายในภาพ

2.1.1.3 Image Restoration คอ การปรบปรงคณภาพของภาพโดยใชขอมลททราบสาเหต (Minimize or remove known degradations) เชน Noise filtering หรอ Correction of Geometric Distortion เปนตน

2.1.1.4 Image Analysis คอ การอธบายลกษณตางๆในภาพ เชน ขนาด หรอ การหมนของวตถในภาพ

2.1.1.5 Image Reconstruction from Projection คอ การจ าลองเรขาคณตของการเกดภาพจาก Sensor

2.1.1.6 Image Data Compression คอ การบบอดขนาดของภาพซงมขนาดใหญมากโดยคงคณภาพ

2.2 Open Source Computer Vision (OpenCV) OpenCV กคอ Library ในภาษา C++ และ Phyton ส าหรบการพฒนาโปรแกรมทเกยวของ

กบ Image Processing และ Computer Vision โดยสามารถพฒนาไดทงในระบบปฏบตการวนโดว และระบบปฏบตการ Linux ทพฒนาขนมาเพอใชในการชวยในการเขยนโปรแกรมเกยวกบกลองและหนยนต ถกสนบสนนโดย Intel และเปนแกนหลกในการพฒนา เพอใหการพฒนาโปรแกรมทางดาน การมองเหนของคอมพวเตอร (Computer Vision) คอสามารถประมวลผลภาพดจตอลไดทงภาพนง และภาพเคลอนไหวเชน ภาพจากกลองVDO หรอ VDO File เปนไปไดอยางสะดวก มฟงกชนส าเรจรปส าหรบจดการขอมลภาพ และการประมวลผลภาพพนฐานเชน การหาขอบภาพ การกรองขอมลภาพ ฟงกชนตางๆ ของ OpenCV จะสามารถเรยกใชงานไดจะตองมการเรยก ไฟลสวนหว (Header file) และลงค (Link) ไลบรารตางๆ รวมถง DLL (Dynamic Link Library)

2.3 กลองดจทล กลองถายภาพดจทล มสวนประกอบและหลกการท างานคลายกบกลองแบบใชฟลมคอ

สามารถน าไปถายภาพและบนทกภาพทตองการได แตบนทกในรปแบบไฟลขอมลแทนการบนทกลงบนฟลมเรยกงายๆ วากลองถายภาพแบบไมใชฟลม แตใชอปกรณอเลกทรอนกสทเรยกวา “เซนเซอร” ในการบนทกภาพแทน โดยแปลงขอมลของแสงมาเปนรปแบบไฟลดจทลซงคอมพวเตอรสามารถอานเขาใจได แลวบนทกเกบไวในอปกรณเกบขอมล สามารถน าไปใชงานไดหลากหลายรปแบบ ไมวาจะเปนการพมพออกมาเปนภาพ ตกแตงแกไขภาพ สงภาพทาง e-mail หรอน าภาพไปจดเกบบนเวปไซดได ภาพดจทลเกดจากจดสสเหลยมเลก ๆ ทเรยกวา พกเซล (Pixel) ประกอบขนหลายๆ จด จนกลายเปนภาพทสามารถมองเหนไดวาเปนภาพอะไร พกเซลเหลานม

ขนาดเลกมาก เรยงตวกนจนอดแนนอยในพนทของภาพจนแทบจะมองไมเหนนอกจากจะขยายภาพขนมามากๆ จงจะสงเกตเหนได ภาพดจทลสามารถน าไปใชงานกบคอมพวเตอรไดดไมวาจะเปนการตกแตงแกไขภาพ สรางเทคนคพเศษ และบนทกลงในสอบนทกขอมลแบบดจทล เกบไวไดนานโดยทสของภาพไมซดหรอเสอมคณภาพ

2.4 องคประกอบของกำรทดสอบ 2.4.1 การท างานในชวงทฤษฏ คอ การท างานในขนตอนทดสอบขนาดของเสนสระยะ

โฟกสของกลองใหเหมาะสมและการค านวณหาจดเลยวตางๆ แลวน ามาทดสอบกบโปรแกรม Open CV

2.4.2 การท างานในชวงปฏบต คอ การจดการโปรแกรม Open CV ทเขยนขนมาตดตอกลองดจทลแลวท าการประมวลผลโปรแกรมใหเปนไปตามขอบเขตทก าหนดไวในโครงงาน

2.4.3 ฮารดแวร (Hardware) ในระบบการเขยนโปรแกรมทดหรอ การการประมวลผลโปรแกรมทมประสทธภาพควรมฮารดแวรตางๆ ทพรอมจะอ านวยความสะดวกในการประมวลผลโปรแกรมไดอยางมประสทธภาพ ไมวาจะเปนหนวยความจ า ความเรวขอหนวยประมวลผลกลาง รวมถงหนวยความจ าส ารองทรองรบการประมวลขอมลในระบบไดอยางมประสทธภาพ ส าหรบโครงงานนจะใชฮารดแวร คอ

2.4.4 โปรแกรม (Program) ในการประมวลผลภาพจากกลองวดโอ โปรแกรมทท าหนาทในการเรยกใชภาพจากกลองทน ามาประยกตใชกบโครงงานนคอโปรแกรม Visual Studio C++ ทน ามาใชเพอระบต าแหนงของ Library ของ OpenCV ต าแหนงของไฟลทตองใชในโปรแกรม และต าแหนงของ Source File ใหตวโปรแกรมทราบ และสามารถดงSource File ออกมาใชงาน

2.5 ทฤษฎพทำโกรส ถาสามเหลยม ABC เปนสามเหลยมมมฉาก ซงม AĈB เปนมมฉาก ให a , b และ c เปนความยาวของดานตรงขามมม A , B และ C ตามล าดบ แลวจะไดความสมพนธระหวางความยาวทงสามของสามเหลยมมมฉาก คอ

a

B

CV

cVb

A

c2 = a2 + b2

รปท 2.1 รปสามเหลยมมมฉาก

2.5.1 ทฤษฎบทพทาโกรสในอกความหมายหนง ในรปสามเหลยมมมฉากใดๆ พนทของรปสเหลยมจตรสบนดานตรงขามมมฉากเทากบผลบวกของพนทของรปสเหลยมจตรสบนดานประกอบมมฉาก

รปท 2.2 รปสามเหลยมใดๆ

2.5.2 บทกลบของทฤษฎบทพทาโกรส ถา a , b และ c เปนความยาวของดานทงสามของสามเหลยม ABC และ c2 = a2 + b2 แลวจะไดวาสามเหลยม ABC นเปนสามเหลยมมมฉาก โดยมดานยาว c หนวย เปนดานตรงขามมมฉาก

c

c

b

a

b

2.5.3 การเปรยบเทยบทฤษฎบทพทาโกรส กบบทกลบของทฤษฎบทของปทาโกรส 2.5.3.1 ทฤษฎบทของพทาโกรส

ขอความทเปนเหตคอ ABC เปนรปสามเหลยมมมฉาก c แทนความยาวของดานตรงขามมมฉาก a และ b แทนความยาวของดานประกอบมมฉาก ขอความทเปนผลคอ c2 = a2 + b2

2.5.3.2 บทกลบของทฤษฎบทของพทาโกรส ขอความทเปนเหตคอ ABC เปนรปสามเหลยม มดานยาว a , b และ c หนวย และ c2 = a2 + b2 ขอความทเปนผลคอ รปสามเหลยม ABC เปนรปสามเหลยมมมฉาก และมดานทยาว c หนวยเปนดานตรงขามมมฉาก

2.6 ทฤษฎฟงกชนตรโกณมต (Trigonometric function) ฟงกชนของมม ซงมความส าคญในการศกษารปสามเหลยมและปรากฏการณในลกษณะเปนคาบ ฟงกชนอาจนยามดวยอตราสวนของดาน 2 ดานของรปสามเหลยมมมฉาก หรออตราสวนของพกดของจดบนวงกลมหนงหนวย หรอนยามในรปทวไปเชน อนกรมอนนต หรอสมการเชงอนพนธ รปสามเหลยมทน ามาใชจะอยในระนาบแบบยคลด ดงนน ผลรวมของมมทกมมจงเทากบ 180° เสมอ

รปท 2.3 รปสามเหลยมมมฉากหามม A

2.6.1 ไซน ของมม คอ อตราสวนของความยาวดานตรงขาม ตอความยาวดานตรงขามมมฉาก ในทนคอ sin(A) = ขาม/ฉาก = a/h

2.6.2 โคไซน ของมม คอ อตราสวนของความยาวดานประชด ตอความยาวดานตรงขามมมฉาก ในทนคอ cos(A) = ชด/ฉาก = b/h

2.6.3 แทนเจนต ของมม คอ อตราสวนของความยาวดานตรงขาม ตอความยาวดานประชด ในทนคอ tan(A) = ขาม/ชด = a/b

2.6.4 โคซแคนต csc(A) คอฟงกชนผกผนการคณของ sin(A) นนคอ อตราสวนของความยาวดานตรงขามมมฉาก ตอความยาวดานตรงขาม csc(A) = ฉาก/ขาม = h/a

2.6.5 ซแคนต sec(A) คอฟงกชนผกผนการคณของ cos(A) นนคอ อตราสวนของความยาวดานตรงขามมมฉาก ตอความยาวดานประชด sec(A) = ฉาก/ชด = h/b

2.6.6 โคแทนเจนต cot(A) คอฟงกชนผกผนการคณของ tan(A) นนคอ อตราสวนของความยาวดานประชด ตอความยาวดานตรงขาม cot(A) = ชด/ขาม = b/a 2.7 ทฤษฎเวกเตอรและสเกลำร การเคลอนทเปนสงทคนเราสนใจมาตงแตสมยโบราณ นวตนเปนคนแรกทศกษาการเคลอนทของวตถอยางเปนระบบจนสามารถอธบาย และท านายการเคลอนทของวตถทกอยางในจกรวาลวามนจะเคลอนทไปอยางไรกอนทจะศกษากฎของนวตนเรามาเรมศกษาการเคลอนทอยางงายทสดเสยกอนคอการเคลอนทเปนเสนตรง ซงตองเขาใจปรมาณทางฟสกสทใชในเรองการเคลอนทน 2 ค าคอ

2.7.1 ปรมาณสเกลาร คอปรมาณทมแตขนาด กไดความหมายครบถวน ไมตองบอกทศทาง เชน เวลา มวล ความยาว พนท ความหนาแนน ความรอน เปนตน

2.7.2 ปรมาณเวกเตอร คอปรมาณทบอกทงขนาด และทศทาง เชน การกระจด ความเรว ความเรง แรง เปนตน 2.8 กำรเขำถงพกเซล

การเขาถงพกเซลเปนรปแบบค าสงหลกๆทใชในโครงงาน ระบบน าทางดวยการตรวจจบเสนส 2 ทงเรองการตรวจสอบความสวางความมด เรองสงกดขวาง และ การวดระยะเสนทางการเคลอนทของหน การเขาถงพกเซลลมรปแบบค าสง 3 แบบ ดงน

2.8.1 การเขาถงพกเซลดวย IplImage #include <cv.h> #include <highgui.h> int_tmain(intargc, _TCHAR* argv[]) { intx,y; ucharp[3]; char *imgName= "D:/pic/a.jpg"; IplImage* img= cvLoadImage( imgName); for (y = 0; y < img->height; y++) { for (x = 0; x < img->width; x++) { p[0]=img->imageData[img->widthStep* y + x * 3];// B p[1]=img->imageData[img->widthStep* y + x * 3 + 1];// G p[2]=img->imageData[img->widthStep* y + x * 3 + 2];// R img->imageData[img->widthStep*y+x*3]=cvRound(p[0]+50); img->imageData[img->widthStep*y+x*3+1]=cvRound(p[1]+50); img->imageData[img->widthStep*y+x*3+2]=cvRound(p[2]+50); } } cvNamedWindow("Image",CV_WINDOW_AUTOSIZE); cvShowImage("Image",img); cvWaitKey(0); cvDestroyWindow("Image"); cvReleaseImage(&img); return 0; }

2.8.2 การเขาถงพกเซลดวย Pointer char *pt1, *pt2; for(pt1 = img->imageData; pt1 < img->imageData + img->widthStep*img->height; pt1 += img->widthStep) { for(pt2 = pt1; pt2 < pt1 + img->width*3; pt2 += 3) { p[0] = pt2[0]; p[1] = pt2[1]; p[2] = pt2[2]; pt2[0] = cvRound (p[0]+50); pt2[1] = cvRound (p[1]+50); pt2[2] = cvRound (p[2]+50); } }

2.8.3 การเขาถงพกเซลดวยCV_IMAGE_ELEM for(y=0; y < img->height; y++) { for(x=0; x < img->width; x++) { p[0] = CV_IMAGE_ELEM(img, uchar, y, x*3+0); p[1] = CV_IMAGE_ELEM(img, uchar, y, x*3+1); p[2] = CV_IMAGE_ELEM(img, uchar, y, x*3+2); CV_IMAGE_ELEM(img, uchar, y, x*3+0) = cvRound (p[0]+50); CV_IMAGE_ELEM(img, uchar, y, x*3+1) = cvRound (p[1]+50); CV_IMAGE_ELEM(img, uchar, y, x*3+2) = cvRound (p[2]+50); } } 2.9 ระบบส RGB ระบบส RGB เปนระบบสของแสง เกดจากการหกเหของแสงกลายเปนสรง มดวยกน 7 ส ซงเปนชวงแสงทตาของคนเราสามารถมองเหนได แสงสมวงจะมความถสงสด เรยกวา อลตราไวโอเลต และแสงสแดงจะมความถต าสด เรยกวา อนฟาเรด

แมสของแสงมดวยกนทงหมด 3 ส คอ สแดง(R) สเขยว(G) และสน าเงน(B)

รปท 2.4 วงจรสของแสงแบบแมสหลกและแมสรอง การมองเหนของคนเรานนเกดจากคลนแสงทเกดขนในแหลงแสงตางๆวงไปกระทบผว และพนผวอาจจะดดรบบางคลนแลวสะทอนกลบมา กลายเปนสทตาเรามองเหน อปกรณอเลกทรอนกสตางๆไมวาจะเปน จอภาพ สแกนเนอร กลองดจทล หรอดวงตาคนเรา ลวนแตรบและแปลผลเปนสตางๆ ดวยแสงเหลาน เมอน ามาประยกตใชงานในระบบตรวจจบปายทะเบยนรถจกรยานยนต จ าเปนจะตองแปลงระบบส RGB ใหเปนโทนขาว-ด า เพอน าไปท าการ Threshold ซงจะไดภาพโทนขาว-ด า ดงน

รปท 2.5 ภาพวงจรสของแสงแบบขาว-ด า

2.10 กำรตรวจจบกำรเคลอนไหวโดยใชกลอง Kinect และ OpenNI การตรวจจบการเคลอนไหวของรางกายมนษยโดยใชกลอง Kinect และ OpenNI ทม

PrimeSense NiTE เปน Middleware ในเวอรชนแรกๆ ของ OpenNI ผใชทจะทาการตรวจจบการเคลอนไหว จาเปนจะตองยนหนหนาเขาหากลอง และแสดงทา Calibration Pose ทเปนทาทางตามทแสดงในรปท 2.8 เปนเวลาประมาณ 3 วนาท หรอจนกวา OpenNI จะสามารถใหขอมลต าแหนงของขอตอได กอนเรมทาการตรวจจบการเคลอนไหวทกครง โดยศรษะและแขนของผใชตองเหนไดอยางชดเจน และไมควรงอหวเขาหรอกมลาตวในขณะทแสดงทาน แตในเวอรชนปจจบน (OpenNI ทใชในขณะดาเนนงานวจยนคอ เวอรชน 1.5.2.7) ผใชไมจาเปนตองแสดงทา Calibration Pose น กอนเรมทาการตรวจจบการเคลอนไหว OpenNI สามารถใหขอมลต าแหนงของแตละขอตอไดทนททผใชอยใน มมกลอง แตอยางไรกตามหากมความผดพลาดเกดขนในระหวางททาการตรวจจบการเคลอนไหว เชน OpenNI ระบสวนของรางกายเปนต าแหนงของขอตอทผด เปนตน การแสดงทา Calibration Pose น จะชวยแกปญหาดงกลาวได 2.11 งำนวจยทเกยวของ

การตรวจจบการเคลอนไหวของรางกายมนษย (Human Motion Capture) เปนกระบวนการการบนทกการเคลอนไหวของรางกายมนษยใหอยในรปแบบดจตอล การตรวจจบการเคลอนไหวของรางกายสามารถแบงออกไดเปน 2 รปแบบหลก ไดแก การตรวจจบการเคลอนไหวโดยการทาเครองหมายตามต าแหนงตางๆ บนรางกาย (Marker Motion Capture) และการตรวจจบการเคลอนไหวโดยปราศจากการทาเครองหมายตามต าแหนงตางๆ บนรางกาย (Markerless Motion Capture)

การตรวจจบการเคลอนไหวโดยการทาเครองหมายตามต าแหนงตางๆ บนรางกาย จะใชวธการตดเครองหมายตามขอตอตางๆ บนรางกาย หรอตดเครองหมายลงบนชดทสวมใส แลวใชกลองตรวจจบเครองหมายทตดไว จากนนจะใชซอฟตแวรทาการวเคราะหต าแหนงของเครองหมายเพอสรางต าแหนงของขอตอของรางกายในรปแบบสามมต การทาเครองหมายตามต าแหนงตางๆ บนรางกายอกวธการหนง จะใชวธการตดอปกรณบอกต าแหนงไวทรางกายโดยตรง วธการนจงไมตองใชกลองในการตรวจจบ และทาใหไดต าแหนงของขอตอในสามมตโดยตรง การตรวจจบการเคลอนไหวโดยปราศจากการทาเครองหมายตามต าแหนงตางๆ บนรางกาย จะใชกลองตรวจจบภาพการเคลอนไหว แลวใชซอฟตแวรทาการวเคราะหภาพทกลองตรวจจบได เพอแยกภาพรางกายออกจากภาพพนหลง จากนนจะทาการวเคราะหภาพรางกาย เพอสรางต าแหนงของขอตอของรางกายในรปแบบสามมต

งานวจยของ Y. Liu, C. Stoll, J. Gall, H. Seidel และ C. Theobalt ไดเสนอวธการตรวจจบการเคลอนไหวแบบปราศจากการทาเครองหมายไวตามต าแหนงตางๆ บนรางกาย ของการตรวจจบการเคลอนไหวของผใชสองคนทมสวนของรางกายสมผสกนอย เชน ผใชสองคนกาลงเตนรา เปนตน งานวจยนสามารถแยกโครงรางของผใชสองคนออกจากกนได ดวยการใชวธการแบงแยกสวนของรปภาพ (Image Segmentation) โดยทาการแบงแยกสวนของรปภาพทไดจากการจบภาพผใชท งสอง ในหลายๆ มมมอง จากนนจะทาการประเมนพนผว (Surface Estimation) สรางแบบจาลองสามมต และสรางโครงรางของผใชแตละคน ตามทแสดงในรปท 2.6 ผลการทดสอบวธการทงานวจยนนาเสนอแสดงใหเหนถงวธการทถกตองและนาเชอถอในการตรวจจบการเคลอนไหวทผใชสองคน ทมสวนของรางกายทสมผสกน โดยมความผดพลาดบางในบางเฟรมทผใชมการเคลอนไหวอยางรวดเรว และมความผดพลาดจากการแบงแยกสวนของรปภาพในสวนทมสสนเหมอนกน

รปท 2.6 การสรางโครงรางมนษยจากการแบงแยกสวนของรปภาพในหลายๆ มมมอง

สวนหนงของงานวจยของ G. Odowichuk, S. Trail, P. Driessen, W. Nie และ W. Page ไดทาการ ทดสอบการความสามารถในการวดระยะหาง (ความลก) ของกลอง Kinect โดยนาระยะหางทกลอง วดไดไปเปรยบเทยบกบระยะหางทแทจรงจากการวดระยะหางจากกลองไปยงพนระนาบ ปรากฏผล ตามทแสดงในรปท 2.7 โดยทจดกงกลางของภาพความลกทกลองตรวจจบได หากระยะหางทไดจาก กลองเปน 1 เมตร ระยะหางทแทจรงจากการวดจะไดประมาณ 1.253 เมตร

รปท 2.7 กราฟแสดงความลกทแทจรงและความลกทไดจากกลอง Kinect

มงานวจยหลายงานทนาการใชกลอง Kinect และ OpenNI ในการตรวจจบการเคลอนไหวของรางกาย มนษยไปประยกตใชในงานดานตางๆ ดงน

งานวจยของ S. Hauswiesner, M. Straka และ G. Reitmayr ไดเสนอระบบการลองเสอผาจาก ทบานผานระบบเสมอนจรง โดยใชกลอง Kinect ตรวจจบผใช และตรวจจบเสอผาทตองการ จากนนระบบจะทาการสรางแบบจาลองสามมตของผใชและเสอผา แลวนามาแสดงประกอบกนเปนภาพผใชสวมใสเสอผาตามทไดเลอกไว โดยแสดงทาทางเดยวกนกบผใชตามเวลาจรง ตามทแสดงในรปท 2.8 งานวจยนทดสอบระบบทเสนอโดยการใชแบบสอบถามสอบถามผทดลอง ซงปรากฏผลตอบรบทดจากผทดลอง

รปท 2.8 ระบบการลองเสอผาเสมอนจรง

งานวจยของ C. Velardo และ J. Dugelay ไดเสนอระบบการบงบอกคณลกษณะภายนอกของบคคล (Body Soft Biometric) โดยใชกลอง Kinect ตรวจจบรางกายของผใช จากนนจะนาขอมลการตรวจจบทไดไปคานวณหาสวนสง นาหนก และเพศของผใชคนนนโดยประมาณ ตามทแสดงใน รปท 2.9 งานวจยนแสดงใหเหนถงแนวทางในการระบตวตนของบคคลโดยใชกลอง Kinect

รปท 2.9 ระบบการบงบอกคณลกษณะภายนอกของบคคลโดยใชกลอง Kinect

งานวจยของ M. K. M. bin Sidik, M. S. bin Sunar, I. bin Ismail, M. K. bin Mokhtar และ N. binti M. Jusoh ไดทาการศกษาเกยวกบการปฏสมพนธระหวางผใชกบคอมพวเตอรโดยการตรวจจบการ เคลอนไหวดวยการใชภาพความลก (Depth Image) การศกษานไดแสดงใหเหนถงโครงสรางของ ระบบการวเคราะหการเคลอนไหวของรางกายมนษย ซงประกอบดวย 4 ขนตอน ดงน

2.11.1. Initialization เปนขนตอนในการเตรยมความพรอมกอนทจะเรมทาการตรวจจบการเคลอนไหว

2.11.2 Tracking เปนขนตอนในการแบงแยกระหวางผถกตรวจจบกบฉากพนหลง 2.11.3. Pose Estimation เปนขนตอนในการประมาณการแสดงทาทางของผถกตรวจจบ

2.11.4. Recognition เปนขนตอนในการวเคราะหและจ าแนกการกระท าของผถกตรวจจบ

ผลการศกษาของงานวจยนแสดงใหเหนถงประโยชนของการใชภาพความลกในการตรวจจบการ เคลอนไหวของรางกายมนษย ซงการใชภาพความลกจะชวยลดขนตอนและเวลาในการแบงแยก ระหวางผถกตรวจจบกบฉากพนหลง

งานวจยของ X. Yu, L. Wu, Q. Liu และ H. Zhou [15] ไดเสนอวธการประเมนการแสดงอารมณ ดานลบของเดกดวยขอมลทไดรบจากการตรวจจบการเคลอนไหวโดยใชกลอง Kinect ตามทแสดงใน รปท 2.10 งานวจยนนาขอมลการตรวจจบการเคลอนไหวทไดไปวเคราะหดวยอลกอรทมในการ วเคราะหพฤตกรรมแบบ Stochastic Grammar งานวจยนทาการทดสอบระบบตนแบบเปรยบเทยบกบ การบนทกภาพเคลอนไหวและการจดบนทกพฤตกรรมทเดกแสดงออก ผลของงานวจยนแสดง ใหเหนถงระบบตนแบบทชวยในการวเคราะหพฤตกรรมและการแสดงอารมณดานลบของเดก และ ชวยในการแกไขพฤตกรรมของเดก

รปท 2.10 ตวอยางพฤตกรรมของเดกทบนทกโดยใชกลอง Kinect

งานวจยของ B. Lange, C. Chang, E. Suma, B. Newman, A. S. Rizzo และ M. Bolas ไดเสนอเกม สาหรบฝกการทรงตวของผปวยทางระบบประสาท โดยใชกลอง Kinect ในการตรวจจบการ เคลอนไหวของผปวย และใช OpenNI ในการใหขอมลตาแหนงของขอตอ แลวนาขอมลการตรวจจบการเคลอนไหวทไดไปควบคมตวการตนในเกม งานวจยนทาการทดสอบเกมทนาเสนอกบผปวยทางระบบประสาท ผลของงานวจยนแสดงใหเหนถงเกมทชวยในการพฒนาการทรงตวของผปวยทมความเพลดเพลน และผปวยมความพงพอใจมาก

งานวจยของ S. Rogge, P. Amtsfeld, C. Hentschel, D. Bestle และ M. Meyer ไดเสนอวธการควบคมการแสดงผลแบบจาลองสามมตของใบพดในสภาพแวดลอมเสมอนจรง ดวยทาทางของผใช งานวจยนใชกลอง Kinect และ OpenNI ในการพฒนาโปรแกรมตนแบบ ผลของงานวจยนแสดงใหเหนถงระบบแสดงแบบจาลองสามมตทใชงานไดงาย และทาใหเหนขอผดพลาดของแบบจาลองไดอยางรวดเรว

งานวจยของ L. Gallo, A. P. Placitelli และ M. Ciampi ไดเสนอระบบการควบคมการแสดงรปภาพทางการแพทยดวยทาทางของผใช ตามทแสดงในรปท 2.11 งานวจยนใชกลอง Kinect ในการตรวจจบทาทางของผใช และใช OpenNI ในการใหขอมลต าแหนงของขอตอ แลวนาขอมลต าแหนงของขอตอทมอและแขนไปวเคราะหเปนคาสงในการควบคมการแสดงรปภาพ ผลการศกษาของงานวจยนแสดงใหเหนถงระบบการควบคมการแสดงรปภาพทางการแพทยทปราศจากการใชอปกรณควบคม มคาใชจายนอย และสามารถหาซออปกรณไดตามรานคาทวไป

รปท 2.11 ระบบการควบคมการแสดงรปภาพทางการแพทยดวยทาทางของผใช