Tsukasa SUGIURAhttp://unanancyowen.com

ViEW2013 SS-01

画像センサと応用事例の紹介

Marketing

Kinect for Windows SDK プログラミングガイド

http://www.kohgakusha.co.jp/books/detail/978-4-7775-1726-8

Kinect for Windows SDK 実践プログラミングhttp://www.kohgakusha.co.jp/books/detail/978-4-7775-1800-5

Natural User Interface

自然で直感的に操作することのできるユーザーインターフェース

NUI を実現するための Technology– Gesture Recognition– Speech Recognition

CLI・ Codified・ Strict GUI

・ Metaphor・Exploratory

NUI・ Direct・ Intuitive

Image Sensor

Far Field Near Field

MicrosoftKinect for Windows

ASUSXtion PRO LIVE

Leap Motion

CreativeInteractive Gesture

Camera

Kinect for Windows

MULTI-ARRAY MIC MOTORIZED TILT

3D DEPTH SENSORS

RGB CAMERA

• Kinect for Windows は Color カメラ、 Depth センサ、 Microphone アレイなどを搭載した複合センサデバイス

• Kinect で取得できる情報– Color– Depth– Player– Skeleton– Audio ( Speech Recognition, Beamforming )

Kinect for Windows

Kinect for Windows

Application Case

手術室向け非接触型画像操作システム Opect ( オペクト ) - 株式会社ニチイ学館http://www.nichiigakkan.co.jp/service/medical/category/hospital/opect.html

Leap Motion

• Leap Motion は手、指、ツールを高精度かつ高フレームレートで検出・追跡できるデバイス– 精度は 1/100mm 、フレームレートは 290fps

– 有効範囲はデバイスの上方 25-600mm 、 150° の逆ピラミッド状

Leap Motion

• Leap Motion で取得できる情報– 位置– 移動速度– 回転角度– 方向– 曲率

などの様々な情報が取得可能

指先の方向掌の方向

Leap Motion

Swipe Circle

Key Tap Screen Tap

• 様々な Gesture を認識可能

Leap Motion

 Demonstration – LeapMotion Visualizerhttp://youtu.be/cxlpjSUrOa0

Application Case

Dr. Guillermo Rosa on Touchless Contral Dring Surgery – Leap Motion Developer Labs

http://labs.leapmotion.com/post/62905896710/dr-guillermo-rosa-on-touchless-control-during-surgery

"This is preliminary software and/or hardware and APIs are preliminary and subject to change."

Next Generation Kinect for Windows

"This is preliminary software and/or hardware and APIs are preliminary and subject to change."

Kinect for Windows v2

Kinect for Windows v1 Kinect for Windows v2

Color Resolution 640 × 480 1920 × 1080

Depth Resolution 320 × 240 512 × 424

Depth Sensor Light Coding TOF(Time of Flight)

Skeleton and Joint 2 persons tracking

20 joint / person

6 persons tracking

25 joint / person

Range of Detection 0.8 ～ 4.0 m 0.5 ～ 4.5 m

Angle of View( Horizontal , Vertical )

57 , 43 degree 70 , 60 degree

Specification of Kinect for Windows

"This is preliminary software and/or hardware and APIs are preliminary and subject to change."

Kinect for Windows v2

"This is preliminary software and/or hardware and APIs are preliminary and subject to change."

Summary

• NUI を実現するための画像センサとその応用事例をいくつかピックアップして紹介しました– Kinect for Windows– Leap Motion– Kinect for Windows v2

• 特徴を理解して適切な画像センサを用いることで問題を解決することができる…かもしれません

Application Case

スマートハウスの実証実験 - 三井ホーム http://www.mitsuifudosan.co.jp/kashiwanoha/

Application Case

Kinect Sign Language Translator Expands Communication Possibilities – Microsoft Research

http://research.microsoft.com/en-us/collaboration/stories/kinect-sign-language-translator.aspx