Microsoft NUI - Kinect

Естественные интерфейсы

Игровой контроллер Xbox KinectСергей Звягин, Ingate Development

Видео

Анонс Project Natal

История

• Первый анонс Project Natal состоялся 1 июня 2009 года на выставке E3

• 13 июля 2010 года состоялась премьера сенсора, снова на выставке E3. Тогда же было объявлено название – Xbox Kinect

• Для покупки устройство стало доступно 4 октября 2010 года в Северной Америке и 10 октября в Европе и России

• За первые 60 дней было продано 8 миллионов копий устройства, что позволило ему попасть в Книгу рекордов Гинесса

Игры

Игры

Игры

Игры

Игры

Игры

• При запуске консоли стало доступно 17 игр:• Kinect Adventures• Kinectimals• Game Party™: In Motion• Harry Potter and the Deathly Hallows — Part 1• Your Shape™: Fitness Evolved• Dance Central• The Biggest Loser Ultimate Workout• DanceMasters• EA SPORTS Active 2• Zumba Fitness®• Kinect Sports• MotionSports™• DECA SPORTS FREEDOM• Kinect Joy Ride• ADRENALIN MISFITS• Fighters Uncaged• SONIC FREE RIDERS™

Игры

Игры

• Рассчитаны на широкий круг людей• Ограничения по возрасту минимальны• Прекрасно подходят для компании• Разделение экрана на 2 части в

мультиплеере• Со стороны это может выглядеть немного

нелепо, но обязательно весело

Игры

• Но есть и разнообразие… Sega’s Rise of Nightmares:

Аппаратная составляющая

Аппаратная составляющая

• Модуль памяти Hynix DDR2 SDRAM 64 мегабайта

• Чип PrimeSensePS1080-A2 – ядро технологии PrimeSense

• Камера IR CMOS с разрешением 320×240 – размещена слева

• Камера RGB CMOS с разрешением 640×360 – размещена по центру

• Мотор, отвечающий за поворот системы• Кулер• Пространственный акселерометр• 4 микрофона• Проектор IR-лучей

PrimeSense

• «Времяпролетный (time-of-flight)» метод параллельного излучения ИК-сигнала и обработки отраженных лучей

• Построение облака трехмерных точек по результатам

• Выделение из облака форм, напоминающих человеческое тело

• Расчет возможных движений рук, ног и туловища

Видео

Что видит Kinect?

Хаки Kinect

«Hi from team Adafruit, we’re going to do our first ever “X prize” type project. Hack the Kinect for Xbox 360 and claim the $2,000 bounty! NOW $3,000»

Хаки Kinect

• 4 ноября 2010 года Adafruit Industries предложили написать открытые драйверы для Kinect

• Первый успешный результат взлома будет поощрен $1000

• После заявлений Microsoft о невозможности взлома приз был увеличен сначала до $2000, а потом до $3000

• Победитель был объявлен уже 10 ноября

Хаки Kinect

• Вскоре появились open-source драйверы для Windows, Linux и MacOS

• Были созданы обертки для Python, C++, C#, Actionscript, Java, Javascript, Common Lisp

• Люди начали создавать различные решения на основе открытых драйверов, в основном для развлечения

• Некоторые компании (например So Touch и Evoluce) создали коммерческие решения

Видео

Хаки Kinect

Kinect for Windows

История

• 10 ноября 2010 года появляется первый открытый драйвер OpenKinect

• 21 июня 2011 года Microsoft выпускает бета-версию пакета SDK для некоммерческого использования Kinect в Windows

• Анонс коммерческой версии SDK состоялся 31 октября

• 21 ноября Microsoft заявляет, что вместе с коммерческим SDK будет выпущена версия устройства, отличающаяся от оригинального Xbox Kinect

• C 1 февраля 2012 года Kinect for Windows можно купить за $249 в 12 странах мира

SDK – к чему есть доступ?

• Изображение с камеры (есть в OpenKinect)• Данные датчика глубины (есть в

OpenKinect)• Звук (есть в OpenKinect)• Распознавание речи• Скелет

Видео

Kinect Effect

Что уже сделали люди?

• Kinecthesia – помощь незрячим в обнаружении преград

• AR Door – виртуальная примерочная TopShop

• SwimBrowser – управление серфингом по интернету

• Sunnybrook Hospital Kinect – манипулирование медицинскими изображениями при операциях

• SQL Kinection – …

Видео

Sql Kinection

Демо

Смотрим проекты Kinect SDK

Вопросы?

Полезные ссылки

• OpenKinect http://openkinect.org/• MS Kinect for Windows http://

kinectforwindows.org/• Coding4Fun Kinect Projects http://cut.ms/bua2• Twitter: @KinectWindows, @KinectSDKTeam• Предзаказ на Amazon http://cut.ms/bua3

© 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market

conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

Спасибо за внимание!Сергей Звягин, Ingate

Development• E-mail: bingofirst@gmail.com• Twitter: @Bingo87• Xbox: BingoRUS