Realistic VR experience requires visualization of realistic players, which includes the transfer of body movements and emotions in real time

1/15

ОЦИФРОВКА ЧЕЛОВЕКА ДЛЯ НАЧИНАЮЩИХ

Валерий Крыгин

Data Science Meetup7 февраля 2018 года

2/15

Сегодня обсудим

1 ARVI Lab2 Основная идея3 Построение модели4 Оцифровка

3/15

1 ARVI LabПредоставляем ресурсы для AI проектов

и возможностьстажировки в компании

Пишите Кате Стецюк[email protected]

Быстро 500+ ядер CPUМощно 600 TFLOPSМного 3+ TB RAM

Очень много 200+ TB дисковогопространства

Просто завались 200 · 103 ядер GPU

3/15




Быстро 500+ ядер CPU

Мощно 600 TFLOPSМного 3+ TB RAM



3/15




Быстро 500+ ядер CPUМощно 600 TFLOPS

Много 3+ TB RAMОчень много 200+ TB дискового

пространстваПросто завались 200 · 103 ядер GPU

3/15







3/15







3/15







3/15

1 ARVI LabПредоставляем ресурсы для AI проектов и возможностьстажировки в компании





4/15

2 Основная идеяХотим видеть партнёров по бизнесу в виртуальном мире

5/15

2 Основная идеяХотим жить в виртуальном мире

6/15

2 Основная идеяМожет, снимать с помощью специальных камер?

Fusion4D: Real-time Performance Capture of Challenging Scenes (2016)Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, AdarshKowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, PushmeetKohli, Vladimir Tankovich, Shahram Izadi

7/15

2 Основная идеяНужно переносить мимику на заранее подготовленную модель

8/15

3 Построение моделиСканируем голову человека

8/15

3 Построение моделиБерём эталонную модель

8/15

3 Построение моделиИщем соответствие между вершинами двух моделей

9/15

3 Построение моделиРезультат

9/15

3 Построение моделиРезультат ошеломляет

10/15

3 Построение моделиЗачем всё это?

11/15

4 ОцифровкаИтоговая оптимизационная задача

σ2 · ‖~s‖2 +∑i∈I

∥∥∥q · R ·Mi · ~s + ~b − ki

∥∥∥2→ min

q,k,R,~b,~sq — масштабR — матрица поворотаMi — набор координат точки i в разных моделях (матрица)~b — вектор смещения~s — набор весов для каждой модели (вектор)ki — точка сканированной модели, которая ближе всех других к q · R ·Mi · ~s + ~b

ki = arg mint∈T

∥∥∥t − q · R ·Mi · ~s + ~b∥∥∥2

12/15

4 ОцифровкаРегуляризация

Если пропустить σ2 · ‖~s‖2, то в Нотр-Даме загрустит один Квазимодо

13/15

4 ОцифровкаТадам!

14/15

Спасибо за внимание!Как узнать больше?

Почитать статьиI A Morphable Model For The Synthesis Of 3D Faces (1999)

Volker Blanz and Thomas VetterI FaceWarehouse: a 3D Facial Expression Database for Visual Computing (2012)

Chen Cao, Yanlin Weng, Shun Zhou, Yiying Tong, Kun ZhouI Markov Chain Monte Carlo for Automated Face Image Analysis (2017)

Sandro Schonborn, Bernhard Egger, Andreas Morel-Forster, Thomas VetterI Learning a model of facial shape and expression from 4D scans (2017)

Tianey Li, Timo Bolkart, Michael J. Black, Hao Li, Javier Romero

И этуFusion4D: Real-time Performance Capture of Challenging Scenes (2016)Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, AdarshKowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, PushmeetKohli, Vladimir Tankovich, Shahram Izadi

14/15


Почитать статьиI A Morphable Model For The Synthesis Of 3D Faces (1999)

Volker Blanz and Thomas VetterI FaceWarehouse: a 3D Facial Expression Database for Visual Computing (2012)

Chen Cao, Yanlin Weng, Shun Zhou, Yiying Tong, Kun ZhouI Markov Chain Monte Carlo for Automated Face Image Analysis (2017)

Sandro Schonborn, Bernhard Egger, Andreas Morel-Forster, Thomas VetterI Learning a model of facial shape and expression from 4D scans (2017)

Tianey Li, Timo Bolkart, Michael J. Black, Hao Li, Javier RomeroИ этуFusion4D: Real-time Performance Capture of Challenging Scenes (2016)Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, AdarshKowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, PushmeetKohli, Vladimir Tankovich, Shahram Izadi

15/15


Спросить у меняvaleriy.krygin at gmail.comfacebook.com valerij.krygin

Data & Analytics

Realistic VR experience requires visualization of realistic players, which includes the transfer of body movements and emotions in real time