Mixed Realityではじまる
コラボレーティブ・コンピューティングな世界
デコ・シ
自己紹介
デコ・シ(@Ash_Yin)
氏名: 立原愼也
所属: 株式会社ホロラボ
役職: プログラマ/リサーチャー
経歴
2017/04 大手電機メーカー(SE) 入社
2017/05 Unite2017で逆ナンされる
2017/06 大手電機メーカー(SE) 退職/ホロラボ入社
自己紹介
個人の活動
FolloMap
スマホからGPS情報を送信し、
HoloLensでマップを見る
Buy FolloMap - Microsoft Store
FolloMap - YouTube
(ストア)
(使い方)
素材はパワポでつくった
HoloLab Inc.
会社概要
株式会社ホロラボ (HoloLab Inc.)
所在地:東京都品川区上大崎資本金:2,000,000設立日:2017年1月18日創業者:5名従業員:4名
創業メンバー
社員 & 仲間
外部研究員たるこす@tarukosu
平社員デコ・シ@Ash_Yin
代表社員アキヒロ
@akihiro01051
CTO/寿司職人ゆーじ@yuujii
CADエンジニア デザイナー アルバイト
JackMasaki@JackMasaki
会計社長夫人
業務内容
よくわかるホロラボ
Mixed Realityについて
Mixed Realityとは? - 終わらない定義論争 -
Microsoft
Mixed reality is the result of blending the physical
world with the digital world.
https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality
https://youtu.be/_xpI0JosYUk
HoloLens おさらい
HoloLensってなに? -HoloLensおさらい-
・MS社が販売している頭部装着型のPC
・スタンドアロン・ケーブルレス
HoloLensのスペック -HoloLensおさらい-
項目
OS Windows 10
プロセッサ Intel Atom 32bit
Microsoft Holographic Processing Unit
(HPU 1.0)
ストレージ 64GB
メモリ 2GB
重量 579g
スペックはスマホ相当
https://www.microsoft.com/ja-jp/hololens/buy
HoloLensの固有機能 -HoloLensおさらい-
視線ジェスチャ
音声入力 空間認識
シェア空間
マッピング
https://developer.microsoft.com/en-us/windows/mixed-reality/development_overview
HoloLensの強い弱い -HoloLensおさらい-
ここが強い ここが弱い
•安定した位置追跡
•ケーブルレス、スタンドアロン
- 装着コストが低い
- 機動力が高い
• 視野角が狭い
- モデルの大きさや見せ方に工夫が必要
•CPU、GPU性能が低い
- モデルの作りに工夫が必要
•値段が高い
HoloLensのある生活 -HoloLensおさらい-
← お手本空間に自由にワークアプリを配置して作業できる
ダメな例 →空間に自由にtwitter、動画(アニメ)を配置できる
HoloLensの活用例 -HoloLensおさらい-
Point
・既存の車への重畳表示 (カラーリング・フォルムなど)
・角度のシミュレーション (センサがどう働くか)
・音声アノテーション (技術者やデザイナーの空間ログ機能)
・サイドミラーシミュレーション
Ford(自動車デザイン) https://www.youtube.com/watch?v=WZQ_DQD7F3U
HoloLensの活用例 -HoloLensおさらい-
Point
・事前シミュレーション
・現場での情報および保守項目リスト
・遠隔支援および第3者による確認
ThyssenKrupp (保守・管理) https://www.youtube.com/watch?v=8OWhGiyR4Ns
HoloLensの活用例 -HoloLensおさらい-
Point
・実寸大での表示
・構造の理解
JAL (航空) https://www.youtube.com/watch?v=GjZgI2oDcwM
HoloLensの活用例 -HoloLensおさらい-
Point
・Deep Learningを用いた顧客の好み抽出
・家具配置シミュレーション
・行動解析(見ていた場所のヒートマップなど)
LOWE’S (家具キッチン) https://www.youtube.com/watch?v=gC_4JxF0e_k
HoloLensの活用例 -HoloLensおさらい-
Point
・CTデータの閲覧
ロンドン大学 (医療) https://www.youtube.com/watch?v=TylDjQ1udZg
HoloLensの活用例 -HoloLensおさらい-
Point
・建設するモデルを3Dで表示(空間共有)
・工程管理
・文書や画像をHoloLens内に保存
小柳建設 (建設) https://www.youtube.com/watch?v=dW1amJLDwuQ
HoloLensの活用例 -HoloLensおさらい-
Point
・建物完成イメージの視覚的理解
ネクストスケープ (不動産) https://www.nextscape.net/news/2017/05/20170523
HoloLensで辛かったこと
・Air-Tapのやり方を説明してもきいてくれない
・勝手にBloomされる
・つけ方が悪くて何も見えてなかった
・モデルが重い
・位置がずれる
・シェアリングって簡単にできるんでしょ?
・HoloLensを無理やり外される
・ヘッドバンドが折れる
このあと
滅茶苦茶
セッチャクした
Immersive おさらい
廉価版のHoloLensなんでしょ? -Immersiveおさらい-
・Gestureは使えません
・パススルーはできません
・環境マッピングは使えません
・スタンドアロンではない
HoloLensとImmersiveの機能比較 -Immersiveおさらい-
機能 HoloLens Immersive headset
入力
Gaze ✓ ✓
Gestures ✓
Voice ✓ ✓
Gamepad ✓ ✓
Motion controllers ✓
空間認識機能
ワールド座標 ✓ ✓
空間音響 ✓ ✓
Spatial Mapping ✓
https://developer.microsoft.com/en-us/windows/mixed-reality/development_overview
Mixed Reality Headsetの種類 -Immersiveおさらい-
https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets
項目
解像度 2880 x 1600
視野角 110度
ディスプレイ 有機EL
ヘッドフォン+デュアルマイクロフォンアレイ
IPD調整機構付き
$499.00
海外から輸入した結果 -Immersiveおさらい-
海外のDell Shopなら
単体で購入できる
しかも
技適の問題もなし
http://www.dell.com/en-us/shop/the-dell-visor/apd/536-bbbr/gaming
海外から輸入した結果 -Immersiveおさらい-
代行購入費用 送料
結果、倍した
うちのPCで動くの? -Immersiveおさらい-
超簡単セットアップ -Immersiveおさらい-
難しいんじゃないの?- ケーブルを挿すだけ。だいたい10分で終わる。
コントローラがないんだけど- Xboxコントローラでも大丈夫。なんならマウスとキーボードでも操作できる。
外部センサーは?- いらなーい
2Dアプリと3Dアプリの違い -Immersiveおさらい-
2Dのアプリ
3Dのアプリ
WebVR -Immersiveおさらい-
心がぴょんぴょんする動画
Window Mixed Reality for SteamVR -Immersiveおさらい-
Immersiveで辛かったこと
・モーションコントローラが頻繁にトラッキングロストする
・コントローラがもはや認識すらしなくなった
・ファームウェアアップデートで動作不安定になる
・ファームウェアアップデートが強制
・Unityのバージョンが隔離される
・バージョンアップすると動いたものが動かなる
・Steamでよくね?と言われる
全部動かなくなったわ
ははっ
コラボレーティブ・コンピューティング
コラボレーティブ・コンピューティングとは
http://news.livedoor.com/article/detail/9747068/
アレックス・キップマン
頑張って日本語にしたやつ
分かりやすい記事
http://dhero.hatenablog.com/entry/2017/10/10/%E3%80%90%E7%BF%BB%E8%A8%B3%E3%80%91Mixed_Reality_Q%26A_
Kinectの開発者HoloLensの父
コラボレーティブ・コンピューティングとは - de:code -
https://youtu.be/JxCUyhjwHW0?t=9m40sThe World of Hololens in 24 Months
透過型HMD
PC
没入型HMD
Immersive と HoloLens
同じアプリケーションが動作する
空間配置
他のデバイスを使ったときの違和感が減る、互いになるべく同じことができるようになっている
他にも、・Gazeの利用・AirTapとコントローラの入力の互換・音声入力・空間音響
統一感のあるメニューなどのUI
Immersive & HoloLensの活用例
Cirque du Soleil (演劇)
Point
・HoloLens/Immersiveデバイスそれぞれのユーザーで一つのステージを作り上げる
https://www.youtube.com/watch?v=vNz5Rw6TwCw
Immersive & HoloLensの活用例
Mixed Reality 250 Windows Mixed Reality - Acer and HoloLens Side-By-Side - YouTube
Point
・HoloLens/Immersiveデバイスを使った協調作業のサンプルプロジェクト
MR脊椎・関節手術トレーニングシステム
マイクロソフトMixed Reality パートナープログラム
Microsoft Mixed Reality Partner Program/複合現実パートナープログラムは、
HoloLensやImmersiveヘッドマウントディスプレイ(以下Immersive HMD)他、
Mixed Reality(以下MR)技術によるシステムやソリューションを展開する優れた企業
に対してMicrosoft社から提供される認定制度
https://www.microsoft.com/ja-jp/hololens/commercial-build#agency-buckets
要するに
稲波脊椎・関節病院× HoloLab
稲波脊椎・関節病院について稲波脊椎・関節病院は、国内トップの年間1,590件(2015年実績)の脊椎内視鏡下手術実績を持つ岩井グループが、2015年7月に2院目として品川区東品川に開院した腰・膝の専門病院です。「高度で、かつ身体への負担が少なく、安心を与えられる医療」を実践することを目的とし、最新技術導入へも積極的に取り組んでいます。その一環としてHoloLens/Mixed Realityの手術トレーニング環境への導入をホロラボと共同で検証しています。•URL: http://www.iwai.com/inanami-sekitsui/
•Facebook Page : https://www.facebook.com/inanami.hospital/
•手術室にあるモニターを極力減らしたい。- モニターの設置コストを下げたり、広い場所がとれない手術室でも活用できる
•研修医を受け入れており研修が終わってからのサポートが課題。初期からHoloLensでトレーニングを行い、遠隔でもサポートできるようにしたい。
課題
稲波脊椎・関節病院× HoloLab -開発環境 -
https://www.slideshare.net/decode2017/mr04-unity-hololens/29
HoloLens側Unity 2017.1.2
Visual Studio 2015 update 3
Immersive側Unity 2017.2 MRTP3
Visual Studio 2017.15.3
60FPSのための指針
稲波脊椎・関節病院× HoloLab – Mixed Reality -
Mixed Reality Toolkitは、Microsoft
HoloLensとWindows Mixed Reality
headset を対象としたアプリケーションの開発を加速するためのスクリプトとコンポーネントの集まりです。このプロジェクトは、複合現実感アプリケーションを作成するための参入障壁を削減し、皆が成長できるようコミュニティに貢献することを目的としています。MixedRealityToolkit – UnityはMixedRealityToolkitをベースとしたコードを使用しており、Unityでの利用を容易にします。
統一感のあるUIのために
稲波脊椎・関節病院× HoloLab – Mixed Reality -
HoloLensでもImmersiveでも同じような動きが作れる
稲波脊椎・関節病院× HoloLab – Mixed Reality -
とりあえずこれを入れよう、3種のコンポーネント
MixedRealityCameraParent: CameraとBoundary
Managers: Gesture, GamePad, HandControllerの入力を扱うコンポーネント
Cursor: Gazeカーソル
HTKを直接いじるような実装をしていなければ、これらPrefabを入れ替える
だけでMRTK2017.2の環境に移植できます (ハズです)
今回もHoloLensベースで開発してImmerisveに移植した
稲波脊椎・関節病院× HoloLab - HoloLens側 -
・電子カルテをHoloLens画面内に表示
- モニターがなくなる
・トレーニング
- 3Dオブジェクトの操作 (Bounding Box)
- Sharing機能で同じ場所で同じモデルを見なが
らコミュニケーションを行える
Point使用時間が長いアプリには、バッテリーと時間が分かるようにしておくと便利
バッテリー残量は、SystemInfo.batteryLevel でとれる
稲波脊椎・関節病院× HoloLab
・ボイスアノテーション
音声を記録した位置と視線の先の位置の保存。「誰が」「どこから」「どこを見て」が記録に残る。
音声は記録された位置から再生されるので、声は空間音響によって記録位置が音源となる。
(Ford社の事例にあるものを独自に実装)
稲波脊椎・関節病院× HoloLab
・ビデオチャット (WebRTC)
HoloLensのMixed Reality Capture(MRC)映像とマイクか
らの音声をWebRTCで遠隔地のコンピューターに送信
(ThyssenKrupp社の事例にあるものを独自実装)
稲波脊椎・関節病院× HoloLab
・Immersive
同じ場所でのSharingは複数台のHoloLensが適しているが、遠隔地であればImmersiveデバイスでもよい。
ImmersiveデバイスでもHoloLensとほぼ同じ機能が実装されているので、音声アノテーションやビデオチャットを行うことができる
稲波脊椎・関節病院× HoloLab
透過型HMD
PC
没入型HMD
稲波脊椎・関節病院× HoloLab –まとめ -
・業界に依存しない、汎用的な仕組みづくりができた
・MRTKを使うと統一感のあるUIづくりができる
・でもツラミはいっぱい!
頭募集中