没入コミュニケーションに利用する3次元仮想キャラクタの半自動生成

没入コミュニケーションに使用する３次元仮想キャラクタの半自動生成

京都大学西田研究室柴﨑優季

2012年2月9日木曜日

背景

• グローバル化が進み遠隔地でのコミュニケーションの機会が増えた- 対面：コスト×、円滑○- テレビ電話：コスト○、円滑×

• これまでの手法では、コストと円滑さの両方を満たすことが出来ない

• 解決策：3次元仮想空間内で現実と変わらない没入コミュニケーション- 現実の情報を反映できるキャラクタ

- 現実と同じような空間- 現実と同じような物体


現実の情報を反映できるキャラクタ

• 顔表情の伝達 ➡ これまで様々な手法が提案

• 現実の人物の色や形状を反映• 手振りなどの比較的大きめなジェスチャの伝達

➡ 上の二つを実現するには、商用ボディスキャナで形状取得し、手動で骨格を入れる方法が存在。しかしコストが数百万程度かかり、手間もかかる。

• 現実の人物に基づき、比較的大きなジェスチャが可能なキャラクタを低コストかつ簡便に作成したい。➡ 低コストかつ簡便でなければ一般ユーザが利用不可


Kinectによる骨格付キャラクタ作成システム






人物データ取得法

• 取得する情報は以下の三つ

- 人物表面三次元位置データ　→　ポリゴン復元用

- 人物画像データ　　　　　　→　テクスチャマッピング用

- 人物関節データ　　　　　　→　関節対応付け用



• 人物表面データに必要な情報はKinectを動かしながら取得

- 大量の深度+画像データを取得し、ポリゴン復元に使える形に統合



• 人物画像・関節データに必要な情報は前後のKinectが取得

- 画像：人物領域+画像

- 関節：関節推定情報


取得したデータのポリゴン復元

• 低コストな方法でも、体や足などの大きな部分に関しては人物の情報を反映可能に- 本手法：コスト15万円程度- ボディスキャナ：コスト700万円程度

• 手先や顔など、細かい部分の反映法を考える必要性がある

Poisson Reconstructionによる復元


ポリゴンと関節の自動的な統合

• 対応付けを行う関節は14点

• ポリゴン上のそれぞれの点に対し、以下の流れで処理


対応付け結果

• 自動でも、比較的大きいジェスチャを反映可能な程度に対応付けできた• 自動のため、手間がかからない(1秒以内)

• 首と胴体の接続部分など対応付けに違和感が残る部分もある

対象(性別:身長) 一致度(%)A(男性:162cm)B(男性:177cm)C(男性:172cm)D(男性:176cm)E(男性:170cm)F(女性:158cm)G(男性:168cm)H(男性:174cm)平均

86.0686.9484.8186.8085.3382.8087.9383.4185.51

表：手動での対応付けとの一致度図：対応付け結果参考：

手動による対応付け


まとめ・今後の課題

• 最終目標：遠隔地コミュニケーションの一つの手段として、3次元仮想空間内で現実と同程度にコミュニケーション可能にする

• 本研究の目的：現実の人物の色や形状を反映し、比較的大きなジェスチャが可能なキャラクタを低コストかつ簡便に作成する方法の実現

• 成果：人物の大きい部分の形状を反映し、比較的大きいジェスチャが可能なキャラクタを低コストかつ簡便に作成可能に

• 今後の課題- 手先や顔などの細かい部分の形状を反映- 関節の対応付けをさらに現実に近く




関連研究

• 人物静止モデルの作成(Home 3D Body Scans from Noisy Image and Range Data)

- 動作できないのでコミュニケーション不可

• 顔表情の伝達(Automatic reconstruction of personalized avatars from 3D face scans)

- これのみでは円滑なコミュニケーションにならない

• ３次元空間のリアルタイムマッピング(KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction)

- 復元に2秒程度かかるため、リアルタイムコミュニケーションに向かない



人物のリアルタイム投影

• 問題点

- 表示のずれが起きる

- Kinectから見えてないところは投影できない



2種類のデータ取得法

• 静止した4点からのデータ取得

• 周囲からの表面データ+前後からの画像・関節データ


静止した4点からのデータ取得

✤ Kinectを利用し、全ての情報を静止した4点から取得する

✤ 表面：深度データ+人物領域

✤ 画像：画像データ+人物領域

✤ 関節：関節推定データ

✤ 取得した情報は世界座標系に変換


ポリゴン復元結果



3種類の関節対応付け法

• 最近関節点マッチング：関節点に対して一番近いポリゴンモデルの点を対応付ける。

• 最近中点マッチング：関節の点と点をつないだ線の中点に対して、一番近いポリゴンモデルの点を対応付ける。

• 最近線マッチング：関節の点と点をつないだ線に対して一番近いポリゴンモデルの点であり、さらにその点から線に引いた垂線の交点が線の内部にあるものを対応付ける。


それぞれのマッチング結果

最近関節点最近中点最近線


マッチングの一致度

対象(性別:身長) 最近関節点(%) 最近中点(%) 最近線(%)

A(男性:162cm) 48.94 83.00 86.06

B(男性:177cm) 51.90 82.74 86.94

C(男性:172cm) 49.18 80.32 84.81

D(男性:176cm) 48.98 81.55 86.80

E(男性:170cm) 46.07 80.01 85.33

F(女性:158cm) 48.67 78.22 82.80

G(男性:168cm) 49.95 84.24 87.93

H(男性:174cm) 45.28 78.01 83.41

平均 48.62 81.01 85.51



今後の課題

• 今回の目標に対して- 手先や顔などの細かい部分の形状を反映- 関節の対応付けをさらに現実に近く

• 現実と変わらないコミュニケーションに対して- 顔表情の伝達- 細かいジェスチャの反映


Education

没入コミュニケーションに利用する3次元仮想キャラクタの半自動生成