複合現実情報循環技術のサービス現場への適用に向けて

○ 蔵田武志

○ Takeshi KURATA

産業技術総合研究所サービス工学研究センター，t.kurata@aist.go.jp

かつて POS システムが流通イノベーションの起爆剤となった．これは，現実世界にある実際のモノの流れと

コンピュータの中のモノの流れの情報との対応付けを効率よく行うことができるようになり，根拠に基づく

サービス（EBS）を限定的でも実現できるようになったことが大きな要因の１つである．ここから類推すれ

ば，モノ，ヒト，コト，環境の総合的な情報循環をサービス現場やバックヤードで実現することで新たなイ

ノベーションが誘発されることは想像に難くない．本稿では，そのような情報循環を実現する有望な技術と

して，複合現実(MR)情報循環技術について概説する．また， MR 情報循環技術のサービス現場への適用に向

けての産総研の取り組みと今後の展望についても述べる．

＜キーワード＞ 複合現実情報循環，サービス工学，行動計測，屋内モデリング，可視化，コスト・ベネフィ

ット，Evidence-Based Service (EBS)

1. はじめに

サービス産業における経験と勘への依存からの脱

却への取り組みとして最もよく知られているのは，

1970 年代に導入が進んだ統一化されたバーコード

を用いた POS (Point-Of-Sales)システムに基づく事

例であろう．最近では，バーコードだけではなく

RFID (Radio Frequency IDentification) による

AutoID の事例も増えつつある．POS システムの普

及により，小売や外食チェーン，物流等にイノベー

ションが起り，今もまだ続いている． POS システムを用いることで，現実世界にある実

際の「モノ」（商品や部材）の流れと，コンピュータ

の中のモノの流れの情報との対応付けを，劇的に効

率化することができる．モノの情報化やその流れの

見える化が進めば，在庫・発注管理が容易になるの

はもちろんのこと，モノの流れや売買の状況をモデ

ル化し，売上分析・予測したり，現場やバックヤー

ドのオペレーション設計をしたりということを，よ

り科学的・工学的に行うことが可能となる．このよ

うにEvidence-Based Medicine (EBMに端を発する

Evidence-Based Service (EBS)への潮流は，既に起

きているといってよい[1]． ID-POS による顧客情報や，ドライビングレコー

ダによる従業員の運転情報など，実世界のモノ以外

の情報化も進んでいる．しかしながら，大規模施設

の従業員やショッピングモールの顧客などがどこに

いて何をしているかといった「ヒト」や「コト」の

情報を把握することは未だ十分にはできていないの

が実情である．また，サービス現場は屋内環境であ

ることも多いが，歴史的，経済的，技術的背景から

その情報化も進んでいるとは言えない．

2. 複合現実情報循環技術

POS システムのイノベーション誘発の効果から

類推すれば，モノだけではなく，モノ・ヒト・コト・

環境の総合的な情報化（仮想化）とその効果的な提

示，さらにそのサイクル化のための技術開発が，次

のイノベーションを誘発するための１つの重要課題

であるという仮説が成り立つ．このような課題に，

実世界と仮想物体などの情報との時空間的（幾何学

的・時間的），光学的な整合性をその必要性やその度

合いに応じて取りながら，実世界の情報化（観測・

モデル化技術）及び情報提示を実現する技術である

複合現実（MR）技術[2]を適用しながら取り組むこ

とは，非常に妥当であると考えられる． 筆者らは，動作認識[3]や作業内容推定[4]のような

文脈的整合性を扱うための技術と，サービス間やス

テークホルダー間でコストを分散しつつ，機能や価

値の拡張をするのに適した枠組みである情報循環並

びにサービス連携の概念とをMR技術と組み合わせ，

その技術群を「複合現実情報循環技術」と総称して

いる[1][5]．図 1 は，MR 情報循環技術とそのコス

ト・ベネフィットの考え方についての概略を示して

おり，図 2 はコスト分散と品質・価値向上を両立す

るための，サービス連携や情報循環の概念を示して

いる． 図に示すように，MR 情報循環技術をサービス現

場やバックヤードに適用し，実世界と仮想世界との

各種整合性をその必要性やその度合いに応じて取る

ことで，目の前の状況に即した知識提供，大量のサ

ービス利用・提供履歴の直感的把握・分析，さらに

は，サービス利用・提供の仮想的再現，評価などの

機能が，サービス利用者や従業員，経営者といった

異なるステークホルダーに提供可能となる．さらに，

サービス連携や共創的情報循環の枠組みにより，そ

れらの機能を実現するためのコストを削減もしくは

分散しつつ，サービス利用・提供・設計の効率化，

サービス品質向上（実世界の情報化のための観測・

モデル化技術の精度向上含む），娯楽的要素や業務等

の改善効果やスキル向上の可視化に基づくインセン

ティブ付与といった機能的恩恵を得ることができる．

図 2 コスト分散と品質・価値向上を両立するた

めのサービス連携及び情報循環の概念図（SDF：センサ・データフュージョン，DB：データベース）

図 1 MR 情報循環技術とそのコスト・ベネフィットの考え方

このような機能や機能的恩恵が得られる一方，

MR 情報循環技術を導入し運用するためのコストと

して，モノ・ヒト・コト・環境の仮想化と情報提示

や，それらを用いた各種整合性の質向上に伴うコス

ト，導入時や運用時の経済的・時間的・人的コスト

などが想定される．さらに，サービス現場の慣習や

社会通念，制度や法律等の障壁もコストになり得る．

また，基礎研究段階においてそのようなコストを想

定しづらい場合も，各技術の時代的，もしくは世代

的な一貫性が取れているかどうかは，将来的なコス

トとベネフィットのバランスを想定しながら研究が

遂行できているかの指標となる．一般に，サービス

業は製造業と比べ，技術開発や技術導入の初期投資

に慎重であるが，このように，コストとベネフィッ

トを，研究開発時や導入前に客観的かつ明確に評価

する，もしくは考慮することによって，先端的であ

り且つ潜在的に実用性の高い技術開発を効果的に行

うことや，導入促進効果は高めることができると考

えられる．

3. サービス現場への適用に向けて

筆者の所属する産総研サービス工学研究センター

では現在，ヒト（主に歩行者）の行動観測技術

[3][6][7][8]と屋内 3D モデリング技術[9]をコアとす

図 4 歩行者推測航法（PDR）と動作認識を連携

させて双方の精度向上を実現する PDRplus

図 3 PDRplus，SDF，屋内 3D モデリングをコアとする MR 情報循環技術パッケージ

るMR情報循環技術の研究とその中に含まれる技術

群のパッケージ（図 3）開発に取り組んでいる．行

動計測技術には，1) 歩行者推測航法（PDR）[8]と動作認識を図 4 のように連携させて双方の精度向上

を実現する PDRplus[3]，2) PDRplus を含む携帯・

装着型センシング，インフラ型センシング，及び屋

内 3D モデルから生成されるマップデータを用いた

マップマッチングをパーティクルフィルタによって

統合し，測位精度の向上とインフラのスパース化を

両立させ，ナビや業務分析等に必要な屋内 3D モデ

ルのコストを観測側に分散することのできるセン

サ・データフュージョン（SDF）[6][7]とが含まれる． また，歩行者ナビや作業支援のための PDR のハ

ンドヘルド対応[10]，従業員の QC 活動や経営側で

の業務分析のための可視化ツール[4]や，行動観測技

術の導入計画策定支援ツール[11]などの開発も進め

ている．このような取り組みを，実際のサービス現

場を持つサービス企業と共に推進することにより，

MR 情報循環技術の社会実装性向上や実用化に寄与

し，それが次のイノベーション誘発や，EBS 実現に

つながるものと考えている． 図 5 は，MR 情報循環技術で提供可能な機能

[1][3~13]やサービスを Reality-Virtuality 連続体

[14]と利用シーン（現場，遠隔地や分析・評価の場

などの現場以外）の二軸で分類した例を示している．

このように，MR 情報循環技術は，今後，サービス

工学の最適設計ループ（図 6）[15]の各フェイズ（観

測・分析・設計・適用）において，その効率化や高

付加価値化などに貢献していくと考えられる．

4. おわりに

本稿では，モノ，ヒト，コト，環境の総合的な情

報循環をサービス現場やバックヤードで実現し，新

たなイノベーションを誘発するための有望な技術と

して，MR 情報循環技術について概説すると共に，

そのサービス現場への適用に向けての取り組みにつ

いて紹介した．

図 5 MR 情報循環技術で提供可能な機能やサービスを Reality-Virtuality 連続体と利用シーン（現場，

現場以外）の２軸で分類した例

日本 VR 学会論文誌では，第 16 巻第 1 号で「サー

ビス工学と VR」特集，第 2 号では「複合現実感５」

特集，さらに第 4 号では「教育・訓練・協調」特集

が組まれているが，どれも，サービスと MR 情報循

環技術に関連深いものである．また，モバイル AR

やモバイルデジタルサイネージ，さらには「位置ゲ

ー」などが実社会でも注目されており，産学とも，

今後この技術分野がより一層重要度を増していくこ

とになるであろう．

参考文献

[1] 蔵田武志, 興梠正克, 石川智也, 天目隆平, 牧 田 孝 嗣 , 上 岡 玲 子 , Evidence-Based Service (EBS)を加速する複合現実情報循環

技 術 , HCG シ ン ポ ジ ウ ム 2010, HCG2010-K2-1, pp.439-442, 2010.

[2] Mixed Reality - Merging Real and Virtual Worlds, Y. Ohta and H. Tamura eds, Ohmsha and Springer Verlag, 1999.

[3] Masakatsu Kourogi, Tomoya Ishikawa, and Takeshi Kurata, "A Method of Pedestrian Dead Reckoning Using Action Recognition", IEEE/ION Position, Location and Navigation Symposium (PLANS), pp.85-89, 2010.

[4] 天目隆平, 竹原正矩, 速水悟, 蔵田武志, 労働集約型サービス －従業員行動計測技術に

基づく分析と可視化－, HCG シンポジウム

2010, HCG2010-K2-2, pp.443-448, 2010. [5] T. Kurata, M. Kourogi, T. Ishikawa, J.

Hyun, A. Park: Service Cooperation and Co-creative Intelligence Cycles Based on Mixed-Reality Technology, In Proc. INDIN 2010, pp. 967-972, 2010.

[6] T. Ishikawa, M. Kourogi, T. Okuma, and T. Kurata, “ Economic and Synergistic Pedestrian Tracking System for Indoor Environments”, In Proc. of Int. Conf. on Soft Computing and Pattern Recognition (SoCPaR2009), pp.522 - 527, 2009.

[7] 石川智也, 興梠正克, 蔵田武志, サービス現

場での従業員トラッキングシステムの評価

と応用, 日本 VR 学会論文誌, Vol.16, No.1, (to appear) (2011)

[8] M. Kourogi, and T. Kurata, “Personal Positioning Based on Walking Locomotion Analysis with Self-Contained Sensors and a Wearable Camera”, In Proc. ISMAR2003, pp. 103-112, 2003.

[9] T. Ishikawa, K. Thangamani, M. Kourogi, A. P. Gee, W. Mayol, K. Jung, and T. Kurata: "In-Situ 3D Indoor Modeler with a Camera and Self-Contained Sensors", In Proc. HCII2009, LNCS 5622, pp. 454-464, 2009.

[10] 興梠正克, 石川智也, 蔵田武志, 歩行者デッ

ドレコニングに基づくハンドヘルド端末の

屋内外測位技術, 日本 VR 学会 SIG-MR 研究

会 , 信学技報 MVE(2011.1), (to appear), 2011.

[11] 蛭子亮, 石川智也, 興梠正克, 松本光崇, 蔵田武志, サービス現場での従業員行動計測の

事前評価支援に向けて, シンポジウム「モバ

イル’11」(to appear), 2011. [12] Jungwoo Hyun, Yoshiko Habuchi, Anjin

Park, Tomoya Ishikawa, Masakatsu Kourogi, Takeshi Kurata, “Service-Field Simulator using MR Techniques: Behavior Comparison in Real and Virtual Environments”, In Proc. ICAT2010, pp.14-21, 2010.

[13] 玄政祐, 朴鴈振, 石川智也, 興梠正克, 羽渕

由子, 大隈隆史, 蔵田武志, サービス現場の

事前評価のためのハンズフリー全方位 ウォ

ークスルーシミュレータとそのユーザスタ

ディ, 日本 VR 学会論文誌, Vol.16, No.1, (to

図 6 サービスの最適設計ループ

appear) (2011) [14] P. Milgram and F. Kishino, “A Taxonomy of

Mixed Reality Visual Displays”, IEICE Trans. Information Systems, Vol.E77-D, No.12, pp.1321-1329, 1994.

[15] NEDO:技術戦略マップ 2008-2010，サービス

工学分野