沉浸互動策展及其應用案例

資策會 / 創研所 / 魏士堯 經理

sywei@iii.org.tw, shakingwei@gmail.com

Feb.21, 2014

1

mailto:sywei@iii.org.twmailto:shakingwei@gmail.com

沉浸式/注意力 互動體驗 集客/

購買意圖

沉浸經驗帶來幸福感，更造就商機 • 沉浸是一種主觀且短暫性的經驗，具有遊戲與探索的特性，在人機互動的期間，個體能感知到愉悅和涉入，這也是個體為何願意繼續從事某種活動的原因（Webster, et al., 1993）

• 在沉浸的狀態下，個體容易進入一種共同體驗模式，意識會集中在較小的範圍內，不相關的知覺會被排除，喪失自覺只對目標內容和明確的回饋有反應，並且透過對環境的操控產生一種控制感 (Csikszentmihalyi, 1975)

• 研究發現，沉浸會直接影響態度或者間接透過探索性行為來影響態度，態度會再影響個人對於品牌的印象以及購買意圖 (Korzaan, 2003)

2

商務沉浸互動心體驗

• 體驗與注意力經濟的興起帶動互動行為

– 販售「感覺」，價值更勝產品與服務，但使用者的注意力是有限的，無論是媒體內容、廣告行銷以及展覽，關鍵在於如何吸引使用者的目光，藉由互動增強對知識理念的傳達以及品牌形象的提升

體驗經濟是從生活與情境出發，塑造感官體驗及思維認同，以此抓住顧客的注意力，改變消費行為

3

Forever21於紐約時代廣場的Billboard

4

• Forever21運用沉浸互動技術於時代廣場與市民互動，吸引人流到店。

http://vimeo.com/55940479

http://vimeo.com/55940479

可口可樂「小小世界和平販賣機」

5

• 2013年可口可樂在印度和巴基斯坦各架一台販賣機，利用3D投影技術，讓機器兩端的人們進行互動。

https://www.facebook.com/kleinerfisch.tw/posts/568488086507984

https://www.facebook.com/kleinerfisch.tw/posts/568488086507984

麥當勞創意互動戶外廣告看板

6

• 2011年麥當勞在瑞典玩新行銷活動，邀請消費者加入戶外廣告看板上的即時互動乒乓球遊戲，贏家可以到鄰近的麥當勞免費兌換麥當勞食物。

http://techorange.com/2011/06/07/mcdonald-mobile-outdoor/

http://techorange.com/2011/06/07/mcdonald-mobile-outdoor/http://techorange.com/2011/06/07/mcdonald-mobile-outdoor/http://techorange.com/2011/06/07/mcdonald-mobile-outdoor/http://techorange.com/2011/06/07/mcdonald-mobile-outdoor/http://techorange.com/2011/06/07/mcdonald-mobile-outdoor/

海尼根互動式酒瓶-Heineken Ignite

7

http://papuatattoo.com/advertising-2/heineken-ignite/

• 結合微型感測器(動作感測、燈光感測)以及無線網路技術，將設備放置於啤酒瓶下方底座裡，使得此智慧啤酒瓶能隨著飲酒者姿體的律動及聲音的震動而明滅閃爍．

http://papuatattoo.com/advertising-2/heineken-ignite/http://papuatattoo.com/advertising-2/heineken-ignite/http://papuatattoo.com/advertising-2/heineken-ignite/http://papuatattoo.com/advertising-2/heineken-ignite/http://papuatattoo.com/advertising-2/heineken-ignite/

文創科技化趨勢-展示服務科技化

用舞蹈製造音樂-絲緒

傳遞夢想花粉-雄蕊通道 玩古弄今-繪動的百駿圖

與ABBA唱歌 – 瑞典音樂博物館

國內

國外

郎世寧的繪畫結合體感技術與擴增實境技術

將歷史文化與藝術涵養的底蘊與參觀者作連結

舞者的動作結合穿戴式感應器與聲音合成技術

創造新型態的藝術表演及創作型式

巨大花朵的雄蕊結合雷射投影與行為感知技術

富含教育意義的互動同時帶來可觀的參觀人潮

瑞典天團ABBA的音樂結合全像投影技術

以互動突顯特色音樂文化，帶動觀光產業發展

數位匯流帶動新媒體科技產業發展，創造嶄新的商業服務模式以及消費者的期望與行為。展示服務科技化即透過科技的驅動力，活化展館數位典藏模式，融合「古文物、靜態內容」和「新科技」讓觀眾以多元化觀點深刻理解展覽內涵與意義，拉近觀眾與展覽的距離。

結合文創與科技給予藝術創意嶄新互動與風貌，以「科技驅動文化價值創新」、「文化素材豐富科技內涵」的精神，引領新媒體展演的風潮，創造策展新典範。

8

故宮乾隆潮新媒體藝術展案例 傳統展覽 靜態文物陳列，使用者參與度低 無價的文物不易跨界展出 新媒體互動策展 傳達「人人皆是創作者」、 「人人都是現代乾隆」的時代符號，帶領新的群眾進入博物館，感受新科技應用下的文化體驗。

乾隆文物 + 互動科技 + 時尚 + 文創， 這次故宮有夠「潮」！

數位內容

數位內容

互動豐富 使用者參與

互動展示核心價值

9

古今共融 時空廊道

透過體感偵測技術動態捕捉參觀者的人潮的流動，當參觀者經過畫面前，會隨著參觀者的位置而變換影音內容

• 時空廊道兩側的影像會隨著人潮變換內容，時而是古典人物，時而是當代的各國人種與造型，並會用各國語言向現代乾隆打招呼

• 於廊道盡頭設立呈現3D乾隆肖像動畫，逗趣生動表情充滿趣味性

透過3D繪圖技術，重現乾隆皇帝細膩表型變化，充滿喜感

10

顏色之樹 • 結合服裝顏色偵測與體感的互動裝置，讓每個參與互動的觀眾

身上服裝的色調、搭配方式及花樣，透過數位萃取，在瓶身上形塑出獨特、專屬個人、古典又與現代拼貼的新美學。

11

乾隆的春曉慶典 • 將乾隆所收藏的畫作「漢宮春曉圖」重新繪製而成的 『乾隆的

春曉慶典』動漫裝置，將原畫獨特的透視以像素藝術詮釋，並結合臉部偵測(Face Tracking)、拼接投影及大型顯示器等新媒體手法讓〈漢宮春曉圖〉一轉成即為當代的藝術風格

12

乾隆潮-山水印石互動需求

備有大螢幕、桌面感應區以及16個印石

將對應的山水畫元素以AR的方式呈現在螢幕上；使用者需在30秒內完成構圖

30秒後，模擬乾隆對使用者的創作蓋上評比印章

策展概念：取材清院畫《十二月令圖》裡山石、水景以及雲、花、樹、屋、人等圖中構成的數位內容元素，透過AR互動技術，讓參觀者可以恣意挪動印石，建構出屬於自己的立體山水世界。並在互動行為後，深刻體會乾隆喜愛對畫作評比評比及蓋章的嗜好

13

每個印石對應一山水畫元素

統計開展一個半月即造就50萬體驗人次 故宮28個展區，約維持1千參觀人次 乾隆潮約維持70人參觀人次，約為一般展區的兩倍人潮

每分鐘約20人入場，一天1萬人參觀

乾隆潮特展效益與山水印石互動展示

哇 !可以自行組合專屬山水畫

好玩好玩 !原來人家說的多媒體就是這個

故宮入場人數 =

特展體驗人數

吸引不看展覽的部落客參展，並期待未來的互動展演

國內最具示範意義之新媒體互動展演，預計明後年至北京故宮展出，將成為兩岸故宮第一個新媒體藝術交流展

微型文創交織出台灣特有的文創魅力，帶動周邊文創商品商機；攝影展結合台灣藝術家、知名人士及時尚之力量，衍生擴大媒體效益

14

珍貴古物令人望之儼然；然而結合科技策展拉近民眾距離，作為了解文物與科技的媒介，效果廣受好評

互動策展建置瓶頸(1/2)

15

Target User Idea發想

互動策展建置瓶頸(2/2)

從Idea發想到Idea實現…

現況問題

1. 五花八門的應用情境與互動模式 2. Case by case自行開發或委外代價昴貴 3. 設計人員與技術人員需多次來回溝通，且容易有認知上的落差

16

發展系統化的UI技術整合平台-Immersive UX Platform(ImUX)，以場景設備以及互動核心技術提供產業自由發揮創意設計內容與腳本，活化既有靜態素材，打造沉浸互動體驗

曾經我們大膽想像未來

創 意 情境設計

ImUX策展建置服

務整合方案 + 科 技ImUX ＝ 行動裝置

投影設備

深度攝影機

……

數位內容設計

互動體驗設計

……

展場設計

商場設計

……

擴增實境

體感偵測

多點觸控

……

根據業者需求整合互動技術或產品至

ImUX中，協助業者節省大量研發整

合以及人力成本，投入更多心力設計

與之相容的創意內容，於實虛場域中

進行創意呈現、五感沉浸式體驗與商

業加值之整合性解決方案。

ImUX系統流程

互動設備/技術 資源庫

多媒體內容管理

視覺化介面設計

沉浸互動腳本編輯器

Display Engine

內容呈現

硬體管理

資源分派引擎

Designer 編輯腳本

User 進入互動場域

Immersive UX Platform (ImUX)

Shared Code Repository

Script Interpretor

2D/3D、多媒體素材 硬體設備/互動技術

UI介面元件

Audio Rendering

多樣化的裝置、Sensor

解譯腳本內容 整合UI元件以及

所需的軟硬體技術模組，合成中介程式碼

分派中介程式碼至互動技術所對應之場景設備

利用感測裝置偵測使用者

依據互動條件以及使用者行為與場景設備互動

動態呈現多元內容樣態

匯入多媒體素材 結合平台支援的場景設備、裝置

以及Sensor，編輯所需的UI介面、互動技術、內容圖層、動畫以及互動條件

體感

五花八門的互動模式豈能一平台以蔽之

19

沉浸感受與互動模式廣泛，各應用領域需求皆不相同，如何歸納平台所支援的互動技術以及呈現方式為重要議題。

• 故宮-未來博物館

– Input：吹氣

– Output：花瓣散落

• 花博夢想館

– Input ：觸控

– Output：花粉灑落

• 上海雙年展

– Input ：動作

– Output：影像互動

• 互動恐龍展

– Input：聲音

– Output：機械恐龍

Input Platform Output

音樂

氣味 光線

聲音 吹氣

觸控

特殊的硬體

ImUX

原來ImUX小而精實

互動腳本設計 多媒體

素材製作 技術開發 系統整合 互動展覽

現有 策展 流程

策展企劃單位 美編設計師 技術開發 三方多次溝通確認

Before：專案客製開發，建置時間冗長，成本高昂，無法形成規模經濟。

互動腳本設計 ImUX：3D內容互動策展工具 互動展覽

After：以系統化3D內容互動策展工具，包含素材建置以及互動技術，提供策展單位發揮創意自由設計內容與互動條件。

本計畫 策展 流程

全域最佳解 快速3D模型建置技術

Multi-target

AR互動技術 裝置

感測技術

素材建置 互動技術

近端通訊 AR互動技術

20

策展工具建置服務整合方案

方案優勢

1. 以系統化的策展工具快速打造沉浸互動體驗

2. 節省人力成本，情境設計完整呈現 3. 持續將創新互動情境的成功案例進行

modeling整合，變成可複製的互動template

21

User A恣意挪動印石，建構出屬於自己的立體山水世界

3D內容互動策展工具-進階山水印石互動 Multi-Target AR互動技術

同時辨識多個山水印石的Tag， 追蹤呈現對應的山水畫物件

多元裝置近端通訊感測互動

結合麥克風、攝影機以及行動裝置 特性等感測裝置，進行多人互動

User B對麥克風吹氣，風吹雲動讓山水畫活了起來

3D素材建模與後製

手持Kinect 環繞實體物一周

經過最佳化運算產生人體模型檔案

透過三維繪圖軟體對模型進行後置，加入物件或動畫

User C呈現AR物件後搖晃行動裝置 User D呈現的古屋開始地震搖晃

22

沉浸互動策展將帶來．．．

• 創造消費者於實體場域Stay Longer、Learn Happier、Purchase More效益

– 吸引消費者目光，產生集客效應，長期維繫品牌與顧客間的良好關係

– 藉由沉浸互動體驗營造愉悅的學習環境

– 提升品牌黏著度，帶來更多商機

• 整合行銷與產品加值，提升品牌形象並增加產品附加價值

• 發展實體場域沉浸互動體驗營運服務模式

• 推展博物館帶動新媒體藝術產業發展，挑戰新媒體藝術做跨界整合應用，帶動台灣文化創意產業風潮

23

互動式圖書展示 • 英國的 Bristol Central Library 為慶祝建館 400年，

2013年12月在入口大廳展出大型藝術創作Book Hive，以400本書所構成的動態蜂巢，象徵其400年的歷史

24

http://libraryview.me/2013/12/23/8971/

http://libraryview.me/2013/12/23/8971/http://libraryview.me/2013/12/23/8971/

25