User Defined Gestures of Elastic, Deformable Displays

+ AVI 2014

- Giovanni Maria Troiano, Esben Warming Pedersen, Kasper Hornbæk

/ 한수교

x 2016 Fall

목차

1. Introduction

2. Related Works

3. Study

4. Analysis

5. Result

1. Introduction

Deformable Display의가능성

조작 가능성의 확장

• 기존의 평판형 디스플레이는 ‘2차원 멀티터치’로 조작 방법이 한정되어 있음

• Deformable Display는 그러한 조작 가능성을 physically extend해 줌

아직 정의되지 않은 제스처

• 기존의 평판형 멀티터치 디스플레이에서는 조작 제스처가 well-defined됨• Ex) Pinch-to-zoom

• Deformable Display에서는 아직 어떤 제스처가 적합한지 정의되지 않음

Elastic, Deformable Display를 대상으로 연구

• Flexible: 변형 가능도가 높고, 힘을 가하는 것을 멈추어도 변형된 상태를 유지할 수 있음

• Elastic: 변형 가능도가 낮고, 힘을 가하는 것을 멈추면 원 상태로 돌아감

01 Introduction

2. Related Works

Five Characteristics of Related Work

Material, Projection, Tracking, Application, Gesture 다섯 가지의 특성에 의거해 기존 사례들을 분석

02 Related Work

3. Study

Experiment Method

Participants

• 17 Participants, average 24.7 years old (SD 4.8)

Apparatus

• Elastic한 천을 나무 프레임에 부착하고, 측면에서 화면을 영사하여 프로토타입 제작• 10명에 대한 Pre-study로 천의 재질 결정 (90% lycra, 10% elastane)

• High resistance, stretchability, smoothness

03 Study

Experiment Method

Tasks

• 참가자들은 선행연구에 기반한 29가지 Task들을 수행

• Task에 대한 설명이 좌측 상단에 표시됨

• Task의 수행 전(start-state)과 후(end-state)의 모습이 표시됨

• 참가자가 적합하다고 생각되는 방법으로 자유롭게 Task를 수행

• 참가자들의 조작 모습은 네 방향의 카메라로 녹화됨

03 Study

Experiment Method

Tasks

• 2D Tasks

• 3D Tasks

• Tasks based on previous work on elastic, deformable display

조작대상은기하학적기본도형(사각형, 육면체, 원, 구등)

매 Task마다참가자들은두번의리커트7점척도평가를수행

• The gesture was a good match for its intended use

• The gesture was easy to perform

03 Study

4. Analysis

Coding the Gestures

• 녹화된 영상을 각 Task별로 분할

• 각 영상을 보면서 수행한 제스처의 유형에 따라 코딩

04 Analysis

Agreement Scores

• 해당 Task를 수행할 때, 사람들이 얼마나 같은 Gesture를 사용했는가?

• 즉, 참가자들이 얼마나 ‘이 Task엔 이 Gesture야’ 라고 동의했는가?

04 Analysis

𝑃𝑡

𝑃𝑠

Total number of gestures performed within the taskSubset of similar gesture from 𝑃𝑡

5. Results

User-defined Gesture Set

각 Task별로가장비중이높았던 Gesture를 Consensus Gesture로선정

• 25개 Task에대하여총 27개의 Consensus Gesture

• 3개의 Task(Cut & Paste, Copy & Paste, Rotate Y)는하나의 Gesture로 Agreement가모이지않아선정하지 못함

• 2개의 Task(Delete, Pan)는두 Gesture의 Agreement가동일해동시선정

05 Results

Influence of Elasticity and Deformation

7개(26%)의 Consensus Gesture가해당

Depth, Deformation의특징을가진 Task (3D Modeling 등)를수행할때주로나타남

05 Results

Influence of Multi-touch

62%의 Consensus Gesture가해당

기존디바이스에서익숙하게사용하던제스처의특성을활용하여 Deformable Display에적용

Navigation and Browsing Tasks

Combination of unimanual and bimanual actions

05 Results

Influence of Multi-touch

Resize objects

Rotate, move, create and delete Resembled real physical actions

05 Results

Influence of Desktop Computer

3개(12%)의 Consensus Gesture가해당

05 Results

Semi-structured Interview

• 70%: enjoyed. Multi-touch gestur가 평판 유리 디스플레이보다 수행하기 쉬웠다

• 65%: 소재의 특성 때문에, 디스플레이를 자연스럽게 밀게 되었다. (Z-axis interaction)

• 53%: grabbing, pinching이 어려웠다.

• 23%: multi-touch나 데스크탑의 익숙한 제스처를 수행할 것 같다.

• 30%: elasticity와 deformability는 게이밍 경험을 매우 향상시킬 것 같다.

• 18%: 진짜 상용화 되었으면 좋겠다.

05 Results

의의

• 연구자가 Task에 맞는 Gesture를 선제시하고, 사용자들은 평가만 하는 것이 아니라 사용자로 하여금 자연스럽게 느끼는 Gesture를 직접 이끌어 내도록 한 점