Visual Encodings of Temporal Uncertainty- A Comparative User Study

Visual Encodings of Temporal Uncertainty: A Comparative User Study

+ Information Visualization 2015

-Theresia Gschwandtner.

/윤정원

x 2016 Spring

Visual Encodings of Temporal Uncertainty: A Comparative User Study

Information Visualization (IV), 2015 15th International Conference

Theresia Gschwandtner / Markus Bo vgl / Paolo Federico

Institute of Software Technology & Interactive Systems, Vienna University of Technology

Author

Published

Abstract

Visual Encodings of Temporal Uncertainty: A Comparative User Study (2015)

1) 연구 배경:

2) 연구 목표:

• 불확실성을 표현하는 수많은 연구들이 진행되어 왔지만, 여전히 ‘시간’ 차원에서 불확실성을 표현하는 것은 open question

• 불확실한 start 와 end 타임을 시각화한 대안 6가지를 비교

3) 실험 결과:

• 태스크를 주고, Time과 error rate을 측정해서 태스크마다 유의미한 차이를 밝혔음

• 각 시각화마다의 유용성을 밝힘

(a) gradient plot, (b) violin plot, (c) accumulated probability plot, (d) error bars, (e) centered error bars, and (f) ambiguation

Introduction

1. Types of Temporal Uncertainty

1) Bounded uncertainty of an instant 예)1988년 5월 14일에 무슨 일이 있었는지는 알지만, 정확한 시간에 대한 정보는 모른다2) Statistical uncertainty of an instant 예)식물의 죽음의 시간이 시작된 방사성 탄소는 남은 수명 시간을 추정해준다

5) Bounded uncertainty of start and end of an interval with dependency 예) 프로젝트 플랜의 early start는 early end할 가능성이 있다. 언제 시작하고 언제 끝날지는 알지만 통계적 추측은 할 수 없다

6) Statistical uncertainty start and end of an interval with dependency 예) 개인 연구의 시작과 끝 시간; 빨리 시작하는 건 더 빨리 끝나게 하고, 시작과 끝의 시기를 통계적으로 추측 가능하다

7) Bounded uncertainty of a span 예) 내 친구가 나를 위한 완벽한 생일 선물을 고르는데 까지 5시간이 걸릴지, 10시간이 걸릴지 모른다

8) Statistical uncertainty of a span 예) 임신 기간


3) Bounded uncertainty of start and end of an interval

4) Statistical uncertainty of start and end of an interval

Introduction

1. Types of Temporal Uncertainty

1) Bounded uncertainty of an instant 예)1988년 5월 14일에 무슨 일이 있었는지는 알지만, 정확한 시간에 대한 정보는 모른다2) Statistical uncertainty of an instant 예) 식물이

3) Bounded uncertainty of start and end of an interval 예)4) Statistical uncertainty of start and end of an interval 예)5) Bounded uncertainty of start and end of an interval with dependency 예)6) Statistical uncertainty start and end of an interval with dependency 예) 내 친구가 나를 위한 완벽한 생일 선물을 고르는데 까지 5시간이 걸릴지, 10시간이 걸릴지 모7) Bounded uncertainty of a span 예) 내 친구가 나를 위한 완벽한 생일 선물을 고르는데 까지 5시간이 걸릴지, 10시간이 걸릴지 모른다8) Statistical uncertainty of a span 예) 임신 기간


/ Bounded uncertainty : 확률 분포로 설명할 수 없는 것들 \ Statistical uncertainty : 정규분포표를 따를 수 있는 정보들

↓Bounded/Statistical로 나눠지는 temporal uncertainty 유형들은

각각 다른 시각화 방법으로 표현되어져야 한다.

Introduction


2. Visualization Of Uncertainty

• 불확실성은, 시각화 속성들(색, 투명도, 선 두께, 텍스쳐, 명확도 등)로 맵핑되어 표현되어짐

Joseph Priestley (1765)

- 시간의 인터벌을 가로선으로 표현- 불확실한 시간성에 도트를 사용

Paint-Strips (2001)

- 가로선으로 페인트 칠하듯 칠하고, 불확실하게 끝나는 시간은 페인트 롤러로 표현

Planning Lines (2005)

- 가장 빠른/느린 시작/종료 시간, 기간을 채도, 라인으로 구분

Jibonananda Sanyal (2009)

- 2D / 3D 표현 방식 비교

Introduction


3. Visual Encodings of Uncertain Intervals

• 시간 인터벌을 표현하는 디자인 원칙

1) 명백하게 효과적인 사이즈로 표현되어야 한다

- 인터벌의 특정 부분은 명백하게 시작과 종료 시간의 불확실성을 함께 표시한다.2) 시간축에서 수평 바와 같이 시간의 인터벌을 표현하는데 잘 알려진 표현과 같이 사용되어야 한다. 3) statistical uncertainty는 명시적으로 연속적인 시각적 변수에 기본 확률 분포를 매핑해야한다.

4) bounded uncertainty는 다양한 확률의 해석을 자극해서는 안된다

Introduction


3. Visual Encodings of Uncertain Intervals

• 시간 인터벌을 표현하는 디자인 원칙

1) 명백하게 효과적인 사이즈로 표현되어야 한다

- 인터벌의 특정 부분은 명백하게 시작과 종료 시간의 불확실성을 함께 표시한다.2) 시간축에서 수평 바와 같이 시간의 인터벌을 표현하는데 잘 알려진 표현과 같이 사용되어야 한다. 3) statistical uncertainty는 명시적으로 연속적인 시각적 변수에 기본 확률 분포를 매핑해야한다.

4) bounded uncertainty는 다양한 확률의 해석을 자극해서는 안된다

(a) gradient plot

(b) violin plot

(c) accumulated probability plot

(d) error bars

(e) centered error bars

(f) ambiguation


1. Data

• 인공 데이터 생성을 기반으로 시각화함

• 2014년 기준, 한 달, 하루까지 나타냄

• 가장 빠른 시작의 타임 스탬프를 생성하기 위해서 임의의 숫자들을 넣은 다음, 최소 최대 시간을 지정

Study design

2. Hypotheses

H1


H2

H3

H4

H5

earliest/latest start, earliest/latest end 의 표현 적합

>

statistical uncertainty - gradient /violin /accumulated probability plots

Bounded uncertainty - error bars / centered error bars / ambiguation

minimum, maximum 기간 판단에 적합

평균 duration 판단에 적합

>

>

Study design

gradient /violin /accumulated plots이marked point에 대한 확률 판단이 동등할 것임

3) Participants and Evaluation Session


- 73명의 참여자 (컴공과 학생 대상, 여자 14명) - information design and visualization 수업을 듣는 학생으로, 사전 지식이 있는 학생들 - EvalBench (아래그림) 사용하여 평가 - 두 명에게 파일럿 테스트 해본 후에, Within-subject로 랜덤으로 나오는 시각화 유형들의 태스크를 해결하게 함 - 총 5개의 태스크를 수행하게 했으며, 각각 응답 시간과 error를 측정

Study design



• Task 1 Interpretation

- A: Start interval, B: End interval- Task: How would you interpret this type of visualization?

- 응답: 다음 3개 중 하나 선택하도록 함 ① Equal probabilities: A 범위내/B범위내 있는 모든 시작/종료 시간들은 같은 확률을 갖는다 ② Unequal probabilities: A의 왼쪽 경계 혹은 오른쪽 경계쯤에서 이미 시작했을 확률이 높다 ③ None of these option

Study design



• Task 2 Start and End Time

- 각 시각화 유형마다 아래의 서브 태스크에 해당하는 날짜와 시간을 선택하게 함 Task 2-1. 가능한 가장 빨리 시작할 수 있는 시간은 언제인가? Task 2-2. 가능한 가장 늦게 시작할 수 있는 시간은 언제인가? Task 2-3. 가능한 가장 빠른 종료시간은 언제인가? Task 2-4. 가능한 가장 늦은 종료시간은 언제인가?

• Task 3 Interval Duration

- 각 시각화 유형마다 아래의 서브 태스크에 해당하는 시간을 선택 Task 3-1. 일의 수행에 걸리는 최대 기간은? Task 3-2. 일의 수행에 걸리는 최소 기간은? Task 3-3. 평균적으로 걸리는 기간은?

Study design



• Task 4 Probabilities

- 오른쪽 3개 그래프에만, 불확실성을 나타내는 범위에 빨간 선을 표시- 다음과 같은 태스크를 주고, 0-100 사이의 숫자를 선택하게 함 Task 4-1. red line에서 시작할 statistical probability(%)? Task 4-2. red line에서 종료할 statistical probability(%)? - 다음과 같은 태스크를 주고, 3개의 선택지 중 선택하게 함 Task 4-3. 두 개의 red line중 어떤 게 확률이 더 높은가?

• Task 5 Preferences

- 다음과 같은 태스크를 주고, 5점 리커트 척도로 측정함 Task 5-1. 시각화 방식 중 개인적으로 선호하는 것은 무엇인가?

Study design

Results

• 73개 중, 72개의 데이터를 분석 (1=로그가 남지 않았음)

1) Problems and Observations


Task 2-1. 가능한 가장 빨리 시작할 수 있는 시간은 언제인가? Task 2-2. 가능한 가장 늦게 시작할 수 있는 시간은 언제인가? Task 2-3. 가능한 가장 빠른 종료시간은 언제인가? Task 2-4. 가능한 가장 늦은 종료시간은 언제인가?

- Task2: 가장 빠른 시작/종료, 가장 늦은 시작/종료 등 비슷한 질문에 대한 혼란스러움이 있었음

- Task4: 판단하기 힘든 태스크였음

Results

2) Outcome

• H1 Interpretation of visual encodings

- 세운 가설에 대해 대부분 깔끔한 결론이 도출되었지만, centered error bar만 outlier,- centered error bar 와 error bar의 경우, 꽤 자주 statistical uncertainty에 사용되지만, 본 논문에서는 bounded uncertainty에 더 적합할 것이라고 가설을 세웠는데, 그 이유는 두 개의 시각화 방식은 확률 분포를 명시적으로 보여주지 못하기 때문이었음


bounded uncertainty statistical uncertainty

Results

2) Outcome

• H2 Effectiveness in representing start and end time


- ambiguation, error bar, centered error bar가 시작/종료 시간을 표현하는 데 더 적합하다고

세운 가설을 입증함- Error / Time: 유의미한 차이가 있었음 Other observations: violin plots, accumulated probability plots 의 에러율이 다른 것들보다 높았음

(특히, 가장 늦은 시작시간과 이른 종료 시간을 판단하는 태스크에서)

centered error bar에서 가장 많은 outlier들이 발견됨 -> 혼란스러운 시각화 방식

Results

2) Outcome

• H3 Effectiveness in representing minimum and maximum duration


- ambiguation, error bar, centered error bar가 최소/최대 기간 표현에 적합할 것이란 가설에 부분적으로만 확인.

- Error: Accumulated, violin plot 이 다른 것들보다 나쁜 error rates을 보여 가설에 적합 그러나, Gradient plot이 기대했던 것보다 좋았음 Time: error bars에서 가장 유의미한 차이가 보여짐

Results

2) Outcome

• H4 Effectiveness in representing average duration


- accumulated /gradient /violin plots 이 평균 duration 표현에 적합할 것이란 가설 reject - Error: centered EB 가 심지어 accumulated /gradient /violin plots 보다 에러율이 낮음

Time: 유의미한 차이가 없었음

Results

2) Outcome

• H5 Effectiveness in representing probability of start and end time


- accumulated /gradient /violin plots 이 marked point 에 대한 확률 예측에 적합할 것이란 가설 reject - Error: gradient plots 이 다른 두 표현보다 error 가 낮고, accumulated가 violin plot보다 낮지만,

유의미 하지 않은 결과를 나타냄 (p=0.06) Time: 유의미한 차이가 없었음, Gradient plot의 경우 가장 평균 시간이 길었음

Conclusion


- 태스크 디자인이 잘못되어 제외한 태스크 - “ Task 4-3. 두 개의 red line중 어떤 게 확률이 더 높은가?”

- 여전히 시간의 불확실성을 표현하는 다른 유형들이 조사될 필요가 있음

1) Limitation & Further Work

2) Conclusion

- Centered error bar는 평가 시작 전에 표현법을 설명했음에도 불구하고 혼란스러워 하는 경향이 있음 - 태스크에 따라 적합한 시각화 방식은 다름 - error bars 와 ambiguation 이 대부분의 시간 불확실성 표현에 가장 점수가 높았음

-> earliest start/end, latest start/end, minimum, maximum, average duration of intervals - statistical probability 표현에는 gradient plot을 추천하지만, 선호도는 가장 낮았음

<시각화 방식별 선호도 조사- 리커트 척도 -2~2>

감사합니다.

Data & Analytics

Visual Encodings of Temporal Uncertainty- A Comparative User Study