Prototyping Dynamics: sharing multiple designs improves exploration, group rapport, and results + CHI 2011 - Steven Dow et al. /김유정 x 2014 winter

Prototyping Dynamics: sharing multiple designs improves exploration, group rapport, and results

Steven Dow et al.(2011) In Proceedings of the SIGCHI Conference on Human Factors in Computing System

Index

Problem

ABSTRACT

EXPERIMENT

RESULTS

CONTRIBUTION

DISCUSSION POINT

Problem

그러나 현실은…

Problem

김밥천국 팀플지옥

Problem

좋은 협업이란 어떻게 이뤄질 수 있을까?

(있긴한걸까)

Abstract

- 프로토타입의 중요성: 그룹 커뮤니케이션의 근거가 되고, 의사결정을 가능케 함 - 어떤 식의 협업 과정(collaborative process)이 좋은지 검증하는 것이 목적

Background & Purpose

- 실험참가자들이 개별적으로 광고를 만든 후 파트너를 만나서 각기 다른 세 가지 조건 하에서 협업함

Research Question

Share Multiple | 참가자들이 각자 3개씩 광고를 디자인 해온 후 공유하는 것

Share Best | 참가자들이 각자 3개씩 광고를 디자인 한 후 1개를 선택해서 공유하는 것

Share One | 참가자들이 각자 1개씩 광고를 디자인 한 후 이를 공유하는 것

- 서로 다른 세 가지 조건 하에서 협업했을 때 결과, 탐색, 공유, 그룹 라포라는 측면에서 어떤 차이가 나타나는지 통계적으로 검증

Research Question

H1 | 다수의 디자인을 보고 만들어내는 것이 개인적인 탐색을 더 많이 유도할 것이다.

H2 | Sharing Multiple Design이 더 생산적인 대화와 그룹라포 형성을 유도할 것이다.

H3 | Sharing multiple Designs이 더 효과적인 컨셉 블렌딩을 유도할 것이다.

H4 | Sharing multiple Designs이 더 나은 결과를 낼 것이다.

Experiment

- Share Multiple Condition/Share Best Condition/Share One Condition의 세 가지 협업 조건 - 그래픽 디자인 지식 유무 확인: 사전설문을 통해 경험자(experienced)/초보자(novice)로 분류 - 84명의 참가자들 중 경험자 1명과 초보자 1명을 한 팀으로 구성해 총 42쌍을 대상으로 실험 진행

Participants참고문헌

Experiment

- CTR(Click-through rates), 웹 클라이언트에 대한 Google Analytics - 품질평가(7점 척도): FaceAIDS 직원(3명), 광고 전문가(6명), Mechanical Turk 고용(21명)

Dependent Variable

퍼포먼스(performance)

- 아이디어의 다양성 정도(7점 척도): Mechanical Turk 고용(10명)

개인 디자인 탐색(Individual design exploration)

- 아이스브레이킹과 논의 후 2번 물어보고 그 차이를 측정

그룹 라포의 변화(Change in Group Rapport)

- 파트너의 발언 시간, 총 이야기한 횟수, 분당 차례 변화 주기 등

대화 차례(Conventional turn taking)

- 디자인 요소 다섯 가지: word phrases, background color, images, layout and styles - 이 중 최종 광고에 사용된 요소를 세어서 파악

디자인 요소 공유(Design feature sharing)

- 파트너 광고를 쌍으로 구성해 유사성 측정(7점 척도): Mechanical Turk 고용

그룹 합의(Group consensus)

H4

H1

H4

H2

H2

H3

Results

- 협업 조건에 따른 CTR 차이 협업 조건(3가지)에 따른 클릭수(CTR) 차이가 통계적으로 유의미한지 검증 카이제곱 검정(chi-squared analysis) 사용: 유의미하게 높은 비율

Sharing Multiple이 결과물 퀄리티를 높인다

광고 캠페인 결과

협업 조건과 참가자 특성에 따른 웹페이지 방문수와 방문시간 차이

- 협업 조건(3가지) 및 참가자 특성(경험자, 초보자)에 따른 웹페이지 방문수와 방문시간 차이가 통계적으로 유의미한지 검증 - Analysis of variances 사용(n-way ANOVA) 통계적으로 유의미한 차이 없음

Share Multiple ads had a significantly higher click-through rate(χ² = 4.72, p < 0.05).

No differences for total time spent(F(5,202)=0.808, p>0.05) or number of pages visited from each ad(F(5, 202)=0.461, p>0.05).

Results

- 참가자 특성(경험자, 초보자)에 따른 캠페인 퍼포먼스의 차이가 통계적으로 유의미한지 검증 - 카이제곱 검정(Chi-squared analysis) 사용 통계적으로 유의미한 차이 없음 ! 협업 조건에 따라 같은 특성을 가진 참가자들의 퍼포먼스에서 통계적으로 유의한 차이 있음 !!- ANOVA 사용 참가자 특성이 캠페인 퍼포먼스에 통계적으로 유의미한 영향을 끼치지 않음

Sharing Multiple이 결과물 퀄리티를 높인다

참가자 특성에 따른 캠페인 퍼포먼스(CTR, 방문수, 방문시간) 차이

!An ANOVA showed that experience did not significantly affect total time spent (F(5,202)=0.091, p>0.05) or number of pages visited from each ad (F(5,202)=0.076, p>0.05).

This was not a significant difference(χ² = 0.08, p > 0.05).

!Experienced participants in the Share Multiple condition outperformed experienced participants in the Share Best(χ² = 3.95, p<0.05) and Share One conditions (χ² = 8.33, p<0.05).

Results

- 협업조건(3가지)과 참가자 특성(경험자, 초보자)에 따른 품질평가(Quality ratings) 차이가 통계적으로 유의미한지 검증 - Analysis of variances 사용(n-way ANOVA) 후 Tukey Post-hoc Test를 통한 사후 검증 다른 조건에 비해 Share Multiple이 더 우수한 평가를 받은 점이 통계적으로 유의미하게 드러남 ! 다른 조건 간 차이는 유의미하지 않았음

Sharing Multiple이 결과물 퀄리티를 높인다

협업조건(3가지)과 참가자 특성(경험자, 초보자)에 따른 품질평가(Quality ratings) 차이

Share multiple((μ=3.89, SD=1.82) outperformed the other conditions (F(2,2519)=5.075, p<0.05).

The difference between the Share Best (μ=3.63, SD=1.78) and Share One (μ=3.71, SD=1.71) conditions was not significant (p>0.05; Tukey’s test).

Results

Sharing Multiple이 더 많은 개인 탐색을 유도했다

- 협업 조건(3가지)와 참가자 특성(경험자, 초보자)에 따른 유사성 평가점수 차이가 통계적으로 유의미한지 검증 - Analysis of variances 사용(n-way ANOVA) 협업 조건에 따라 유사성 평가점수가 유의미하게 차이남 !- Tukey Post-hoc Test를 통한 사후 검증 Share Multiple 조건이 다른 조건보다 더 다양성이 높은 것으로 나타남

협업 조건(3가지)와 참가자 특성(경험자, 초보자)에 따른 유사성 평가점수 차이

The similarity rating differed significantly across conditions (F(2,3640)=82.07, p<0.05).

Tukey post- hoc comparisons of the three conditions indicate that Share Multiple ads (μ=3.85, SD=1.93) were more diverse than Share Best ads (μ=3.99, SD=1.96) (p<0.05) and Share Best ads were more diverse than Share One ads (μ=5.45, SD=1.86) (p<0.05).

Results

Sharing Multiple 조건에서의 파트너들은 그룹 라포를 형성했다

- 협업 조건(3가지)에 따른 그룹 라포의 차이가 통계적으로 유의미한지 검증 - One way ANOVA 사용함 협업 조건에 따라 그룹 라포가 유의미하게 달라짐 !- Tukey Post-hoc Test를 통한 사후 검증 다른 조건과 달리 Share Multiple에서만 그룹라포가 증가함

A one-way ANOVA showed the group rapport differed significantly across conditions (F(2,83)=4.147, p<0.05)

Tukey post-hoc comparisons of the three conditions indicate that group rapport increased in the Share Multiple condition (μ = 0.89, SD 3.06) compared to the others (p<0.05).

Results

- 협업 조건(3가지)에 따라 디자인 요소 공유 정도 차이가 통계적으로 유의미한지 검증 - 카이제곱 검정(Chi-squared Analysis) 사용 Share Multiple 참가자들이 파트너에와 더 많은 디자인 요소를 공유함

Sharing Multiple은 더 많은 디자인 요소를 공유했다

Participants in the Share Multiple condition borrowed significantly more features overall (χ² =4.05, p<0.05).

Results

- 협업 조건(3가지)에 따른 유사성 변화의 차이가 통계적으로 유의미한지 검증 - Paired T-test 사용 처음 광고와 최종 광고의 유사성 차이가 통계적으로 유의미함 !- Tukey Pos-hoc Comparison을 통한 사후검증 Share Multiple이 다른 조건에 비해 더 높은 유사성을 보임

Sharing Multiple은 더 나은 합의에 이르렀다

Final ads were more similar (μ=3.40, SD=1.91) than initial ads (μ=2.68, SD=1.64) (t(3078)=8.107, p<0.05).

Tukey post-hoc com- parisons of shifts by each pair show that similarity increased more for the Share Multiple condition (0.91) than the Share Best (0.55) or Share One conditions (0.52) (p<0.05)

Contribution

“당연한 것”의 통계적 검증

어려운 통계는 필요없다

실험설계할 때 써먹을 수 있겠다

Discussion Point

“당연한 것” 중 통계적으로 검증하면 좋은 건 뭐가있을까?

디자인 프로토타이핑 말고 다른 분야에도 확장 적용이 가능할까?