페 이 지 1 | 22

두 RTS 게임 UI에서 확인 할 수 있는 RTS 게임 Usability

NHN NEXT 131039 신동찬

실험 내용 정리

스타크래프트의 큰 성공과 함께 RTS(Real-time Tactics Simulation) 게임 UI는 일관성 있게 바뀌었다.

조종석(cockpit)형태로 디자인 하며, 화면 하단을 컨트롤 박스로 활용하는 것이다. 꽤 오랜 시간 유지되

어 오던 화면 UI가 최근 도전을 받고 있다. 프랑스 Eugine 소프트에서 출시된 Wargame 시리즈는 전

혀 새로운 UI를 유저들에게 제시했다. 변화가 발생한 것이다. 이런 변화 과정에서 나타나는 유저 반응

을 조사한다면, RTS 게임의 고전적인 문제점 중 하나인 ‘너무 어려운 조작’에 대한 해결책을 찾을 수 있

지 않을까? 라는 의문에서 실험은 시작되었다.

실험은 총 2단계로 진행되었다. 첫 번째 단계에서는 스타크래프트 스타일 UI를 적용한 게임 UI와

Wargame에 대한 유저 반응 비교를 했다. 이 과정을 통해 향후 RST 게임 설계시 어떤 방향으로 해야

할 지에 대해 확인했다. 두 번째 단계에서는 전혀 새로운 UI에 대한 학습성을 조사했다. 향후 게임 UI

의 변화폭에 대한 근거를 찾기 위한 실험이었다.

결과적으로 RTS게임은 새로운 UI도 충분히 경쟁력이 있음을 확인할 수 있었다. 다만, 학습성이 보장되

어야 사용자가 쉽게 적응할 수 있을 것이다. 여전히 몇몇 이슈에 대해서는 장벽으로 존재하는 것을 확

인 할 수 있었기 때문이다. 게임성 등의 영향으로 SUS는 정확하게 측정되지 않았지만, UI의 편의성이

게임 경험에도 충분히 영향 줄 수 있는 것을 확인 할 수 있었다.

페 이 지 2 | 22

목차

실험 내용 정리……………………………………………………………………………………1

목차…………………………………………………………………………………………………2

실험 소개………………………………………………………………………………………… 3

실험 목표………………………………………………………………………………………… 4

실험 방법론 소개…………………………………………………………………………………5

실험 참여자 도출 방안………………………………………………………………………… 6

실험 진행 과정 소개…………………………………………………………………………… 7

실험 결과………………………………………………………………………………………… 6

조종석형 UI와 사용자 평가와는 크게 상관 없다………………………………………… 6

기존 UI에 익숙한 것이 영향 있음……………………………………………………………7

신규 UI라도 잘 설계 되어있다면 기존과 상관 없이 학습에 뛰어남……………………7

명령이 완전히 사라지는 등 심각한 문제는 발생하지 않음………………………………8

한계점…………………………………………………………………………………………… 9

실험 참여자 도출 방안…………………………………………………………………………9

부록………………………………………………………………………………………………10

Company Of Heroes 평균 기대 평가와 평균 경험 평가 비교 결과…………………10

Wargame 평균 기대 평가와 평균 경험 평가 비교 결과………………………………11

Company Of Heroes System Usablility Scale 결과…………………………………… 12

Wargame System Usablility Scale 결과………………………………………………… 12

Company Of Heroes Task List………………………………………………………………13

Wargame Task List……………………………………………………………………………15

Company of heroes 기술 통계 결과………………………………………………………16

Wargame 1차 기술 통계 결과………………………………………………………………18

Wargame 2차 기술 통계 결과………………………………………………………………20

Wargame 이슈 기반 매트릭스 조사 결과…………………………………………………22

페 이 지 3 | 22

실험 소개

RTS(Real-time Tactics Simulation)게임은 남성 유저의 전유물처럼 여겨지는 게임이다. 어려운 조작, 치

열한 경쟁 요소, 전쟁이 주는 이유 모를 로망 등 여성 유저보다 상대적으로 남성 유저에게 매력있는 게

임이다. 최근 RTS 게임의 트렌드를 이끌어 가는 게임들도 앞에서 언급한 내용을 얼마나 발전 시켰는지

에 집중되어 있다. ‘얼마나 전장(戰場)을 현장감 있게 재현할 수 있는가?’, ‘어떻게 하면 유저들이 진짜

전쟁을 하는 느낌을 줄 수 있을까?’ 등의 고민 끝내 내놓은 게임들이라는 것이다.

물론 이런 고민이 RTS 게임 특성상 당연히 필요하다. 하지만 동시에 이런 고민만 하고 있는 현재의 상

태가 RTS 게임 장르의 목을 죄고 있다. 흔히 말하는 마니아 층에 대해서는 더 공고히 하고 있는 반면,

전체 유저 수는 줄어들고 있는 추세다.1 현재의 개발 추세라면 RTS 게임은 일부 회사에서만 생산하는

마니아 게임이 되거나, 몰락의 길을 걷게 될 것이다.

이번 실험에서는 RTS 게임의 UI 개선을 통해 좀 더 유저에게 친화적인 게임으로 만드는 방법이 없는가

에 대해 고민하고자 한다. RTS 게임은 기본적으로 조작이 유저의 진입 장벽이 되어 왔었다. 뿐만 아니

라 게임이 현실과 가까워질수록 조작이 더 어려운 방향으로 바뀌었다. 또한 스타크래프트의 성공과 함

께 그 이후 출시된 게임은 컨트롤 UI가 스타크래프트 형태(조종석 형태의 하단 컨트롤 패널)로 택하는

경우가 많았다.

이런 상황에서 최근 인기를 끌고 있는 Wargame 시리즈는 전혀 다른 형태의 UI를 채택했다. 물론

Wargame 시리즈도 정밀한 현장 묘사와 10 vs 10 멀티플레이 지원 등으로 게임 성공을 이끌어냈다.

하지만 변경된 UI가 유저빌리티에도 영향을 준 부분이 있으리라 예상된다.

Company of Heroes 게임 화면 스크린 샷 Wargame 게임 화면 스크린 샷

천편일률적이던 RTS 게임 UI에 새로운 바람을 가져온 Wargame과 2008년 등장해 기존 UI를 활용해

당대 최고의 RTS 게임으로 올랐던 Company of Heroes의 사용자 비교를 통해 ‘RTS 게임에서 최적의

UI는 기존 게임 경험에 기반한 조종석형 UI인지? 아니면 새로운 UI로의 발전 가능성은 있는지?’ 등에

대해 조사하고자 했다.

1 게임 대회 등의 트렌드가 바뀐 것도 이런 추세를 보여주고 있음. 현재 RTS 장르의 대회보다

MOBA(Multiplayer Online Battle Arena) 장르의 대회가 더 선호되고 있다. 한국에서는 AOS 장르라

부르기도 한다.

페 이 지 4 | 22

실험 목표

기존 RTS 게임에서 사용하는 조종석형 UI 의 효과가 다른 UI 에 비해서 뛰어난지 확인할 필요가 있기

때문에 유사 Task 를 제시 및 진행해 결과를 확인하고자 했다. 이는 현재 대부분의 RTS 게임이

사용하는 형태가 효과적이기 때문인지 확인하기 위함이다. 또한, 그간 사람들에게 조종석형 UI 가

얼마나 영향을 많이 주고 있는지도 간접적으로 확인할 수 있을 것으로 예상된다.

새로운 UI(Wargame UI)가 제시되었을 때 사용자들이 쉽게 적응할 수 있는지에 대해 확인했다.

사용자들이 처음 접하면 당연히 새로운 UI 가 어렵게 느껴진다. 여러 번의 경험을 통해 사용자는 점점

UI 에 적응하며, 적응 후의 사용성이 나타난다. RTS 게임의 경우에는 유사한 UI 경험으로 되어 있었기

때문에 전혀 새로운 UI 가 제시 되었을 때 적응성에 문제가 있을 수 있다고 가정했다. 이 과정을 통해

사용자의 학습성을 확인 할 수 있을 것으로 예상된다.

현재 두 게임에서 시급히 고쳐야할 UI 또는 조작이 무엇인지 확인하고자 했다. 둘 다 흥행에는 성공한

게임이기 때문에 더 좋은 게임 조작성을 확인해 향후 개발시 적용할 수 있도록 개선 방안을 찾고자

한다.

페 이 지 5 | 22

실험 방법론 소개

기본적으로 ‘사용자 경험 측정(Measuring User Experience, 톰 툴리스, 빌 알버트 저)’에 나온 수행 매

트릭스, 이슈 기반의 매트릭스, 자가 기록 매트릭스 부분에 나온 내용을 발췌/적용하였음

실험 참여자 도출 방안

실험 참여자는 총 6명으로 구성되어 있다. 6명 중 절반인 3명은 Company of Heroes의 사용성 조사에

참여하며, 나머지 3명은 Wargame 시리즈의 사용성 조사에 참가했다. 각 게임에 참여하는 3명은 각각

전문가 수준, 중급자 수준, 초보자 수준의 게임 지식을 갖추고 있는 사람으로 구성했다. 각각의 수준 구

분은 다음과 같은 기준으로 진행했다.

구분 기준

전문가 온라인을 통해 User vs User 플레이를 경험한 사람

중급자 기존 RTS 게임을 온라인에서 다른 유저와 플레이 해 본 사람

초보자 기타 온라인 게임(RTS 제외) 위주로 플레이 한 사람

기존 게임을 경험한 사람은 전문가 뿐이며, 나머지는 RTS 게임 자체에 대한 구분으로 했다. 이는 학습

성을 위해 고려한 것이다.

또, 사용자 조사 결과에 따라 여성 유저는 제외했다. 여성 유저층은 RTS 게임 경험 자체가 적어 전용

UI 디자인에는 어울릴 수 있으나, 개선과는 거리가 있다.

실험 진행 과정 소개

Company of Heroes 팀은 연구자와 실험자의 1:1 실험으로 진행했으며, 실험 진행 과정에서 수행 시

간 기록, 평균 기대 평가 / 경험 평가 비교, SUS(System Usability Scale) 조사를 동시에 진행했다. 시간

기록은 연구자가 직접 진행했다. Task는 순번이 매겨져 있어 순번대로 진행했으며, 다음 항목들은 각 순

번에서 반복적으로 진행했다.

1) Task 수행 전 해당 Task에 대한 기대 평가

2) Task 수행(시간 기록)

3) Task 수행 후 해당 Task에 대한 경험 평가

모든 Task에 대한 수행을 마친 이후 SUS 평가를 진행했다. SUS 평가는 10가지 항목에 대해 5개의 척

도로 진행했다. 실험 직후 바로 수행해 평가의 질을 높이도록 했다.

Wargame 시리즈 수행 팀도 1차 실험에서는 Company of Heroes 팀과 동일하게 실험을 진행했다. 다

만 차이점이 있었다면 각 게임의 콘텐츠에 따라 Task도 일부 수정되었다는 점이다.

2차 실험은 Wargame 시리즈 참여자를 대상으로만 진행했으며, Task 수행 시간 측정을 주로 진행했다.

2차 실험에서는 평균 기대 평가 / 경험 평가 비교, SUS 조사는 제외되었다. 대신 각 Task를 수행하는

과정에서 이슈를 확인했다. 그리고 해당 이슈를 모아 이슈 기반 매트릭스 제작에 활용했다.

페 이 지 6 | 22

실험 결과

조종석형 UI와 사용자 평가와는 크게 상관 없다

앞서 RTS 게임이 스타크래프트 이후 조종석형 UI 로 통일되었다고 했고, 유저들도 해당 UI 가 익숙하기

때문에 더 좋은 사용성이 나올 것이라 예상했다. 하지만 실험 결과 반드시 그렇지는 않다는 결론이

나왔다. 오히려 어떤 Task 를 수행하는가, 해당 게임에서 특화되어 있는 콘텐츠, 별도로 표시되지 않은

UI 를 해결하는데 기대와 경험이 다르게 나오는 것을 확인 했다.

Wargame 에서는 ‘화면을 회전 하기’와 ‘항공기 출격’하기가 기대/경험 평가에 차이가 있다. 하지만

심각한 수준은 아닌 것으로 확인할 수 있다. 반면 CoH 에서는 더 심각한 결과가 나온다.

페 이 지 7 | 22

CoH 는 조종석형 UI 임에도 불구하고 카메라 회전하기 태스크에서 많은 차이를 보여주고 있다. 뿐만

아니라 ‘미지정 분대 확인하기’ Task 에 대해서도 문제점이 나타나고 있다. 미지정 분대 확인하기의

경우에는 게임 플레이에서 자주 사용하는 기능임에도 불구하고 사용자가 사용하기 어렵게 설계 되어

있어 더 큰 문제가 된다. 현재 마우스를 올리기 전까지는 어떤 기능인지 확인 할 수 없는데, 이런

부분에 개선이 필요할 것 같다.

기존 UI에 익숙한 것이 영향 있음

기존 게임에서 자주 사용하던 기능에 대해서는 학습되기 전까지 확실히 좋은 결과를 보여주고 있다.

특히 병력 생산 건물 건설 – 건설 완료 – 병력 생산으로 이어지는 게임 구조가 대부분의 RTS 게임이

가지고 있는 형태이기 때문에 특별한 어려움 없이 task 수행이 가능했다.

오히려 Wargame 의 경우 처음 유닛을 지도에 배치하는 경우 많은 시간을 소모했다. 기존과 전혀 다른

방식을 사용하고 있기 때문에 UI 상에 제공되는 정보를 일일이 읽어가며 대응하는 모습을 보였다.

왼쪽은 Coh 에서 보병 생산을 선택하는데 걸린시간이며, 오른쪽은 wargame 에서 tank 생산

선택하는데 걸린 시간

신규 UI라도 잘 설계 되어있다면 기존과 상관 없이 학습에 뛰어남

Wargame 은 실험 결과 전체적으로 학습에 좋은 UI 라는 것을 확인 할 수 있었다. 유닛 배치, 유닛

조작 등의 Task 에서 1 차 실험 대비 2 차 실험에서 급격히 사용성이 좋아지는 것을 확인할 수 있었다.

그리고 항공기 사용 등에 있어서도 Task 수행시간이 줄어드는 등 정확히 학습이 일어나는 것을 확인

할 수 있었다.

1 차 실험(왼쪽)과 2 차 실험(오른쪽)에서 Challenger 탱크 배치 수행 시간 측정 결과. 평균 27 초에서

6 초대로 줄어든 것을 확인 할 수 있다. 이외에도 Harirror 항공기를 배치하는 과정이 20 초에서

3 초대로 줄어들었으며, 자주포를 활용해 연막탄을 발사하는 것도 21 초 에서 2.9 초로 줄어드는 등

전투와 관련된 대부분 task 수행 속도가 줄었다.

페 이 지 8 | 22

단, 이렇게 정확한 학습이 발생한 것은 잘 설계된 UI 의 경우 였으며, 화면 회전하기는 여전히 문제가

해결되지 않은 것으로 확인 되었다. 오히려 지난 실험에서 본인이 했던 행동을 다시 확인하거나,

기억하려 하는 과정에서 더 많은 시간이 소모 되었음을 확인 했다.

‘카메라를 180 도 회전하기’ 1 차 평균 소모 시간 : 26.6 초

‘카메라를 180 도 회전하기’ 2 차 평균 소모 시간 : 29.88 초

명령이 완전히 사라지는 등 심각한 문제는 발생하지 않음

새로운 UI 에 대한 사용자 반응을 더 자세히 확인하기 위해 Wargame 시리즈를 대상으로 이슈 조사를

진행했다. 전체적으로 심각한 문제는 없었으나, 일부 사용자가 불편을 겪는 부분을 확인할 수 있었다.

일반적으로 게임은 많은 테스트를 거치고 출시되기 때문에, 이슈 조사결과 레벨링 1, 2 에 해당하는

치명적인 이슈는 없었다. 레벨링 1, 2 는 사용자가 입력했는데도 불구하고 입력 값 등이 아예 사라져

버리는 경우를 말한다.

그나마 사용성에 영향을 주는 이슈는 Lv3 인데 총 3 건이 있었다. 각각이 화면 UI 보다는 조작과 관련이

있었다.

1) 카메라 회전 학습이 떨어짐

2) 최대 줌 아웃 상태에서 카메라 회전이 막혀 있는 이유를 모르겠음, 최대 줌 화면에서는 추가

동작이 필요하게 됨

3) Spread 명령의 경우 쓸데없는 클릭이 1 회 발생

페 이 지 9 | 22

한계점

System Userability Scale 결과에 따르면 대상 선정에 오류가 있음

중급자와 초보자의 선정에서 문제가 있을 수 있는 결과가 나왔다. 둘 간의 차이가 크게 없는 상태임을

확인하는 결과가 많다. 실제로 두 게임 모두 기존에 플레이 해본 경험이 이분적으로 나뉘는 게임이다.

한 번이라도 해보면 UI 에 대해서는 전문가가 될 수 있는 것이다. 반면 플레이 해본적 없는 유저는 모두

초보라고 할 수 있다.

이런 상황에서 중급, 초급자로 나눠 SUS 조사를 한 것은 무의미했다. 오히려 선호 등에 따라 편향된

결과를 가져다 줬다.

1 이 상급자, 2 가 중급자, 3 이 초급자이다. 중급 부분이 구체적이지 않은 결과를 보여주고 있는 것을

확인 할 수 있다. 이 문제는 Task 에서도 자유롭지 못하기 때문에, 향후에는 더 많은 샘플을 확보해

실험 할 필요성이 있다.

0

20

40

60

80

100

1 2 3

CoH SUS 결과

0

20

40

60

80

100

1 2 3

Wargame SUS 결과

페 이 지 10 | 22

부록

Company Of Heroes 평균 기대 평가와 평균 경험 평가 비교 결과

페 이 지 11 | 22

Wargame 평균 기대 평가와 평균 경험 평가 비교 결과

페 이 지 12 | 22

Company Of Heroes System Usablility Scale 결과

Wargame System Usablility Scale 결과

페 이 지 13 | 22

Company Of Heroes Task List

페 이 지 14 | 22

페 이 지 15 | 22

Wargame Task List

페 이 지 16 | 22

Company of heroes 기술 통계 결과

페 이 지 17 | 22

페 이 지 18 | 22

Wargame 1차 기술통계 결과

페 이 지 19 | 22

페 이 지 20 | 22

Wargame 2차 기술통계 결과

페 이 지 21 | 22

페 이 지 22 | 22

Wargame 이슈 기반 매트릭스 조사 결과