2012/10/3

1

人とコンピュータの相互作用

（Human-Computer Interaction (HCI)

－研究の最前線－

任向実

高知工科大学 情報学群

WHAT IS HCI?

2

HCIで生まれた研究例

• GUI: Graphical User Interface

3

iPad

Windows

GUI (Graphical User Interface)

PCの普及

Webの普及

マイケル ･ ヒルツィック：未来をつくった人々 ゼロックス ･ パロアルト研究所とコンピュータエイジの黎明，毎日コミュニケーションズ（2001.10）． 4 2006年Douglas C. Engelbart氏の事務所にて

Norbert Wiener (1948)

Cybernetics

J. C. R. Licklider (1960). Man-Computer Symbiosis, Transactions on Human Factors in Electronics, volume HFE-1, pages 4–11.

Windows

Mouse

CSCW

Hypertext

Multimedia

…

5

Herbert A. Simon

1916-2001

Turing Award 1975

Nobel Prize in Economics 1978

National Medal of Science 1986

von Neumann Theory Prize 1988

計算機の周辺

（インタフェース） も研究する必要

参加者 毎年 3000人

ACMへの貢献度 ２位

top 2 among ACM conferences

CHI 2013 (Associate Program Chair)

http://chi2013.acm.org/

CHI 2015 in Asia ACM conferences

http://portal.acm.org/proceedings.cfm?CFID=27972003&CFTOKEN=84900468

ACM CHI

http://en.wikipedia.org/wiki/CHI_(conference)

国際会議 ACM CHI (1982 - )

6

2012/10/3

2

HCI 研究が盛んになった

• HCIは有効性、生産性、意欲、安全性に大きな影響を及ぼす

• コンピュータのハードウェアの迅速発展に比べて、コンピュータの普及と高効率利用がボトルネックとなった

• 科学技術計算の分野では、すでに限界に近い成果が上がっているが、もっとも立ち遅れているのは、HCI

ネットワーク

(インターネット)

情報/メッセージの流通・分布

ネットワーク

(インターネット)

What is HCI?

“Human computer interaction (HCI) is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them.”

From: ACM SIGCHI Curricula

for HCI (Hewett et al. 1992)

http://sigchi.org/cdg/cdg2.html

TRENDS IN HCI

9

相互作用

ヒト コンピュータ

(ハード/ソフト)

インプット

アウトプット

HCIの３つの側面

★インプット

キーボード

マウス

声、ペン

ジェスチャー

★アウトプット

ディスプレイ

音…

Interaction

Human Computer

(hardware/software)

input

output

Three Aspects of HCI

Input

keyboard,

mouse,

voice,

pen,

gesture…

Output

display,

sound…

Human Computer

Human Computer

HCI for All

User-center design

Universal usability

Changing the Interactions - User

・Expert

2012/10/3

3

Changing the Interactions - Computer

Human Computer

Human Computer

・Mainframe

・Personal Computer (PC)

•Watch

•iPhone, iPad

•Interactive surfaces

e.g., skin, desk, wall…

Changing the Interactions

– Interaction styles

Human Computer

・Batch processing (BP)

・Command line (CL)

・WIMP GUI

Human Computer

・Pen/voice input interfaces

・Nonverbal (body language) user interfaces

・Multimodal user interfaces

・Haptic user interfaces

GUI

CL

BP

HCI の進化 Interaction styles

NUI

(Natural User Interface)

GUI (Graphical User

Interface)

CLI (Command

Line Interface)

BPI (Batch

Processing Interface)

比喩的

探索的

直接

直観的

成文化

厳格

非双方的

?

相互作用

ヒト コンピュータ

(ハード/ソフト)

インプット

アウトプット

HCIの３つの側面

★インプット

キーボード

マウス

声、ペン

ジェスチャー

★アウトプット

ディスプレイ

音…

物理世界,

現実世界 情報

仮想世界

Micro-HCI • One human • One computer • GUI – WIMP • Predictive models • Input devices • Design guidelines • Performance • User satisfaction • Novice/expert

• Ubiquitous • Pervasive • Social embedded • Tangible • Invisible • Multimodal • Ambient • User experience • Emotional impact • Aesthetics

Macro-HCI

Shneiderman, B. (2011). Claiming Success, Charting the Future: Micro-HCI and Macro-

HCI, Interactions, Vol.5, pp.10-11.

Micro-HCI • Young/old • Literate/illiterate • Abled/disabled • Gender • Culture • Ethnicity • Motivation

• Human-centered computing

• Social computing • Human-information

interaction • Human-social

interaction • Commerce • Health/wellness • Community

relationship

Macro-HCI

Shneiderman, B. (2011). Claiming Success, Charting the Future: Micro-HCI and Macro-

HCI, Interactions, Vol.5, pp.10-11.

2012/10/3

4

サマリー

• HCIの定義

• HCI 三要素

– Human, Computer, Interaction

• HCIのトレンド –狭義 1:1 広義 多：多

–より人間側に進化

19

HCI分野の動向

20

Why is HCI important?

• Four research foci in fundamental information technology research component for the 21st century:

– Software

– Human Computer Interfaces (HCI) and information management

– Scalable Information Infrastructure （ネットワーク）

– High-end Computing （高性能計算機）

From: The President's Information Technology Advisory Committee (PITAC).

Information technology for the twenty-first century: A bold investment in America's future . http://www. ccic. gov/, 1999

Computing Curricula 2001 by IEEE & ACM

1. Discrete Structures (DS)

2. Programming Fundamentals (PF)

3. Algorithms and Complexity (AL)

4. Programming Languages (PL)

5. Architecture and Organization (AR)

6. Operating Systems (OS)

7. Net-Centric Computing (NC)

8. Human-Computer Interaction (HCI) 9. Graphics and Visual Computing (GV)

10. Intelligent Systems (IS)

11. Information Management (IM)

12. Software Engineering (SE)

13. Social and Professional Issues (SP)

14. Computational Science and Numerical Methods (CN)

本学2006年から

HCI国際学会

• ACM (Association for Computing Machinery)

– SIGCHI

– 2011年- Senior Member

• IEEE (Institute of Electrical and Electronics Engineers)

– Computer Society

– 2007年- Senior Member

HCI国際学会

• IFIP （国際情報処理連合会）

– TC.13

– INTERACT 2011, 2013…

• CHI Asia

– will be established soon

2012/10/3

5

HCI in Asia

• 日本国内 インタラクション 600名

• 韓国関連の学会 1000名

• 台湾 500名

• シンガポール 50名

• APCHI 2012 in Japan (Program Chair)

参加者240名（国内約150名、海外約90名）

• ACM CHI 2015 in Asia

25

HCI研究機関 - 大学

• Carnegie Mellon University (CMU) – Human Computer Interaction Institute (HCII) – Master and PhD programs

• MIT • UC Berkeley • University of Washington – Master program • Virginia Tech - CHCI • Keio University • National University of Singapore

– Interactive and Digital Media Institute

• Kochi University of Technology – Center for Human Computer Interaction (CHCI)

HCI研究機関 - 研究所

• Microsoft Research

– New HCI group in Microsoft Research Asia

• Google

• IBM

• Palo Alto Research Center (PARC)

• INRIA（3000人をもつ、フランス国立情報学自動制御研究所）

HCI に関する市場

経済規模

雇用人口

その他

日本の将来を託すことができる産業が生まれるか？

KUTが重視すべき教育分野か？

The Long Nose

Radar

1984

Early Multi-Touch

2007

iPhone

MS Surface

$1B

Invention Refinement & Augmentation Productization

2016年 7,753億円

（株式会社 富士経済） (adapted from Bill Buxton at CHI 2011, also see Business Week, Jan 2008)

日本が遅れている点、問題点

• 学会・企業は盛んにやっているに対して、大学での研究・教育は組織的に対応していない

• その結果、この分野における人材不足

• 1945年 The Watson Scientific Computing Laboratory

– 世界初のコンピュータサイエンスの基礎カリキュラム

• 50 年代、 IBM がコンピュータサイエンス学科提唱

– 当時多くの大学は応じなかった

2012/10/3

6

サマリー

• HCI は国家戦略と位置づけされている。

– USA PITAC (1999)

– JST (2010), 経済産業省(1998)

– 125計画 (2011)

• 国内外、企業、学会、教育機関は盛んにHCI またはHCI 関連の活動を行なっている。

• アジアでHCIに関わる教育研究活動はこれからもっと活発に行なっていく。

31

HCIの研究対象とアプローチ

32

相互作用

ヒト コンピュータ

(ハード/ソフト)

インプット

アウトプット

HCIの３つの特徴

★インプット

キーボード

マウス

声、ペン

ジェスチャー

★アウトプット

ディスプレイ

音…

物理世界,

現実世界 情報

仮想世界

34

Technology Design

Human

機械、

電気・電子

社会学

人類学

心理学

生理学

製品

システム

情報デザイン

Ren Lab at KUT 35

Top-Down: 医療、教育、環境、福祉（高齢者・障害者）、エネルギー

Mid-level: （各HCI関連の国際会議名またはジャーナル名：e.g., ACM Conference on Ubiquitous Computing,

Human-Robot Interaction, International Conference on Multimodal Interaction

Bottom-up: 技術要素（e.g., Input and Interaction Technologies 入力技術, Auditory I/O and Sound in the

UI, Augmented Reality and Tangible UI) 36

私の研究手法

相互作用（コミュニケーション）を制御する

人間の能力を探る基礎研究

相互作用

技術 Level 2

Level 1

Level 3 ソフトウェア

アプリケーション

2012/10/3

7

37

Research Approach

Fundamental study exploring the human ability to control interactions

using properties

Interaction techniques

software

applications

Level 2

Level 1

Level 3

任研の研究内容と実例

38

研究内容

• HCI 基礎理論の研究

–人間の各種入力への制御能力を実測手法で研究

–入力デバイスの操作性に影響を及ぼす要因

– Human performance model （数学モデル構築）

• 入出力デバイスに適したインタラクション技術 –ペン

–マルチタッチ

–視線入力

–触覚

39 40

Research in Our Group • Pen-based interaction

– ACM CHI’97, ACM TOCHI(2000), J.CST(2003),IJHCI(2009), BIT(2010), INTERACT’97-’09, IEICE(1998-2010), IPSJ(2002-2010), ACM CHI 2011, ACM CHI 2012

• Multi-touch interaction – ACM CHI 2009, ACM UIST 2009, ACM CHI 2012

• Eye-based interaction – ACM CHI 2008, ACM CHI 2010

• Human performance models – IJHCS(2004), IPSJ(2005), BIT(2010), IEICE(2007),

INTERACT’09, INTERACT’11

• Other projects involved include multimodal interaction, mobile UI, Japanese/Chinese input interface

近未来の生活

ビデオ

近未来の生活の中に、もっとさくさんのHCI

42

Case study 1

Designing Pen-based

Interaction

ペンインタラクション

2012/10/3

8

43

Vannervar Bush’

Memex (1945)

Douglas Engelbart (1965) – Pen/tablet

Mark Weiser (1990)’s

Ubiquitous computing

Sutherland (1963)’s

SketchPad

44

• Business • Education • CG • Cartoons • Game development • Medical records • ．．．

Big: electronic whiteboard

Middle：tablet PC

Small：PDAs

Pen computer potential in the market

Mobile phone

e-books

The potential for further development and application is great indeed.

45

筆圧 (0~1023)

傾き (30˚ ~ 90˚)

方位角 (0˚ ~ 359˚)

ペン入力

ペンを用いてインプットする場合、位置情報（X,Y座標）以外の情報も利用することができる。

問題点：ペン一本で全操作（文字入力、コマンド、描画）は困難

解決策：筆圧、傾き、方位情報でコミュニケーションの幅を拡大

Xin, Y., Bi, X. and Ren, X. (2011). Acquiring and Pointing: An Empirical

Study of Pen Tilt-Based Interaction, Proceedings of CHI 2011 (7- 12 May

2011, Vancouver, Canada), ACM Press, pp. 849-858.

Pen tilt control ability -Tilt Pointing

46

47

ペンの傾きを利用して３次元対象物を操作

Eraser

Pencil sharper

2012/10/3

9

Saxophone

Flute

Sun, M. Cao, X., Song, H., Izadi, S., Benko, H., Guimbretiere, F., Ren, X.,

and Hinckley, K. (2011). Enhancing Naturalness of Pen-and-Tablet

Drawing through Context Sensing, Proceedings of the ACM Conference

on Interactive Tabletops and Surfaces (ITS 2011, 13- 16 Nov 2011, Kobe,

Japan), ACM Press), pp. 83-86.

51

Case study 2

Designing

Multi-touch Interaction

マルチタッチインタフェース

52

Various multitouch systems

53

指タッチ入力

問題点：指先のみで全操作・入力は困難

解決策：指向、面積、幅などの情報でコミュニケーションの幅を拡大

Wang, F. and Ren, X. (2009). Empirical Evaluation for Finger Input

Properties in Multi-touch Interaction, Proceedings of CHI 2009 (4- 9 April

2009, Boston, USA), ACM Press, pp.1063-1072. 54

Inferences From Finger Orientation

•Estimating the Occlusion Region – occlusion region : a circular sector opposite the finger orientation Φ, with the vertex at the center of the finger tip (x, y)

– the central angle is at approximately δ = 60°

2012/10/3

10

55

•Multi-finger mouse emulation – Matejka et al. presented SDMouse

– By considering the orientation of the index finger, we can unambiguously associate fingers with buttons located in a reachable location, regardless of the user’s position

56

• We present a novel and robust algorithm that accurately and unambiguously detects the orientation vector by considering the dynamics inherent in finger contact.

•This technique uses

contact information only.

Wang, F., Cao, X., Ren, X. and Irani, P. (2009). Detecting and Leveraging

Finger Orientation for Interaction with Direct-Touch Surfaces,

Proceedings of ACM Symposium on User Interface Software and

Technology (UIST 2009, October 4- 7, 2009, Victoria, BC), ACM Press,

pp.23-32.

今後の研究

57

HCI の進化

NUI

(Natural User Interface)

GUI (Graphical User

Interface)

CLI (Command

Line Interface)

BPI (Batch

Processing Interface)

比喩的

探索的

直接

直観的

成文化

厳格

非双方的

?

Emotion?

Game Engagement

• Serious games

– do not have entertainments, enjoyment, or fun as their primary purpose.

– are used for HCI design, such as training, simulation, or education.

• Game engagementの要素またはMechanisms

を抽出できるならば、例えば、それらの要素を学習ソフトウェアに組み込めば、学習効果の向上が期待される。

59

HCI 研究センター

60

2012/10/3

11

Center for Human-Computer Interaction (CHCI)

• CHCIの設立は世の中の２つの大きい流れに合う

–組織はピラミッド型からプロジェクト型

–研究領域、教育分野では、異なる領域の融合といった学際的分野の形成

• CHCI は学内外研究連携のプラットフォーム

61

Technology Design Human

構成員

• 任向実（併任）

• Postdoc助手: Kibum Kim (10月）

• Postdoc助手: Aurélie Cohé（2013年1月）

62

当面の目標 28/63 20/63

ACM DL SIGCHI

Internal

Collaboration

International

Collaboration

CHCI

Internal Collaboration: 1. Brain Center 2. Sensors 3. Human Robot

Interaction 4. Psychophysics 5. ..

International Collaboration: 1. Microsoft

Research 2. Google 3. University of

Toronto 4. CAS 5. …

CHCI Research Strategy

HCI Psychophysics

Brain

Sensors

Robotic Interaction

KUT Internal Collaboration

Perception

65

Manfred F.R. Kets de Vries (2009)

Clinical professor

of leadership development at INSEAD

(European Institute of Business

Administration)

生命の中で、真的重要な物は、

（地位、富、名誉ではなく） ・意味のある関係(meaningful relationship)

・新しいコンセプト作り(creating meaning)

・インパクト(Making a difference)

（研究的）教育

66

2012/10/3

12

若者の国際交流

Tu君 at ACM CHI 2012

HCI International 2003 in Greece

台湾

APCHI 2006論文賞受賞 APCHI 2012論文賞受賞

ACM学会の論文掲載を目標 ACMのデータベース 情報分野の最大データベース

• http://portal.acm.org/author_page.cfm?id=81100597892&CFID=7129260&CFTOKEN=43968016

DBLP（Digital Bibliography & Library Project）http://www.informatik.uni-trier.de/~ley/db/indices/a-tree/r/Ren:Xiangshi.html

Google scholar 学術論文検索用エンジンhttp://scholar.google.co.jp/scholar?q=Xiangshi+Ren&hl=ja&btnG=%E6%A4%9C%E7%B4%A2&lr

MicroSoft Libra

• http://academic.research.microsoft.com/Author/3335436/xiangshi-ren?query=Xiangshi%20Ren

研究業績

Year

Organization CHI 2008 CHI 2009 CHI 2010 CHI 2011

Papers:PossessedHand: Techniques

for controlling human hands using

electrical muscles stimuli

Papers:Augmented Reality Flavors:

Gustatory Display Based on Edible

Marker and Cross-Modal Interaction

Kochi University of Technology

(Ren Lab)

Papers:Improving Eye Cursor's

Stability for Eye Pointing Tasks

Papers:Empirical Evaluation for

Finger Input Properties In Multi-

touch Interaction

Papers:Modeling Dwell-Based Eye

Pointing Target Acquisition

Papers:Acquiring and Pointing:An

Empirical Study of Pen-Tilt-Based

Interaction

Future University-Hakodate

Papers:Precision Timing in

Human-Robot Interaction:

Coordination of Head Movement

and Utterance

University of Electro-

Communications

Papers:Transparent 2-D Markers on

an LCD Tabletop System

JST ERATOPapers:Magic Cards: A Papers Tag

Interface for Implicit Robot Control

Papers：Roboshop:Multi-layered

Sketching Interface For Robot

Housework Assignment and

Management

NAIST AIST

Papers:An Actuated Physical Puppet

as an Input Device for Controlling a

Digital Manikin

National Institute of Advanced

Industrial Science and

Technology

Papers:Familial Collaborations in a

Museum

NTT Cyber Solutions

Laboratories, NTT Corporation

Papers:“ClearPlate” for

Capturing Printed Information: A

Scanner and Viewfinder in one

Optical Unit

Papers:Supporting Fluid Tabletop

Collaboration across Distances

Papers:Document Area

Identification for Extending Books

without Markers

Osaka UniversityPapers:Movable Cameras Enhance

Social Telepresence in Media Spaces

Papers:Zoom Cameras and Movable

Displays Enhance Social

Telepresence

Saitama University

Papers:Revealing Gauguin: Engaging

Visitors in Robot Guide's Explanation

in an Art Museum

Ochanomizu University

Papers:InPhase: Evaluation of a

Communication System Focused on

"Happy Coincidences" of Daily

Behaviors

Sony Computer Science

Laboratories, Inc.

Papers:Weightless Walls and the

Future Office

Graduate School of Media

Design, Keio University / JST

ERATO IGARASHI Design UI

Project

Papers:Time Characteristics of

Olfaction in a Single Breath

Kyoto UniversityPapers:Enhancing Credibility

Judgment of Web Search Results

NEC Corporation

Papers:Variation in Importance of

Efficiency with Familiarity with

Mobile Phone Models

Papers:Augmented Voice Web

Browsing Experience

Papers:On the audio representation

of radial direction

Papers:Ninja Cursors: Using

Multiple Cursors to Assist Target

Acquisition on Large Screens

The University of Tokyo

IBM Research - Tokyo

NTT Communication Science

Lab

Papers:High Accuracy Position and

Orientation Detection in Two-

Dimensional Communication

Network

Papers:Magic Cards: A Paper Tag

Interface for Implicit Robot Control

Papers:Difficulties in Establishing

Common Ground in Multiparty

Groups using Machine Translation

ACM CHIでFull Paperを連続５年間発表できるアジアの研究機関は、

KUTと東京大学

研究業績

• 研究費 （計23件）

–科研費 基盤B

–科研費 基盤C

–科研費 若手B

– JST 未踏ソフトウェア事業

–マイクロソフト共同研究プロジェクト ２回

• 博士

– ９名誕生

70

国際活動 研究訪問・招待講演

•2001-2010年 IBM Research (Almaden)

•2006年 University of Washington (Seattle)

•2010年 University of Toronto (Toronto), Autodesk Research

•2011年 Microsoft Research Asia, University of Alberta

•2012年 University of Huston

•2012年 Microsoft Research Asia Faculty Summit 2012

•多くの中国の大学

共同研究（共著論文発表）

・IBM Research ・Google Research

・Microsoft Research ・Nokia Research Center

・University of Toronto ・University of Washington

・University of Manitoba ・National University of Singapore ・中国科学院

There are so many important problems to

solve that there is room for everyone to

contribute: jobs can be more rewarding,

communities can be safer, and lives can be

happier. Each one of us can make a

difference. The time to begin is now and the

leader to look to is you.

Ben Shneiderman (1998)

本当にたくさんの問題を解決しなければならない．だからだれでも貢献するチャンスがある．仕事はもっとやりがいがあるようになる．コミュニケーションはより安全に進められる．そして生活はより幸福になれる．だれでも新しい世界を切り開くことができる！スタートの時は今だ．そして期待されるリーダーはあなた！

2012/10/3

13

Ben Shneiderman (2011): Claiming

Success, Charting the Future: Micro-

HCI and Macro-HCI, Interactions,

Vol.5, 10-11, 2011. With Prof. Ben Shneiderman

at HCI International ‘97

“多くの仕事を待っている。急げ！”

“There is much to be done.

Let’s get on with it!”

まとめ

１．HCI とそのtrends

２．HCI分野の国際情勢

３．HCIの研究対象とアプローチ

４．任研の研究内容と実例

５．今後の研究（CHCI含み）と教育