Upload
dangthuy
View
227
Download
0
Embed Size (px)
Citation preview
Einführung in die Mensch-Maschine-Kommunikation
Stefan Kopp
Universität Bielefeld
SFB 673
1
Mensch-Maschine-Kommunikation2
! Mensch! Will eine Aufgabe lösen
! Nutzt Maschine für diesen Zweck
! Unterliegt speziellen Einschränkungen
! Maschine! Software für Problemlösungen
! Hardware zur Programmausführungund Ein-/Ausgabeschnittstelle
! Kommunikation! Fortlaufender Informationsaustausch
! Gemeinsames Zeichensystem
! Gemeinsame Kommunikationskanäle
Mensch und Maschine kommunizieren
Mensch-Maschine-Kommunikation
Themen der Mensch-Maschine-Kommunikation
3
ACM SIGCHI -
Content of HCI
Mensch-Maschine-Kommunikation
Übersicht
! Maschinen als Werkzeuge! Bedienung
! Maschinen als intelligente Werkzeuge! Instruktion
! Maschinen als verkörperte Agenten! Konversation
! Maschinen als soziale Kompanions! Kooperation
4
Mensch-Maschine-Kommunikation
Year
1950s
1970s
1980s
1980s+
1990s+
2000s+
Paradigm
Typewriter
Desktop
Spoken Language
Natural interaction
Social interaction
Implementation
Switches, punched cards
Command-line interface
Graphical UI (GUI), direct manipulation
Speech recognition/synthesis, natural language processing, dialogue systems
Perceptual, multimodal, interactive, conversational, tangible, adaptive
Agent-based, anthropomorphic, social, emotional, affective, collaborative
5
!"#$%&'#()#*)%+,-)'(&,-*./,+
01,( 234$,3,(&.&'#() 5.-.6'73
89:;+ <='&/1,+>)4%(/1,6)/.-6+ ?#(,
89@;+ A#33.(6B$'(,)'(&,-*./, CD4,=-'&,-
89E;+ F-.41'/.$)G2)HFG2I J,+K
L;;;+ MMM MMML;;;+ 5,-/,4&%.$)G2)H5G2I ?.&%-.$)'(&,-./&'#(
Mensch-Maschine-Kommunikation6
Vannevar Bush
! „As we may think“ (1945):„The summation of human experience is being expaned at a prodigious rate, and the means we use for threading through the consequent maze to the momentarily important item is the same as was used in the days of square-rigged ships“
„Memex“ (memory expander)Informationsverarbeitende Maschine als persönliches Werkzeug zum Speichern und Finden von Daten
Mensch-Maschine-Kommunikation7
Joseph C.R. Licklider
! „Man-Computer Symbiosis" (1960):"The hope is that, in not too many years, human brains and computing machines will be coupled together very tightly and that the resulting partnership will think as no human brain has ever thought and process data in a way not approached by the information-handling machines we know today.”
! Visions:
! Short-term: Time-sharing, input/ouput of symbolic and graphical information, real-time systems
! Mid-term: Facilitate human cooperation, speech recognition, character recognition, light-pen editing
! Long-term: Natural language understanding, heuristic programming, learning
Mensch-Maschine-Kommunikation8
Douglas C. Engelbart
„I had the image of sitting at a big CRT screen with all kinds of symbols, new and different symbols, not restricted to our old ones. The computer could be manipulated, and you could be operating all kinds of things to drive the computer“
„ONLine System“ (1968)
! Two persons collaboratively edit the same text from two different consoles
! Multiple windows, on-screen teleconferencing
! Need for new input device for text selection and manipulation ! first mouse
Mensch-Maschine-Kommunikation
Übersicht
! Maschinen als Werkzeuge! Bedienung
9
! Maschine bietet Vielzahl von ausführbaren Funktionen
! Nutzer bedienen die Maschine in einem fortlaufenden Interaktionsprozess
! Rückmeldung der Maschine über aktuellen Status der lokalen Problemlösung
Mensch-Maschine-Kommunikation
Maschinen als Werkzeuge
10
Psychology of HCI (Card, Moran & Newell; 1983)
Wahrnehmung
Mensch Computer
Informations-
verarbeitung
Handeln Eingabegeräte
Informations-
verarbeitung
Ausgabegeräte
Mensch-Maschine-Kommunikation
Handlungsschritte
11
Seven Stages of Action Model (D. Norman, 1988)
Gu
lf o
fE
xe
cu
tio
n Gu
lf of
Ev
alu
atio
n
Mensch-Maschine-Kommunikation
Probleme beim Überbrücken der „Ausführungskluft“
12
(aus Dahm, 2006)
Mensch-Maschine-Kommunikation
Probleme beim Überbrücken der „Evaluationskluft“
13
(aus Dahm, 2006)
Mensch-Maschine-Kommunikation
Ziel: Gebrauchstaugliche Maschinen
! „Usability“ - können Nutzer das System auch wirklich
erfolgreich gebrauchen?
14
DIN ISO 9241:
! Effektivität: Genauigkeit und Vollständigkeit, mit der die Benutzer ein bestimmtes Ziel erreichen.
! Effizienz: Aufwand der Benutzer im Verhältnis zur Genauigkeit und Vollständigkeit des erzielten Effekts.
! Zufriedenheit: Positive Einstellung gegenüber der Nutzung und Freiheit von Beeinträchtigungen
Mensch-Maschine-Kommunikation
„Usablity Engineering“
! Elemente zur Interaktionsgestaltung! Software: Eingabezeilen, Kommandosprachen, Formulare,
Menüs, grafische Oberflächen (Windows-Icons-Menus-Pointer)
! Hardware: Tastatur, Touchpads, Maus, Bildschirm, etc.
15
! User-centered design• Iterativ-inkrementell
• Nutzerbeteiligung
Mensch-Maschine-Kommunikation
„Usability Engineering“
16
! Metaphern! Bezug (Analogie) zu bekannten
Real-Welt-Aktivitäten
! Beispiele: Schreibtisch-Metapher, direkte Manipulation
! Affordances (Norman, 1988): "refers to the properties of objects --what sorts of operations and manipulations can be done to a particular object"
! Objekte sollen ihre Affordances suggerieren
Mensch-Maschine-Kommunikation
Übersicht
! Maschinen als Werkzeuge! Bedienung
! Maschinen als intelligente Werkzeuge! Instruktion
17
Mensch-Maschine-Kommunikation
Instruierbare intelligente Werkzeuge
! Mit zunehmenden Fähigkeiten und Autonomie der Systeme werden immer „natürlichere“ Kommunikations- und Interaktionsarten möglich
! Credo: Maschine soll wie Menschen kommunizieren können
18
Mensch-Maschine-Kommunikation
Klassisches Kommunikationsmodell der KI
19
Terry Winograd (1983)
Fokus auf symbolischer Kommunikation
Mensch-Maschine-Kommunikation
Beispiel: Der virtuelle Konstrukteur
! Verstehen von Instruktionen unter Rückgriff auf Weltwissen und Situationswissen
! Referenzierung von Objekten über deren! aktuelle oder potentielle Rolle („Leitwerk“ statt „Leiste“)! aktuelle relative Merkmalsausprägung im Kontext, Status im
Diskurskontext
20
Virtueller Konstrukteur (Jung et al., 1998)
Konzeptdynamik(Wachsmuth & Jung, 1996)
Mensch-Maschine-Kommunikation
Sprachdialogsysteme
! Erlauben dem Nutzer Eingabe in gesprochener Sprache und antworten durch natürlich-sprachliche Ausgaben
! Natürlich-sprachlicher Dialog als Schnittstelle ! Informationsstruktur: Was ist neu und was bekannt?
! Kohärenz: Wie beziehen sich Äußerungen aufeinander? ! Referenz: Auf was wird Bezug genommen?
! Sprechakte: Was ist die Aktion und Intention des Sprechers?! Rederecht: Wer redet wann?
! Initiative: Wer hat die Kontrolle im Dialog?! Grouding: Welche Informationen sind etabliert?
! Reparatur: Wie können Missverständnisse korrigiert werden?
Mensch-Maschine-Kommunikation22
Multimodale Mensch-Maschine-Kommunikation
! Menschliche Kommunikation zeichnet sich durch gleichzeitige und kombinierte Verwendung vieler „Modalitäten“ aus (Sprache, Gestik, Mimik, etc).
! Eine Mensch-Maschine-Schnittstelle ist multimodal, wenn sie mehrere Eingabemodalitäten und/oder mehrere Ausgabemodalitäten zur Verfügung stellt.
Eine Modalität bezeichnet ein kommunikatives System,das durch die Art und Weise wie Information kodiert,
übertragen und interpretiert wird gekennzeichnet ist.
Mensch-Maschine-Kommunikation23
Beispiele
Dreh das Teil
so herum!
Spracherkennung + Lippenlesen
Das Ding ist
unten rund…
QuickSet (OHSU Oregon) MARA (Fraunhofer FIT)
SFB 360 Bielefeld AG WBS, Uni Bielefeld
Mensch-Maschine-Kommunikation24
Warum multimodale MMK?
Natürlichkeit! Anpassung an den Menschen, Intuitivität
Effizienz! Vermittlung unterschiedliche Informationsarten
! Informationsaufteilung
! Einzelne Modalitäten weniger komplex
Robustheit! Redundanz zwischen Modalitäten kann die Fehlerrate
verringern ! Gegenseitige Disambiguierung der Modalitäten
Adaptivität! Situations-/Nutzerspezifische Bevorzugung von Modalitäten! Nutzer wählen intuitiv den weniger fehleranfälligen Modus,
wechseln oft die Modalität nach Fehlerfall
Mensch-Maschine-Kommunikation25
“Create”
”Create a blue square there.”
“Move”
“Move the blue triangle to the right of the green square.”
“Move that there.”
“Make that …”
“Make that blue triangle smaller.”
“Make that smaller.”
“Delete”
“Delete that green circle.”
Beispiel: Put-That-There
(Bolt, 1980)
Sprache und Zeigegestik,
die „Slots“ füllt
Mensch-Maschine-Kommunikation26
Multimodale Formbeschreibungen
! Sprache und formbeschreibende „ikonische“ Gesten
! Übersetzung von Postur- und Bewegungsmerkmalen in Forminformation
! Representation in „Imagistic Description Tree“! Vergleich mit Formenwissen über Objekte
“shaft”
a (b c)
6.5 4.0
“screw”
a
10.0
“head”
(a b) c
6.0 3.5
“slot”
a b c
6.0 .2 .2
IDT
(Sowa, 2005)
Mensch-Maschine-Kommunikation27
Beispiel
„ein längliches Brett“
„länglich“
„Brett“
Konzeptualisierung Unifikation
Visualisierung des kombinierten IDT
RäumlichesArbeitsgedächtnis
Mensch-Maschine-Kommunikation
Übersicht
! Maschinen als Werkzeuge! Bedienung
! Maschinen als intelligente Werkzeuge! Instruktion
! Maschinen als verkörperte Agenten! Konversation
28
Mensch-Maschine-Kommunikation 29
Mensch-Maschine-Kommunikation30
Terminologie
! Verkörperter (anthropomorpher) Agent! Agent mit menschenähnlichem Äußeren
! Verwendung des Körpers für kommunikative oder andere Handlungen
! Natürliche Multimodalität und „Kommunikationsprotokolle“
! Face-to-face Konversation
! Agent! Ein Computerprogramm, das Aktivitäten in seiner
Umgebung beobachten und initiieren und das mit anderen Individuen kommunizieren kann.
! Hat spezielle Expertise und übernimmt Aufgaben
Mensch-Maschine-Kommunikation31
Motivationen und Hoffnungen
! Verringerte Komplexität der Aufgabenlösung! Expertise des Agenten unterstützt Nutzer, z.B. in Form von
Expertenkritik, Aufgabenvervollständigung, Koordination
! Natürlicheres Interaktionsszenario! Direkte Übertragung der bekannten Kommunikationsarte
! Metapher eines Vermittlers wird „greifbar“ ! Da ist jemand, der mir hilft
! Motivationale Faktoren! Zusammenarbeit und Interaktion mit einer „Person“ ist
motivierender und unterhaltsamer
Mensch-Maschine-Kommunikation32
Interface-Agenten
Communicate
Observe Observe
Operate
UserInterface
agent
Application
! Aufgabe: Vermittlung zwischen Nutzer und Anwendung
! Kommunizieren mit dem Nutzer und unterstützen ihn
! Übernehmen die Bedienung der Applikation
! Agent und (ggf.) Nutzer „observieren“ die Applikation
Mensch-Maschine-Kommunikation33
Anthropomorpher Interface-Agent für Webbrowser (U. Tokyo)
Mensch-Maschine-Kommunikation34
Embodied conversational agents
„Computer interfaces that hold up their end of conversation,
have bodies and know how to use it for conversational behaviors as a function of the demands of dialogue and of emotion, personality, and social convention.“
(Cassell, 2000)
! Ziel: Verhalten sich wie Menschen in der „face-to-face“ Kommunikation! Erkennen und verarbeiten verbale und nonverbale Eingaben
! Generieren verbales und nonverbales Verhalten
! Erfassen funktionale Aspekte von konversationalem Verhalten (z.B. Anschauen ! Rederechtsangebot, Feedback)
! Können aktive Rolle im Dialog übernehmen
Mensch-Maschine-Kommunikation35
Agenten als virtuelle Experten
Beispiel: REA (MIT Media Lab, 2000)
! Virtuelle Immobilienmaklerin
(Cassell et al.,
1999, 2000)
Mensch-Maschine-Kommunikation
Max der virtuelle Museumsführer
Heinz-Nixdorf-MuseumsForum (Paderborn)
36
Mensch-Maschine-Kommunikation
Wirkung verkörperter Agenten?
! Virtuelle Gesichter ziehen Aufmerksamkeit auf sich
! Interaktion ist unterhaltsamer
! Höhere Akzeptanz
! Wahrgenommene Intelligenz, Vertrauenswürdigkeit und Glaubwürdigkeit des Systems ist größer
37
0
1
1
2
2
3
3
4
4
5
5
GUI speech ECA
! Nutzer sind geneigter Aufgabenzu delegieren
! Triggern den Gebrauch menschlicher Kommunikationsformen
(Krämer, 2005)
Mensch-Maschine-Kommunikation38
Wirkung der äußeren Erscheinung?
! Einfluss auf soziale Evaluation und Zuschreibung von Freundlichkeit
! Übereinstimmungen mit Nutzer in Aussehen, Geschlecht, Herkunft oder Alter werden positiv wahrgenommen
! Zu realistisch erweckt übersteigerte Erwartungen
„Uncanny valley“ (Mori, 1970s)
! Hypothese, klare Belege fehlen
! Realitätsgrad des Agentverhaltens muss dem des Äußeren entsprechen
Mensch-Maschine-Kommunikation39New Scientist, 2005
Soziale Effekte?
Vergleichbar denen von Menschen!
Mensch-Maschine-Kommunikation
Übersicht
! Maschinen als Werkzeuge! Bedienung
! Maschinen als intelligente Werkzeuge! Instruktion
! Maschinen als verkörperte Agenten! Konversation
! Maschinen als soziale Kompanions! Kooperation
40
Mensch-Maschine-Kommunikation41
Kollaborative Agenten
! Mensch und Agent kollaborieren bei einer Aufgabe
! Beide können aktiv zur Lösung beitragen
! Beide beobachten das Handeln des anderen
! Beide kommunizieren über ihre Aufgabe und ihre Kooperation
Communicate
Observe
Operate
Agent
Application
User
Operate
Mensch-Maschine-Kommunikation42
Max der „Assemblierungsexperte“
! Arbeitet gemeinsam mit realem Partner in virtueller Welt
! Szenario: Konstruktion von Baufix-Modellen
<Film>
Mensch-Maschine-Kommunikation43
Maschinen als soziale Kompanions?
Cynthia Breazeal (MIT):„Future applications require robots to address the socio-emotive and psychological aspects of people in long-term relations“
Laura (Bickmore et al.)
ATR, Osaka
NEC “babysitters”
BANDAI “elder toys”
OMRON “pets”
Interactive
Toys
Mensch-Maschine-Kommunikation
Zusammenfassung
! Maschinen als Werkzeuge! Bedienung
! Maschinen als intelligente Werkzeuge! Instruktion
! Maschinen als verkörperte Agenten! Konversation
! Maschinen als soziale Kompanions! Kooperation
44