A SZEMÉLYKÖZI KOMMUNIKÁCIÓ MULTIMODALITÁSÁT VIZSGÁLÓ

KÍSÉRLETSOROZAT EREDMÉNYEIR ŐL

Takács OrsolyaDebreceni Egyetem

Nyelvtudományok Doktori Iskola

ÁTTEKINTÉS

1. Háttér, célok

2. A kísérletsorozat leírásaa. Felhasznált eszközök, módszerek

b. Az alapérzelmek szerepe a kísérletekben

2

b. Az alapérzelmek szerepe a kísérletekben

3. Kísérleti eredményeka. Integratív áttekintés

b. Alapérzelmek modalitásonként

c. Kifejezésformák modalitásonként

4. Konklúzió, felhasználási lehetőségek

2

HÁTTÉR, CÉLOK

� A HuComTech projekt

� Modalitás = csatorna

� A multimodalitás (hiánya) az ember–ember és az ember–gép kommunikációban

3

gép kommunikációban

� Verbális versus nem verbális csatornák

� Alapérzelmek mint átadandó üzenetek

� Korábbi kapcsolódó kutatások

� Bänziger 2009, Liikkanen 2008, Hunyadi 2011

3

A KÍSÉRLETSOROZAT

KÍSÉRLETI ANYAG

� Öt kísérleti csoport – egyetlen videóbejátszás manipulált változatai:

1. „Normál” csoport: kép + hang(normál modalitás eloszlás)

2. „Videó” csoport: kép (nem verbálisdominancia)

3. „Audió” csoport: hang (verbálisdominancia)

4. „Képes prozódia” csoport: kép + prozódia(nem verbális

5

4. „Képes prozódia” csoport: kép + prozódia(nem verbális dominancia + részleges verbális)

5. „Prozódia” csoport: prozódia (részleges verbális)

� Felhasznált kisfilm:

Dyga Zsombor: Köntörfalak(5 perces részlet, 3 szereplő)

� Néhány aggály:� Természetesen uni-/bimodálisnak szánt kommunikáció?

� A videóbejátszás egyedi sajátosságai 5

1. „Normál”

6

2. „Videó”

7

3. „Audió”

4. „Képes prozódia”

9

5. „Prozódia”

MÓDSZEREK, LEBONYOLÍTÁS

� 20-20 fő csoportonként

� Résztvevők: a Debreceni Egyetem hallgatói és dolgozói; 18–50 év között; férfiak és nők egyenlő eloszlásban

� Nyílt végű kérdőív (ld. kitöltött példányok)

� Azonos feladat mind az öt csoportnál

11

� Modalitáshiány mellett is felismerhető üzenetre volt szükségünk →� Alapérzelmek: „Univerzálisan”, a világ minden népe által hasonló

gesztusokkal kifejezett érzelmek (Ekman 1992). – Eredetileg: harag, félelem, meglepettség, öröm, szomorúság, undor

� Kísérleti alanyok feladata: � Eldönteni, szerepel-e az adott érzelem a bejátszásban

� Leírni, milyen (verbális, képi, hangi) jelekből következtetett jelenlétükre

KÍSÉRLETI EREDMÉNYEK

INTEGRATÍV ÁTTEKINTÉS –FELISMERT ÉRZELMEK SZÁMA

� Potenciálisan felismerhető érzelmek száma: � Fejenként 6

� Csoportonként 120

13

� Undor – ténylegesen nem észlelhető

� Rangsor a csoportok „összpontszámai” alapján:

FELISMERT ÉRZELMEK SZÁMA CSOPORTONKÉNTI ELOSZLÁSBAN

Kísérleti csoport

Kísérleti anyag Észlelések száma

Maximális lehetőségekhez

viszonyított arány

Átlagos fejenkénti észlelések

száma

1. Harmadik „audió” 88 73% 4,4

14

2. Második „videó” 83 69% 4,2

3. Első „normál” 80 67% 4,0

4. Negyedik „képes

prozódia” 75 63% 3,8

5. Ötödik „prozódia” 67 56% 3,4

FELISMERT ÉRZELMEK SZÁMÁHOZ FŰZŐDŐ MEGÁLLAPÍTÁSOK

� 1. helyen az „audió csoport” → az érzelemfelismerésben a verbális csatornatölti be a legfontosabb szerepet

� 2. helyen a „videó csoport” → a vizuális információtólcsak a nyelvi adatok jelentékenyebbek

� 3. helyen a „normál csoport”→ „kevesebb csatorna –

15

� 3. helyen a „normál csoport”→ „kevesebb csatorna –nagyobb figyelem” elv; tudatosság kérdése

� A verbális információt is tartalmazó videó ill. hanganyag mindig előrébb foglal helyet a rangsorban, mint a puszta prozódiával ellátott. → a prozódia verbális tartalom nélkül csak bizonyos esetekben értelmezhető

� „Videó csoport” vs. „prozódia csoport”! → a verbális tartalom nélküli prozódia akár zavaró hatástis kiválthat

AZ EGYES ÉRZELMEK ÉSZLELÉSE A CSOPORTOKBAN

80

100

120

normál

videó

160

20

40

60

harag félelem meglepettség öröm szomorúság undor

videó

audió

képes prozódia

prozódia

ALAPÉRZELMEK ÉSZLELÉSE A KÜLÖNFÉLE MODALITÁSOKBAN

� Amit minden csoport közel 100%-ban felismert:� Harag → Minden modalitásban

� Meglepettség → erős markerek.

� Ahol csak a „normál” és az „audió” csoport teljesített közel 100%-osan, a többi pedig gyengén:

17

100%-osan, a többi pedig gyengén:� Félelem → Kulcsfontosságú a verbális csatorna.

� Ahol mindenki viszonylag gyengén teljesített:� Öröm → A bejátszásban nem konvencionálisan/

� Szomorúság → nem elég erősen vannak jelen.

� (Undor → meglepettség?)

� A bejátszásban kifejezett érzelmek konvencionalitási foka

AZ ALAPÉRZELMEK KIFEJEZÉSFORMÁI A KÜLÖNFÉLE MODALITÁSOKBAN

� Interpretáció → számadatok

� 8 manifesztáció-kategória:

� verbális információ, következtetés a szituációból

� arckifejezés

tekintet

18

� tekintet

� testbeszéd, kézmozdulatok, mozgás

� intonáció

� beszédtempó

� hangerő, hangmagasság

� szünetek, csönd

AZ ALAPÉRZELMEK KIFEJEZÉSFORMÁI A KÜLÖNFÉLE MODALITÁSOKBAN

19

AZ ALAPÉRZELMEK KIFEJEZÉSFORMÁI A KÜLÖNFÉLE MODALITÁSOKBAN

� „Normál” csoport: Ha minden modalitás rendelkezésünkre áll, rendkívüli módon a verbalitásratámaszkodunk az érzelemfelismerésben.

� „Videó” csoport: Ha csak a vizuális csatorna elérhető, az arckifejezésvan segítségünkre leginkább. (DE: arckifejzés vs. tekintet?)

20

van segítségünkre leginkább. (DE: arckifejzés vs. tekintet?)

� „Audió” csoport: Az első állítást erősíti.

� „Képes prozódia” csoport: Nyelvi információ híján a vizuális elemekre támaszkodunk, nem pedig a prozódiára.

� „Prozódia” csoport: Nyelvi információ nélkül a prozódia összetevői egyenlő mértékben (nem?) hordoznak érzelmi információt.

ÉRZELEMFELISMERÉSI MODALITÁS-RANGSOR

1. Verbális modalitás

2. Vizuális modalitások (különösen az arckifejezés)

3. Prozodikus információ

21

� Jelentőség a multimodális kommunikációs modell szempontjából!

KONKLÚZIÓ, FELHASZNÁLÁSI LEHETŐSÉGEK

� Konklúziók:� A kommunikáció multimodalitása által okozott redundancia

kiemelkedő fontosságú eleme az érzelemfelismerésnek.

� A multimodális kommunikáció csatornái között rangsorállítható fel az érzelemfelismerés szempontjából.

22

� A verbális csatornaa legfontosabb az érzelemfelismerésben, de figyelemreméltóan jól teljesítünk ennek hiányában is.

� Felhasználási lehetőségek:� További kutatások más jellegű videóbejátszásokkal, esetleg

más érzelmekkel, és eredetileg is uni-/bimodálisnak szánt mozzanatok felhasználásával.

� Pszicholingvisztikai alkalmazás.

Felhasznált irodalom:

� Bänziger, T. – Grandjean, D. – Scherer, K. R. (2009). Emotion recognition from expressions in face, voice, and body: the Multimodal Emotion Recognition Test (MERT). Emotion Washington Dc, 9(5), 691–704.

� Clahsen, H. – Felser, C. (2006). Grammatical processing in language learners. Applied Psycholinguistics 27, 3–42.

23

Applied Psycholinguistics 27, 3–42.

� Ekman, P. (1992). An argument for basic emotions. Cognition & Emotion, 6(3), 169–200.

� Hunyadi, L. (2011). Multimodal human–computer interaction technologies. Theoretical modeling and application in speech processing. Argumentum 7, 240–260.

� Liikkanen, L. A. – Jacucci, G. – Huvio, E. – Laitinen, T. – André, E. (2008). Exploring emotions and multimodality in digitally augmented puppeteering. System, 339-342.

23

KÖSZÖNÖM A FIGYELMET!FIGYELMET!