SPEECH ANALYTICS inDIGITAL-ERA MARKETING

dr. sc. Branimir DropuljićData Scientist

e-mail: branimir.dropuljic@in2data.eu

IN2data d. o. o.

Marketing

• Poruka

• Vizualni efekti (predmeti, boje, dinamika)

• Držanje, gestikulacije, mimika

• Zvučni efekti

• Glas ?

The most boring commercial ever!!!https://www.youtube.com/watch?v=_bXw4I6UqZs

Old Spice commercialhttps://www.youtube.com/watch?v=m4HUilNBOKU

Dobar glas daleko se čuje

Što (i koliko) doprinosi utjecaju naše poruke ?– Govor tijela (prvenstveno pozitivne facijalne ekspresije) - 55 %

– Način govora - 38 %

– Riječi koje izgovaramo – 7 %

Što razlikuje dobrog od lošeg prodavača ?– Vokalna raznovrsnost (vs. monotonost)

– Voice quality

– Ugodan glas, dojmljiv, karizmatičan (boja glasa)

Dobar dan, ja sam agent kontaktnog centra i moja vokalna karakteristika govori vam sljedeće …

[monoton (flat) glas] … dosadno mi je i apsolutno me ne interesirato što mi govorite.

[spor i dubok glas] … malo sam spor i ne znam baš što radim.

[brz govor] … ja sam salesman—stereotipni, brzo pričam i neslušam vas.

[naglo ubrzan i glasan govor] … ljut sam i ne baš otvoren za dijalog.

[izgovaranje 140 do 160 riječi u minuti] … profesionalac. Znam ivjerujem u ono što radim.

[lagano užurban glas na početku dijaloga] … neću uzalud trošitivaše vrijeme.

PA JE LI JE LI MOJA SESTRIČNA MOJ ROĐAK ŠUNJEVIĆ PA JESMO LI MI LI KORLEONEOVI

Ilustracija akustičkih i lingvističkihznačajki govora

speech signal

tokens – textual units(n-grams)

speech intensity(energy)

zero-crossings rate(ZCR)

fundamental frequency(F0)

spectral distribution(spectrogram):

• harmonic structure• formant structure

voiced phones voicless phones

Probability: voiced / unvoiced

Primjer: Mishandled callCall Center in the Philippines

https://www.youtube.com/watch?v=yfiGSb1brS0

Mishandled call (Voice quality analysis)

Customer: OK, done.

Customer: Done! Now what?

Agent: OK, please pair it with your phone.

Mishandled call (2D feature space)F0 (speech fundamental frequency) and HFP (high-frequency power)

neutral voiceregion

tense voiceregion

Blokovska struktura sustava

1. F0, intensity, speech rate, spectrogram etc.

2. happiness, sadness, fear, anger etc.

3. valence, arousal

4. stress level

5. whispery voice, breathy, tense, harsh, creaky, falsetto etc.

6. Additionally:1. engagement level2. sentiment analysis3. vocal variety analysis4. satisfaction, enthusiasm5. fatigue etc.

(J. Kane, “Tools for analysing

the voice,” PhD Thesis, 2012)

1

2 3

4

5

Estimacija razine stresa (data mining)- govornik AP (Toastmasters; 8 govora)

• 478 acoustic speech features

– Relief method: selection of 250 most relevant features (input: observation vector)

• Support vector machines: classification (SUD scale 3 classes: low, medium, high stress)

– Accuracy: 92.8%; Recall: Low stress: 92.98%; Mid stress: 95.97%; High stress: 80.74%

• Support vector regression: SUD scale stress level [2, 7]

– Mean squared error: 0.4754

1st sp. 2nd sp. 3rd sp. 4th sp.

6th sp. 7th sp. 8th sp. 9th sp.

all 8 speeches

Primjena – Kontaktni centri /Pozivni centri / CRM

• Unaprjeđenje performansi prodaje.

– Bolji uvid agenta u zainteresiranost korisnika za uslugu.• Identifikacija up-sell i cross-sell mogućnosti.

– Poboljšanje efikasnosti i prodajnih vještina agenata – naprednija obuka.• Analiza ugode glasa agenta, analiza kvalitete glasa, brzine govora, vokalne raznovrsnosti

itd.

• Pomoć agentu u ranom prepoznavanju emocionalnog stanja korisnika.

• Unaprjeđenje korisnikovogiskustva.

Primjena – Reklame

• Efekt/kvaliteta reklame na temelju analize glasa.

– Analize zvučnih efekata.

• Emocije u glasu – mirror neurons – emocionalni impactreklame.

• Post processing glasa – optimizacija željenog efekta.

IN2data Ltd Data Science Company | Marohnićeva 1/1 Croatia, Zagreb | www.in2data.hr