Embed Size (px)
Citation preview
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
1 / Ges
Evaluation des sprachgesteuerten Assistenten Jasper
Evaluation des sprachgesteuerten Assistenten Jasper
Eröffnungsvortrag zum Hauptseminar
Bearbeiter: Johannes TrispelBetreuer: Dipl.-Inf. Steffen MüllerBetreuender Hochschullehrer: Prof. Dr. H.M. GroßDatum: 19.06.2014
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
2 / Ges
GliederungGliederung
1. Motivation
2. Vorstellung des Systems1. Funktion
2. Software: Jasper
3. Hardware
3. Schwierigkeiten
4. Ausblick
5. Quellen/Links
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
3 / Ges
SERROGA Schnittstelle Mensch-Maschine
MotivationMotivation
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
4 / Ges
Spracherkennung Sprachsynthese Open Source Lizenz: MIT Python
Funktionen und SystemFunktionen und System
Dictionary
Language Model
CMUCLMTK Pocketsphinx espeakPhonetisaurus
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
5 / Ges
Wetter, Email Posteingang, etc. in jeweils ein Modul „Hotwords“ für jedes Modul
Standard Module1. Aktivierung: „Jasper“ -> Beep
2. Spracheingabe
3. Verarbeitung
4. Sprachausgabe
Notification Module1. NotificationClient
2. Verarbeitung
3. Sprachausgabe
Funktion/APIFunktion/API
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
6 / Ges
Beispiel: ModulBeispiel: Modul
WORDS = ["MEANING", "OF", "LIFE"] def isValid(text): return bool(re.search(r'\bmeaning of life\b',
text,re.IGNORECASE))
def handle(text, mic, profile): message = "It's 42“ mic.say(message)
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
7 / Ges
Software: JasperSoftware: Jasper
boot
Vocabcompiler
main, conversation
„Jasper“?
brain
for each module
Hotword && valid inputmic.passiveListen
mic.activeListen
module.handlejanein ja
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
8 / Ges
Software: JasperSoftware: Jasper
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
9 / Ges
700 MHz CPU 512 MB RAM Preis: 35€
Hardware: Raspberry PiHardware: Raspberry Pi
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
10 / Ges
Hardware: SetupHardware: Setup
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
11 / Ges
Kompilieren der Tools- Dauer- openFST
Fertiges Linux-Image Sprachqualität & Erkennung bisher nur Englisch Erkennungsdistanz
SchwierigkeitenSchwierigkeiten
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
12 / Ges
Verwendbarkeit im Projekt SERROGA- Verbesserungen an der Hardware (z.B. Mikrofon)
Fortschritt der Entwicklung
Evtl. Vergleich mit „Julius“
AusblickAusblick
Joh
an
nes T
risp
el:
Evalu
ati
on d
es
spra
chgest
euert
en A
ssis
tente
n Jasp
er
FG
Neu
roin
form
ati
k &
Kog
nit
ive R
ob
oti
k
13 / Ges
http://jasperproject.github.io/ https://github.com/jasperproject/jasper-client http://www.raspberrypi.org/
Quellen/LinksQuellen/Links
