Sustav za prepoznavanje gesti ruku temeljen na podacima s

mikrokontrolerske pločice i neuronskoj mreži

Student: Eugen Vušak

Mentor: doc. dr. sc. Alan Jović

Završni rad br. 5372

5. 7. 2018.

Internet stvari

Pametne kuće

Ekspresivnost ruku

Motivacija

Uređaj za dohvaćanje podataka

Aplikacija za prikupljanje podataka

Neuronska mreža

Aplikacija za prepoznavanje u stvarnom vremenu

Sadržaj

Uređaj za dohvaćanje podataka

MPU-6050 Arduino Nano

gumb LED

∑ ∑a

z-1

x(n) + y(n)

+

+

-

𝑦[𝑛] = 𝑦[𝑛 − 1] + [( 𝑥[𝑛] − 𝑦[𝑛] ) / 𝐶 )]

∑ ∑a

z-1

x(n) + y(n)

+

+

-

𝑦[𝑛] = 𝑦[𝑛 − 1] + [( 𝑥[𝑛] − 𝑦[𝑛] ) / 𝐶 )]

Data smoothOut(Data raw) { return smoothData.add(raw.sub(smoothData).div(smoothStrength));

}

∑ ∑a

z-1

x(n) + y(n)

+

+

-

Aplikacija za prikupljanje podataka

UređajAplikacija za

prikupljanje podataka.csv

P Jezik Processing

Serijska komunikacija

011010

Iscrtavanje u stvarnom vremenu

Neuronska mreža

• Unaprijedna arhitektura

• Gradijentni spust

• Algoritam propagacije pogreške unatrag

......

360

...

100

...

12

• Unaprijedna arhitektura

• Gradijentni spust

• Algoritam propagacije pogreške unatrag

Na ispitnom skupu od 281 primjera točnost je 91.429%

Epoha

Pogr

eška

Aplikacija za prepoznavanje u stvarnom vremenu

Demo

Što dalje?