RAZPOZNAVANJE NOTNEGA ZAPISA Z RAŒUNALNI KIM VIDOM

  • View
    48

  • Download
    0

Embed Size (px)

DESCRIPTION

RAZPOZNAVANJE NOTNEGA ZAPISA Z RAČUNALNIŠKIM VIDOM. Diplomska naloga. Avtor: Matej HROVAT. Mentor: prof. dr. Aleš LEONARDIS. Cilj razpoznavanja not ali OMR ( Optical Music Recognition ). Eine_kleine_Nachtmusik.mid. Analiza TISKANIH KLAVIRSKIH NOT. - PowerPoint PPT Presentation

Text of RAZPOZNAVANJE NOTNEGA ZAPISA Z RAŒUNALNI KIM VIDOM

  • RAZPOZNAVANJE NOTNEGA ZAPISA Z RAUNALNIKIM VIDOM

    Diplomska nalogaAvtor: Matej HROVATMentor: prof. dr. Ale LEONARDIS

  • Cilj razpoznavanja not ali OMR (Optical Music Recognition)Eine_kleine_Nachtmusik.mid

  • Analiza TISKANIH KLAVIRSKIH NOTSegmentacija slike poteka v treh programskih modulih:Sedemkorakov analize:1. Izloanje vrstic2. Izloanje rtovja3. Iskanje povezanih rnih podroij4. Iskanje notnih primitivov5. Sestavljanje fragmentiranih objektov6. Sestavljanje objektov iz primitivov7. Prevajanje podatkov v raunalniki format

  • Analiza TISKANIH KLAVIRSKIH NOTSegmentacija slike poteka v treh programskih modulih:Sedemkorakov analize:1. Izloanje vrstic2. Izloanje rtovja3. Iskanje povezanih rnih podroij4. Iskanje notnih primitivov5. Sestavljanje fragmentiranih objektov6. Sestavljanje objektov iz primitivov7. Prevajanje podatkov v raunalniki format

  • Analiza TISKANIH KLAVIRSKIH NOTSegmentacija slike poteka v treh programskih modulih:Sedemkorakov analize:1. Izloanje vrstic2. Izloanje rtovja3. Iskanje povezanih rnih podroij4. Iskanje notnih primitivov5. Sestavljanje fragmentiranih objektov6. Sestavljanje objektov iz primitivov7. Prevajanje podatkov v raunalniki format

  • Korak / 7:1Iskanje premic rtovja s Houghovo transformacijo r = x cos() + y sin() za vsak [00, 3600]IZLOANJE VRSTIC

  • Iskanje premic rtovja s Houghovo transformacijoKorak / 7:1IZLOANJE VRSTIC Lokalni maksimumi Houghovega transforma klavirske skladbe:a) Enak kot (rotacija strani) =0 b) Nastopajo v gruah po 5

  • Izloanje najdene vrsticeKorak / 7:1IZLOANJE VRSTIC 900 > 900

  • Korak / 7:2IZLOANJE RTOVJAIZ VRSTICE Iskanje rt s horizontalno projekcijo

  • Korak / 7:2IZLOANJE RTOVJAIZ VRSTICE Oznaevanje rte s kvadratnim oknomSlika v oknu, ki pomeni delek rte

  • Korak / 7:2IZLOANJE RTOVJAIZ VRSTICE Oznaevanje rte - interpolacija med dvema oknoma

  • Korak / 7:2IZLOANJE RTOVJAIZ VRSTICE Oznaevanje rte - interpolacija med dvema oknoma

  • Korak / 7:3ISKANJE POVEZANIH RNIH OBMOIJObmoja poiemo s polnilnim algoritmom 4-FloodFill

  • Korak / 7:4ISKANJE PRIMITIVOV Primitivi - elementarni objekti Neposredno ujemanje Ujemanje vzorcev Procesiranje kombiniranihMonosti iskanja:

  • Korak / 7:4ISKANJE PRIMITIVOV Nain iskanja 1/3: Neposredno prepoznavanjePrimitivi, prepoznavni po globalnih znailkah

  • Korak / 7:4ISKANJE PRIMITIVOV Nain iskanja 2/3: Ujemanje vzorcev Znak razdelimo na m x n regij Sivinske nivoje pretvorimo v vektor znailk Vzorci so shranjeni v podatkovni bazi

  • Korak / 7:4ISKANJE PRIMITIVOV Nain iskanja 2/3: Ujemanje vzorcevRazlika vektorjev:

  • Korak / 7:4ISKANJE PRIMITIVOV Nain iskanja 2/3: Ujemanje vzorcev Ujemanje potrjeno, ko je DNORM < Treshold Primer na sliki: DNORM = 0,061

  • Korak / 7:4ISKANJE PRIMITIVOV Nain iskanja 3/3: Procesiranje kombiniranih simbolov Odstranimo vertikalne linearne segmente Preostale objekte poljemo v ponovno obdelavo

  • Korak / 7:5SESTAVLJANJE FRAGMENTIRANIH SIMBOLOV Fragmentacija - razpad nekega simbola zaradi odstranitve drugegaReitev - iskanje simbola v izvirni sliki

  • Korak / 7:6SESTAVLJANJE PRIMITIVOV in SEMANTIKAa) Primitivi, ki se ne dotikajo drugihb) Sestavljanje primitivov not

  • Korak / 7:7PREVAJANJE V RAUNALNIKI FORMAT MIDI ali NIFF datoteka OCR aplikacija - kodiranje informacij o izvajanju skladbe

  • R E Z U L T A T ITestni primer 1: J. S. Bach, Das Wohltemperierte Klavier I:Praeludium II, vrstica 1

  • R E Z U L T A T ITestni primer 2: Scott Joplin, The Entertainer, vrstica 1

  • R E Z U L T A T ITestni primer 3: W. A. Mozart, Eine kleine Nachtmusik -Romanze: Andante, vrstica 7

  • R E Z U L T A T ITestni primer 4: J. S. Bach, Das Wohltemperierte Klavier I:Fuga VII, vrstica 5

  • PRIHODNJI RAZVOJCilj: uinkovit komercialen OMR program tevilo in tip rtovij v vrsticah Dotikajoi in prekrivajoi se simboli Optimizacija baze podatkov Izboljano semantino preverjanje Prevajanje v raunalniki format