Optičko prepoznavanje glazbenog crtovlja

Optičko prepoznavanje glazbenog crtovlja

Dragan LesićBojan Oblučar

Optičko prepoznavanje glazbenih nota (OMR)• Prevođenje notnog zapisa u elektronički oblik i smještanje u

korisniku razumljiv kontekst• Niz manjih procesa analize i obrade podataka: - prilagodba slike za obradu - otklanjanje šuma - ekstrakcija superponiranih objekata - prepoznavanje elemenata sa slike - usporedba s postojećom bazom podataka - klasifikacije elemenata u razrede

Predprocesiranje ulaznih podataka• Ulaz: slika u RGB formatu koja je skenirana, uslikana

fotoaparatom, mobitelom itd.• Problem: nakrenutost slike, svijetla i tamna područja, niska

rezolucija, loša preglednost.• Obrada: označiti područje od interesa i otkloniti šum.• Detekcija elemenata: glazbeno crtovlje i note• Na temelju nakrenutosti crtovlja od ravnine možemo saznati

nakrivljenost slike• Ekstrakcija superponiranih elemenata

Ekstrakcija glazbenog crtovlja i nota• Odvojiti note i ostale pomoćne oznake od glazbenog crtovlja• Zapis nije savršen: linije su nejednolike debljine (staff line

height), međusobno su neravnomjerno udaljene (staff space height), zakrivljene itd.

• Potrebno je ekstrahirati crtovlje bez zadiranja u ostale elemente.

• Moguće je rasporediti elemente glazbenog zapisa u dvije skupine ovisno o njihovom položaju:

• horizontalno posloženi elementi: glazbeno crtovlje• Vertikalno posloženi elementi: note

Ekstrakcija glazbenog crtovlja i nota

Ekstrakcija glazbenog crtovlja i nota• Dvodimenzionalni waveleti• Uklanjanje šuma• Dekompozicija slike na 3 sastavna dijela u više željenih razina: - horizontalno - vertikalno - dijagonalno• Baš ono što nam treba! Sad možemo rastaviti sliku i odovjiti

komponente

Uklanjanje šuma

Računanje parametara

Wavelet analizaWavelet razlaganjeHaar, nivo 1

uklanjanje šumametodom praga

maskiranje

razdvajanje

Logičko “I” spajanje

AND

Detekcija linija

Druga derivacija(idealni slučaj)

Rezultati detekcijeIme slike

Broj pogrešaka„I“ ujedinjena Pozitivni dio w.p. Negativni dio w.p.

Slika_01 1 1 1Slika_02 1 0 2Slika_03 0 0 0Slika_04 9 >10 >10Slika_05 1 3 2Slika_06 3 >10 >10Slika_07 0 2 >10Slika_08 1 2 5Slika_09 2 5 4Slika_10 0 0 0Slika_11 0 0 1Slika_12 0 2 3

UKUPNO 18 >35 >49

Utjecaj rezolucije

Visoka rezolucija1110x1440

Niža rezolicija771x1000

Zaključak• wavelet analiza pomaže pri detekciji glazbenih linija na način

da se koristi kao alat za pretprocesiranje. Tako se može smanjiti šum na slici koji često utječe na krive rezultate detekcije

• može se koristiti za uklanjanje glazbenih simbola različitih od notnog crtovlja (note, tekst, oznake)

• Rezultat pretprocesiranja pomoću waveleta može se koristiti na razne načine kako bi se povećala točnost detekcije

• na rezultat detekcije također utječe rezolucija analizirane slike.