„Hands Up!”

Kézmozdulat felismerő rendszer

Jelenlegi iskola:Budapesti Műszaki Főiskola – Neumann János Informatika Kar - Szoftvertechnológia Intézet – Informatikai Automatizált Rendszerek

Szakirány

Érdeklődési kör: zene, képfeldolgozás

Bemutatkozás

22 / 2

Valós idejű gitár szimuláció Szórakoztató, interaktív formában

Célkitűzés

22 / 3

Rendszer áttekintés

Előfeldolgozás

Értelmezés

Kamera kép

Előfeldolgozott kép

Pengetés esemény

Előállt hang Hang előállítás

22 / 4

Előfeldolgozás

Simítás

HSV konverzió

Szegmentálás

Előfeldolgozás

Ablakok pozícionálása

Értelmezés

Kamera kép

Előfeldolgozott kép

Pengetés esemény

Előállt hang Hang előállítás

22 / 5

Képinformáció értelmezése

Simítás

HSV konverzió

Szegmentálás

Előfeldolgozás

Ablakok pozícionálása

Értelmezés

Lefogott hang kiszámítása

Pengetés esemény felismerése

Kamera kép

Szegmentált, konvertált kép

Kéztávolság és pengetés esemény

Előállt hang Hang előállítás

22 / 6

Hang előállítása

Simítás

HSV konverzió

Szegmentálás

Előfeldolgozás

Ablakok pozícionálása

Értelmezés

Lefogott hang kiszámítása

Pengetés felismerése

Kamera kép

Szegmentált, konvertált kép

Kéz távolság és pengetés esemény

((()))

Hang előállítás

Gitárnyak szimulálás (érintőkre számolás)

Kiválasztott gitárnyak, skála, elrendezés

Hangmagasság, megfelelő fájl kiválasztása

Hangbank

22 / 7

RGB színtér

HSV színtér

SzínterekKonverzió:V = MAX(R, G, B);delta = MAX(R, G, B) - MIN(R, G, B);S = delta / V; IF (R == MAX(R, G, B)) THENH = (G - B) / SIF (G == MAX(R, G, B)) THENH = 2 + (B – R) / SIF (B == MAX(R, G, B)) THENH = 4 + (R – G) / SH = H / 6

22 / 9

Szegmentálás

22 / 10

Hisztogram alapú szegmentálás

Lokális szegmentálás

Fix küszöb

Bőrszín statisztikája Hisztogramban tároljuk a bőrszínről vett

adatokatÖsszevetjük a kép pixeleit a

hisztogrammalStatisztikai adatokszürkeárnyalatos kép

Objektum keresés

22 / 12

Súlypont számolása CamShift algoritmussalÍgy meg lesz egy pontunk, amiből

tudunk következtetni a kéz helyzetére Gradiens hisztogramok használata

kutatás alatt

Kéz meghatározása

22 / 13

Képkockánként szegmentálás

Egymást követő képkockák különbsége

Objektum követés konstans háttérrel

Objektum követés megadott régióban

Objektum követés

22 / 14

A bal kéz pozíciója alapján ki tudjuk számolni, hogy hanyadik érintőnek megfelelő helyen lenne egy gitár nyakán

A jobb kéz mozgása alapján tudunk következtetni a pengetés eseményére

Kéz pozicionálás

22 / 15

„Hangbank” alkalmazásávalTömörített wav fájlok, felvéve gitárrólKönnyen bővíthető, kevésbé terheli a

CPU-t24-36 fájl kell a megfelelő

terjedelemhez/hangzás

Ebből beállítások után „keletkezik” az aktuális gitár hangbázisaSkálák, alaphang

Hangstruktúra

22 / 16

Maga a hang kezelése DirectSoundon keresztül történikJobban kihasználja a számítógép

erőforrásaitEgyéb funkciókkal további testre szabási

lehetőségek (pl. hangerő, panning, effektek...)

Legtöbb gépen megtalálható, mivel a DirectX része

DirectSound

22 / 17

A hangok tiszta csatornás gitárhangok

Tömörítési eljárások közül többet próbáltunkMS ADPCM lett a legoptimálisabb44 Khz, mono, 180 kbps

mintavételezéssel 200 kByte-os file-ok

Hangformátum

22 / 18

Célkitűzés Bemutatkozás Rendszerterv

Rendszer áttekintés Előfeldolgozás Képinformáció értelmezése Hang előállítás

Irodalomkutatás Szűrés Színterek Szegmentálás Objektum keresés

Objektum követés Kéz pozicionálás Hangstruktúra Direct Sound Összegzés Tartalomjegyzék Köszönetnyilvánítás Készítők

Tartalomjegyzék

22 / 20

A team nevében köszönöm a figyelmet!

22 / 21

Bónis Balázs

Gyöngyi Lajos

Szabó Attila

A projektet készítették:

http://iar.bmfnik.hu/2008_2009/hands_up/