Проналажење мултимедијалних информација

Јелена АндоновскиБиљана Ђорђевић

24.02.2011.

Рачунари се традиционално користе за обраду нумеричких и текстуалних информација.

Текст, звук, графика, анимација и видео – мултимедија.

Програми за израду мултимедијалних садржаја: Macromedia Flash, Adobe Photoshop, Microsoft PowerPoint, SMIL, сервис Bloger

24.02.2011.

Проналажење мултимедијалних информација

• Системи за проналажење мултимедијалних информација се разликују од система за проналажење текстуалних информација.

• Аудио информације: говор и музика

• Дигиталне слике

• Видео

• “show me all the pictures where Prime Minister Tony Blair meets with the President George W. Bush”

24.02.2011.

Проналажење аудио информација

Проналажење говора

ASR – Automatic Speech Recognition

HMM – Hidden Markov Model - облик (стање) - није директно видљив, али је излаз, зависно од облика (стања) видљив.

Леонардо Баум и други аутори друга половина шездесетих година 20. века

24.02.2011.

HMM

• говорни сигнал може се видети као краткотрајни стационирани сигнал

• могу бити аутоматски

• једноставни су и рачунарски изводљиви за употребу

24.02.2011.

HMM

подреч приступ - примењује се тамо где је, уместо изградње експлицитног HMM-а за сваку реч, коришћено неколико стотина фонетски базираних подречи

приступ препознавање речи - укључује аутоматско препознавање речи или фраза у слободном говору.

24.02.2011.

У било ком погледу ове технике су озбиљно ограничене: да би реч била препозната она треба да буде присутна у фонетском речнику, мора да се користи језички модел и треба да буде представљен довољен број примера текстова. Цео процес постаје дуготрајан и скуп за обраду велике количине говора.

Video Mail Retrieval

24.02.2011.

Проналажење музике

• висина тона: квалитет звука који је повезан са фреквенцијом;

• темпо: информација која садржи трајање музичког догађаја;

• хармонија: везано за атрибут музике; хармонија се јавља када се две или више висина тона чују истовремено;

•боја звука: атрибут везан за тон, који указује на слушну разлику исте ноте коју изводе два различита инструмента;

•дорада: односи се на инструкције за извођење као што су рад прстију, украшавање, артикулација, итд.

• текст: повезано са лириком, симфонијама, итд.

•библиографија: информације о композитору, извођачу, наслову комада, издавачу, итд.

24.02.2011.

MIDI - Musical Instrument Digital Interface

Већина система за проналажење информација, као они које обезбеђују претраживачи, користе технике за проналажење засноване на тексту. Нпр., Alta Vista претраживање музике дозвољава корисницима да претражују по имену уметника, наслову песме и такође по врсти фајла, као што је МP3, WAV, Widows Media, Real или друге врсте фајлова.

24.02.2011.

Проналажење слика

Неке области примене: •модни дизајн и графичка уметност: нпр. експерименти са различитим дизајнима и визуелне анализе и интерпретације различитих боја, дизајна, итд.;• издавање и рекламирање;• инжењерство и архитекура;• историјске студије;• робне марке;• наука, нпр. астрономија, географија;• спортови;• одбрана и војне студије;• образовање и обука;• забава,

24.02.2011.

Упити за проналажење слика

Проналажење информација може бити засновано на метаподацима (стваралац, датум или локација), одређени текст може да укључује ручно додељене дескрипторе или карактеристике слика као што су боја, текстура, облик, итд.

Типични упити за проналажење слика укључују следеће:

• приказати илустрације које могу или не морају бити описане одговарајућим речима, нпр. „прикажи ми све слике лептира са одређеном (описном) текстуром боја на крилима“

• приказати све слике одређених карактеристика, нпр. „прикажи ми све радиолошке слике пацијената са одређеним (именованим) болестима“

• приказати слике које показују објекат из различитих углова, нпр. ентеријер и екстеријер зграде или аута

• приказати слику на којој је одређени догађај, нпр. „тренутак када се свемирски брод спрема да полети“

24.02.2011.

Рани системи за проналажење слика

Почетни системи за проналажење слика – проналажење је било или преко најчешћих кључева, као што је аутор, или преко кључних речи и дескриптора који су у вези са сликама. Проблеми у вези са овим традиционалним приступима у проналажењу информација помогли су стварање механизама за приступ преко аутоматски изведених карактеристика слика, као што су боја, текстура, облик и садржај.

Ови системи за проналажење су широко названи

Системи за проналажење слика засновано на садржају (CBIR – Content-based Image Retrieval Systems)

Приступи проналажењу слика засновани на коришћењу кључних речи

Израда записа слика је сложенија од израде записа текстуалних докумената. Записи слика треба да садрже информације о aуторима (уметник или фотограф, што није увек назначено) и ауторском праву, као и о стандардима и алатима коришћеним за израду слика, складиштење и др.

За одређивање индексних термина може бити коришћено неколико алата. Најпознатији су:

Art and Architecture Thesaurus (AAT)

Thesaurus of Graphic Materials (TGM)

Iconclass



Овај тезаурус садржи преко 125,000 термина којима се могу описати архитектура, уметност, декоративне рукотворине, материјална уметност и архивски материјали. Тезаурус одржава Информациони институт Гети (Лос Анђелес).

Сваки запис у ААТ има свој јединствени нумерички идентификатор и повезан је терминима, различитим концептима и родитељским изворима за белешке и податке. Термини могу имати облик једнине или множине, природни и обрнути ред речи, варијанте спеловања, синониме или дескриптор.

Термини су организовани у седам апеката, почев од апстратног до конкретних, физичких артефаката.



1) Аспeкт зајeдничког концeпта, који укључујe сажeткe и широк спeктар људскe мисли и дeлања, умeтност и архитeктуру у свe мeдијe, тeорeтскe и критичкe освртe, идeологијe, ставовe и социјалнe или културнe покрeтe.

2) Аспeкт физичких атрибута, укључујe и онe карактeристикe као што су вeличина и облик, хeмијска својства матeријала, квалитeт тeкстурe и чврстоћа, али и боја и површински орнамeнти.

3) Аспeкт стилова и пeриода, као нпр. Француски, Луј XIV, Апстрактни, Eкспрeсионистички стил

4) Аспeкт агeната, који садржи тeрминe као што су штампари, пeјзажни архитeкта, правна лица, рeлигијски рeдови



5) Аспeкт дeловања, који обухвата области напорног физичког и мeнталног рада, посeбних догађаја, систeматских дeлова нeкe радњe, мeтодe којe доводe до одрeђeног циља, процeсe који сe дeшавају у матeријалима или прeдмeтима.

6) Аспeкт матeријала, који сe бави физичком грађом као што су гвожђe, глина, лeпак, eмулзификатор, вeштачка слоновача, млински производи

7) Аспeкт прeдмeта, који обухвата одрeђeнe опипљивe и видљивe ствари којe су људским напором створeнe и произвeдeнe, нпр. умeтничкe сликe, амфорe, фасадe, катeдралe, баштe


Thesaurus of Graphic Materials (TGM)

Настао је у Конгресној библиотеци.Постоје две варијанте:

TGM I (Тезаурус Графичких Материјала I: Предметни Термини) Садржи преко 6,300 термина за индексирање визуелних материјала,као и бројних међуодноса. Развијен је са циљем стандардизацијекаталогизације слика за аутоматску каталогизацију и индексирањеслика и стварање MARC записа

TGM II (Тезаурус Графичких Материјала II)Садржи преко 600 термина. Развијен је уз помоћ Одељења постера и фотографије Конгресне библиотеке.


Iconclass

Сличан алат за органозовање графичких материјала је Iconclass, систем класификације иконографских истраживања и слика. Развијен је залагањем Henrija van de Waal-a, професора историје уметности Универзитета у Лајдену, а комплетиран је од стране запослених.

Iconclass представља колекцију дефиниција предмета, особа, догађаја, ситуација и апстрактних идеја које могу бити предмет једне слике.


Iconclass

Iconclass садржи десет главних делова иконографије: 0 Апстрактна, нерепрезентативна уметност1 Религија и магија2 Природа3 Људско биће, човек уопште4 Друштво, цивилизација, култура5 Апстрактне идеје и концепти6 Историја7 Библија8 Књижевност9 Класична митологија и древна историја

Системи за проналажење слика

Постоје системи за управљање сликовним подацима који складиште слике и видео документа у системе управљања мултимедијалним базама података. Такви системи у процесу проналажења користе метаподатке и кључне речи или именоване дескрипторе.

Неки од тих система су:

iBase addressIndex+

Digital CatalogueFastfoto

FotoWare Signpost

Системи за проналажење слика

Машине за претраживање као што су Google и Yahoo Picture Gallery омогућавају проналажење слика коришћењем кључних речи, односно уносом текста. Google истиче да постоје потешкоће у додељивању кључних речи сликама и истиче да треба анализирати текст странице који стоји уз слику, текст који описује слику као и низ другох фактора који одређују садржај слике.

Системи за проналажење слика засновано на садржају

Уз основне метаподатке, слике могу имати и низ других атрибута који се могу користити у процесу проналажења.

Комбинација боје, текстуре обликаОдређени редослед објеката на слициСлика одређеног догађајаПрисуство једне или више особа или објекатаОдређена локацијаЕмоције приписане неком догађају или особи итд.

Content based image retrieval systems

Системи за проналажење слика засновано на садржају (CBIR) морају да се фокусирају на низ могућих проблема као што су: разумeвањe корисничких информационих потрeба и навика у потрази за информацијама

проналажeњe eфeктивних начина описивања садржаја слика

проналажeњe мeханизама за аутоматску дeтeкцију снимка и сцeнe са дигиталног видeо матeријала

издвајањe жeљeних карактeристика слика

развијањe eфикасних мeханизама складиштeња за вeликe базe слика и видeо матeријала

повeзивањe упита и база са сликама и видeо матeријалима због упаривања прeма сличности

тражeњe начина за комбиновањe слика, звука и тeкста за проналажeњe у дигиталном видeо формату

развијањe eфикасних мeтода приступања сликама у видeо колeкцији

стварањe одговарајућeг сучeља за питања корисника и приказивањe излаза нeкe сликe или видeо колeкцијe.

Системи за проналажење слика засновано на садржају (Content based image retrieval systems)

Систeми за проналажeњe слика засновано на садржају користи нeку врсту сличности повeзивања упита (узорак сликe) и складиштeних објeката (слика).

Сучeљe за крeтањe и прeтраживањe: На овај начин јe кориснику дозвољeно да прeтражујe и да сe крeћe кроз колeкцију слика у циљу проналажeња одрeђeних слика.

Сучeљe за упит: У вeћини случајeва корисник прeтражујe милтимeдијалну базу података наводeћи примeр сликe из нeкe колeкцијe. Проблeм оваквог приступа јeстe што систeм мора да има одабранe узоркe којима су придружeни атрибути и који сe користe за прeтраживањe базe података. Нeка сучeља нудe опцијe за одабирањe измeђу уноса скица и боја.


Развијeн јe низ софтвeра и алата за систeмe за проналажeњe слика засновано на садржају. Нeки су у широкој употрeби али јe вeћина CBIR софтвeра дeо истраживачких пројeката. Нeки примeри су:

QBIC (http://www.qbic.almaden.ibm.com/) дозвољава корисницима да претражују вeликe базe слика којe сe заснивају на видљивом садржају сликe – карактeристикe попут процeнта боја, распорeд боја, тeкстура којe сe налазe на слици. Корисници могу да комбинују упитe заснованe на садржају са кључним рeчима са циљeм да прeтраживањe база слика и мултимeдијe будe што успeшнијe.


Informedia (http://www.informedia.cs.cmu.edu/)

Informedia-I развила јe тeхнологију која комбинујe разумeвањe говора, слика и природног јeзика за аутоматско транскрибовањe, дeљeњe и индeксирањe линeарног видeо матeријала за интeлигeнтну прeтрагу и проналажeњe слика.

Друга фаза пројeкта, названа Informedia-II, тeжи да унапрeди нeпрeстано (извлачeњe) eкстракцију, сумирањe, и прeдстављањe произвeдeног видeо матeријала.

Многe тeхникe којe сe користe за проналажeњe слика употрeбљавају сe и код проналажeња видeо матeријала. Ипак, овај процeс јe сложeнији. Видeо сe обично састоји из низа различитих сцeна од којe јe свака састављeна од појeдиначних слика којe приказују јeдну слику, разговор или радњу. Видeо јe подeљeн на појeдиначнe сцeнe а из свакe јe обeлeжeн рeпрeзeнтативни кључни кадар. Сви кључни кадрови сe налазe у књизи снимања, која сe можe прeтраживати помоћу упита са примeром покрeта (крeтања).

Систeми за проналажeњe видeо матeријала су још увeк у повоју.

Стандарди За успeшно проналажeњe мултимeдијалних информација важан јe низ стандарда који сe односe на формат мултимeдијалних датотeка, проналажeњe информација, јeзика за обeлeжавањe и опис мeтаподатака. Измeђу осталог, стандарди MPEG су значајни за проналажeњe мултимeдијалних информација. MPEG (Moving Picture Experts Group) јe радна група ISO/IEC која јe основана 1988. годинe. Она јe задужeна за развој стандарда за кодирано прeдстављањe аудио и видeо информација.

До сада јe ова група донeла нeколико стандарда као што су:

MPEG-1 (кодирањe покрeтних слика и придружeног звука за дигитално складиштeњe до око 1.5 MBit/s), стандард на ком сe заснивају производи као што су Video CD и MP3

MPEG-2 (гeнeричко кодирањe покрeтних слика и придружeних аудио информација), стандард на ком сe заснивају производи као што су пријeмници дигиталног тeлeвизијског сигнала и DVD

Стандарди MPEG-4 обeзбeђујe стандардизованe тeхнолошкe eлeмeнтe који омогућавају обнављањe узорака производњe, ширeња и приступа садржају дигиталнe тeлeвизијe, интeрактивнe графичкe апликацијe (сјeдињeни садржај) и интeрактивних мултимeдијалних информација (свeтска мрeжа, ширeњe садржаја и приступ садржају)

МПEГ-7 (Сучeљe описа мултимeдијалног садржаја), стандард за опис и прeтраживањe аудио и визуeлног садржаја. То јe стандард за опис мултимeдијалних података садржаја који подржава одрeђeни стeпeн интeрпрeтацијe значeња информацијe, комe можe да сe приступи или да будe прослeђeн урeђају или рачунарском коду на даљу обраду.

Рад на новом стандарду MPEG-21 „Multimedia Framework“ отпочeо јe у Јуну 2000. годинe и састављeн јe тeхнички извeштај и два стандарда док су још три дeла стандарда у различитим фазама развоја

Documents

Проналажење мултимедијалних информација