37
تصویرابی بازینده ده ارائه: حافظ مقدسیستاد مربوطه ا: دکتر صدقی جناب آقای

Image retrieval

Embed Size (px)

Citation preview

Page 1: Image retrieval

بازیابی تصویر

حافظ مقدسی: ارائه دهنده

جناب آقای دکتر صدقی: استاد مربوطه

Page 2: Image retrieval

مقدمه

بازيابی تصاوير متنبازيابی مبتنی بر

محتوابازيابی مبتنی بر

چالش بازيابی تصاوير

معیار ربط

رسیستم های بازيابی تصوي

نتیجه گیری

Page 3: Image retrieval

تابشرتمدنآغازازآناستفادهواطالعاتانسانبرایمهممسائلازیکیحاضرعصرهایزمینهدراطالعاتحجمافزایشباوبوده

تبدیلاطالعاتعصربهرادوراناینمختلف،مرتبطاطالعاترساندنعصرایندر.استکردهدرنیازموردافرادبهومناسبزماندردوبارهانجاموزماناتالفازمناسبشکلبهنیازاساساینبر.کاهدمیکاری

مییابیاطالعهایومهارتاصولیادگیری.باشد

مجموعهبهکهیابیاطالعهایمهارتواصولدسترسیشناسایی،براینیازموردهایمهارت

.باشندمیاطالعاتوجستجوی

Page 4: Image retrieval

رااطالعاتاززیادیحجمتواندمیکهاستمنابعازشکلیتصویرعنوانبهتصویر.استبرخوردارخاصیاهمیتازوکندمنتقلروزنامهپزشکی،مانندهارشتهازبسیاریدرارتباطیابزار.کرداستفادهتوانمی...وآموزشنگاری،

Page 5: Image retrieval

محتوابازيابی مبتنی بر

مبتنی بر متنبازيابی

Page 6: Image retrieval

برمی 1992به سال ( بازیابی تصویر مبتنی بر محتوا) CBIRاصطالح بازیابی »برای توصیف پژوهش T. Katoزمانی که توسط . گردد

مورد « خودکار تصویر از پایگاه داده بر مبنای شکل و رنگ. استفاده قرار گرفت

Page 7: Image retrieval

پایگاه داده های تصاویر دیجیتال به سرعت در حال رشد هستند.

نیازهای متخصصان

وبتصاویر در مکان یابی دشواری دردر میان مجموعه ای از کارتون هاTom & Jerryپیدا کردن یک تصویر از : مثال

Page 8: Image retrieval

محتوایاساسبرجستجونام هایباکهCBIR))تصویرمحتوامحوربازیابینیز(CBVIR)دیداریداده هایمحتوامحوربازیابیو((QBICتصویراست،تصویربازیابییمسالهدرماشینبیناییکاربردمی شودشناخته"محتوامحور".بزرگپایگاهدردیجیتالتصویربرایجستجومسالهٔیعنیمانندانسان،توسطشدهوارددادهفوقازاستفادهجایبهجستجویعنیسامانهک.می کنداستفادهتصاویرخودمحتوایازکلیدواژگان،وعنوان

بازیابیکهاستنرم افزاری(CBIRS)تصاویرمحتوامحوربازیابی.می کندپیاده سازیراتصاویرمحتوامحور

Page 9: Image retrieval

Content-based image retrieval (CBIR) is the application of computer vision to the image retrieval problem, that is, the problem of searching for digital images in large databases.

"Content based" بدین معنی ست که جستجو تحلیل محتوای واقعی از تصویرهر گونه اطالعاتی که تصویر از خود Contentمنظور از . خواهد بود

این ویژگی ها می . منظور ویژگی های تصویر می باشد. ارائه می دهد.تواند سطح پایین باشند یا سطح باال

Page 10: Image retrieval

رنگبررسی تصاویر .مشابهت رنگ با محاسبه یک هستوگرام رنگ بدست می آید

بر اساس رنگ آنها حاوی یکی از پر استفاده ترین روش است چرا که در جستجو رنگ معموال مقایسه .اندازه تصویر یا گرایش بستگی ندارد.شدنمودار هیستوگرام رنگ شامل خواهد

هستوگرام یکی از مدل های موثر برای نمایش ویژگی های یک تصویر از یکی از ابزار مناسب برای . قبیل رنگ، بافت، و لبه می باشد

.کاربردهای بازیابی و جستجوی تصاویر می باشد

بافتازاستفاده.نیستندارائهقابلرنگینمایشتوسطکههستندالگوهایبازیابیدرهستندهمسانیرنگدارایکهنقاطیبینبافتشباهت.باشدمیمفیدبسیارعلفوهابرگیاودریاوآسمانمثال

شکلازتعدادیهاروشایندر.باشدمیتصویربازیابیشکلمعروفترین

میجهتواندارهازمستقلکه)تصاویرداخلاشیایمشخصههایویژگیمیانجامآنهابراساسبازیابیوشدهتصویرذخیرههربرای،(باشند.شود

Page 11: Image retrieval

هایسیستمعملکردارزیابیدرکههستندمهمیمعیاردوبازیابیودقتوجودهمدیگریمعیارهای.رودمیبکارمحتوااساسبرتصویربازیابیازدقیقتریاطالعاتو.اندگرفتهنشاتمذکورمعیاردوازکهدارند.کنندمیفراهمبازیابیعملکرد

باشد،0.5بازیافتکههنگامیدقتازمقدارعبارتندمعیارهااینبویژهمقاالتبرخیدرباشدبرابربازیافتباکههنگامیدقتمقدار.استرفتهبکارسیستمشدهاستفادهحساسیتودقتازپزشکی

سیستمارزیابیدررفتهبکارمعیارهایدیگراززمانوهزینهسرعت،.استتصاویربازیابیهای

Page 12: Image retrieval
Page 13: Image retrieval

کاربرپرسش1.

.کندمیاستخراجسوالاينبرایراتصويرهایويژگیسیستم2.

مقایسهپایگاهدرموجودتصاویرهایویژگیدیگرباهاویژگیاین3..شوندمی

.دهدمیارائهکاربربرایرانتایجترینمرتبطسیستم4.

Page 14: Image retrieval
Page 15: Image retrieval

جستجو برای يک تصوير خاص

جستجوی کلی برای انتخاب يک جواب

جستجوی يک تصوير با موضوع گسترده يا جستجو برای نشان دادن يک مدرک

Page 16: Image retrieval

فرآیندمتنبرمبتنیبازیابیدر

ازافزودنبهرهگیریبابازیابی

کلماتعنوان،مانندهاابرداده

بهآنهاانتسابوتوصیفوکلیدی

بامطابقوشودمیانجامتصاویر

ازدریافتیجویوپرسقالبآن،

.باشدمیکلماتبصورتکاربر

هایپایگاهحجمافزایشبهباتوجه

ذهنیوایسلیقهتصویری،داده

وبرزمانهمچنینوهابرچسببودن

متنانتسابفرایندبودنپرهزینه

بهمتنیسازینمایهتصاویر،به

شدهتبدیلناکارآمدنسبتاروشی

.است

Page 17: Image retrieval

Iconography

oپیکرنگاری به معنی شرح و تفسیر آثار در هنرهای تجسمی.

o به معنای روند حاشیه نويسی بشر از تصاوير" پیکرنگاری"در بازيابی تصوير.

oاجتماعی باشد، فضايی، زمانی و ابعاد ذهنیتوصیفهمچنینو توصیف محتوای يک تصوير.

Web Based Image Retrieval

oاوير رويکردهای بازيابی تصوير مبتنی بر وب مجموعه ای از روش های ساخته شده برای سیستم های بازيابی تص.موجود می باشند

Page 18: Image retrieval

Re-Ranking based approaches.می کنند تا رتبه بندی تصاویر بازیابی تالش re-ranking))رویکردهای رتبه بندی مجدد

شده را بوسیله یک سیستم بازیابی تصاویر موجود، بهبود ببخشند امام کارایی آن ها !به آن سیستم موجود بستگی دارد

Relevance feedback based approaches.

The idea behind relevance feedback is to take the results that are initially returned from a given query and to use information about whether or not those results are relevant to perform a new query.

صريح و ضمنی

Page 19: Image retrieval

Natural Language Processing

شروع شد1960در اوایل دهه.

مبتی بر درک تفسیر تصویر

ربطی به محتوای تصویر ندارد.

Principle ideas used in text IR:

Zipf distribution

Tf/idf weightings

Use of inverted files for quick query responses

Page 20: Image retrieval

.تصاويربه کلیدیزمان بری و پرهزينه بودن فرايند انتساب دستی کلمات 1.

.گزينش سلیقه ای کلمات کلیدی معرف تصاوير توسط کاربر2.

Page 21: Image retrieval

چالش بازیابی تصاویر

معناییشکافازتواندمیفردکهاطالعاتیبینانطباقعدمازاستعبارتمعنایی،شکافیکدرکاربربرایدادههمانکهتفسیریوکنداستخراجتصویریهایداده

.داردشدهدادهوضعیت

وسیعهایحوزهوبزرگهایدادهپایگاهسازیذخیره

تصویرنمایشوبازیابیجستجو،سازی،نمایههزینه

پوششوشبکهبهمربوطمسایل

بصریومتنیاطالعاتترکیب

کاربران

تصويربنديهطبقوبازيابيدرمهمچالشهايازيكيپايین،سطحديداريويژگیهايبراساسمعناييگروههايبهتصاويربنديطبقه.است

Page 22: Image retrieval
Page 23: Image retrieval

استربط ذهنی که وابسته به فرد جستجوگر یا نیازمند اطالعات 1.های توان به مسئله و نیاز اطالعاتی، اولویتبرخی از عوامل مرتبط با کاربر می

.کردفردی، دانش پیشین فرد اشاره

ربط عینی یا وابسته به نظام اطالعاتی2.تواند محتوا و پوشش اطالعات، نوع و سطح برخی از عوامل مرتبط با نظام می

های نظام در بازخوردگیری کاربر منابع ذخیره شده، پوشش زمانی و قابلیت.باشد

Page 24: Image retrieval

محور–مفهومی

محور–محتوا

نمایه سازیمشارکتی یا فاکسونومی

Page 25: Image retrieval

آسانآنهابازیابیوذخیرکهشوندسازینمایهروشیبهبایدتصاویرویژگیاساسبرراتصاویربهدستیابیبایدتصاویرسازینمایه.باشد.کندمهیاتصاویرآنهای

(محور-متن)محور-مفهومسازینمایه1.

(محورتصویر)محور-محتواسازینمایه2.

مردمیگذاریبرچسبیامشارکتیسازینمایه3.

Page 26: Image retrieval

محور-نمایه سازی مفهوم

توصیفگرهایتعیینتوصیفبرایانسانیهوشازسازینمایهنوعاین.کنندمیاستفادهباالسطح

استمتنبرمبتنیسازینمایهنوعاین

درموجودمفاهیمبیانبرایطبیعیزبانیاشدهکنترلواژگانازشودمیاستفادهتصاویر

تصویریکدرباالسطحمفاهیمازاولیهشفاهیوانتزاعیتشخیص

بازیابیوسازینمایهشناختیزبانمفهومیاطالعاتاساسبرتصاویرشوندمی

Page 27: Image retrieval

جستجوهای متن محور سریع تر هستند؛ زیرا پردازش متن در قیاس با.پردازش تصویر زمان کمتری می خواهد

تسهیل انجام جستجو است؛ زیرا این جستجوهای متن محور فایده دیگر. نوع جستجو از زبانی مشابه زبان جستجوی کاربران استفاده می کند

بازیابی تصویر در این روش که متکی بر توصیف متن آزاد است شاملاستفاده از موتورهای جستجوی مفهومی برای بازیابی مفاهیم و تصاویر

و نیز استفاده از باز خورد ربط برای به روز کردن باز نمون های .تصویر است

Page 28: Image retrieval

اين نوع نمايه سازی از الگوريتم های رايانه ای برای تشريح ويژگی های سطح پايین استفاده می کند.

خودکار اين روش ويژگی های تصاوير از قبیل رنگ، شکل يا بافت به صورت خودکار تعیین و نرم افزار به صورت.آنها را استخراج می کند

مبتنی بر نمايه سازی بدون استفاده از واژه می باشد

محور مبتنی بر پیکسل هستند-روش های نمايه سازی محتوا.

ازيابی هدف اين نوع از نمايه سازی بازيابی تصاوير مورد درخواست از مجموعه پايگاه تصاوير بر اساس محتوای آنها بشوند

قبیل اين روش در ايجاد اصطالحنامه های ديداری مفید بوده و برای نواحی انتخابی سطح باالتر بازيابی تصاوير از.تشخیص چهره، عالئم تجاری، و تشخیص پرنوگرافی مفیدتر است

محور شامل ويژگی های رنگ، بافت، شکل و روابط فضای بین اشیاء است-روش محتوا.

Page 29: Image retrieval

روش نمايه سازی مدارک با استفاده از اصطالحات زبان طبیعی است .

اين نوع نمايه سازی خود دو نوع می باشد

گسترده

محدود

رده )و تاکسونومی( مردم)به نمايه سازی فاکسونومی هم شناخته میشود؛ که اين اصطاح ترکیبی از واژه های فولک.است که به توماس و اندروال نسبت داده می شود( بندی

در اين روش از کاربران می خواهند که تصاوير خودشان را برچسب گذاری نمايند.

برچسب های کاربر ساخت اگر چه غیر ساختاری و نامنظم هستند؛ اما غنی تر، رايج تر، و چند زبانه می باشند.

Page 30: Image retrieval

مثال زیر مجموعه نوع ویژگی نوع ویژگی

تصویرب از یا یک گربهتصویری از یا درباره

تصادف یک ماشینتصویری از یا درباره یک

روستاتصویری از یا درباره قرن

میالدی19از یا درباره تصویری

توفان و صاعقهتصویری از یا درباره رشد

جرم و جنایت

شیء/حیوان/انسانرخداد/اقدام/اقعه

مکان/موقعیتزمان

آب و هوازمینه انتزاعی (از یا درباره)مفهومی

تصویری که هست از ون گوکرنگتصویری که هست آبی

تصویری که هست از نمای نزدیک

تصویری که هست شبیه به

توصیفارزش رنگ/رنگ

عناصر بصریروابط بیرونیواکنش بیننده توصیفی

Page 31: Image retrieval

نحوه کار سیستم های بازیابی تصاویر

Page 32: Image retrieval
Page 33: Image retrieval

سیستمQBIC

.aاولین سیستم های بازيابی مبتنی بر محتوا تصوير تجاری است.

.b ه کرده انداستفاداولیه توسعه ، چرا که ساير سیستم های بازيابی از آن به عنوان مدل شمارمی روديکی از مهم ترين سیستم های بازيابی به.

.c کنداز ويژگی های نمايه سازی چند بعدی استفاده می که يکی از معدود سیستم هايی است.

.dhttp://wwwqbic.almaden.ibm.com

Page 34: Image retrieval

سیستمVirage

.aاستمحتوابرمبتنیجستجویموتوریک

.bوبافت،رنگ،بندیالیهترکیبرنگ،براساسبصریجوهایوپرسازمیگیردبهره(شیمرزبندیاطالعات)ساختار

.cازفراترقدمیکQBICاست

.dhttp://www.virage.com/cgi-bin/query-e

Page 35: Image retrieval

سیستمimagSeek

.a جستجو و بازیابی عکس ها نیز ها یک سیستم متن باز مدیریت مجموعه عکس.جمله کارهایی هستند که این سیستم می تواند انجام دهداز

.b نحوه پرس و جو در این سیستم، پرس و جو با مثال و پرس و جو با طرح می.باشد

.cخوشه بندی تصاویر براساس میزان شباهت آنها برای کاوش کارا تر تصاویر

.dامکان ویرایش ابرداده های تصاویر

Page 36: Image retrieval

IRMA (Image Retrieval in Medical Applications)

زشکی در در کارهای تشخیصی پکاربرد روش های سطح باال برای بازيابی تصاوير مبتنی بر محتوا با ساخت هدف از پروژه تو سعه و.باشدمی پايگاه های تصاوير راديولوژی

WebMIRS

های اه داده گرافیکی جاوا برای فراهم کردن امکان دسترسی به پايگبرنامه سیستم بازيابی اطالعات پزشکی بر روی وب، که از يکNational Health and Nutrition Examination Survey راديولوژیتصاوير و

شوداجرا مرورگر استاندارد وب يا از طريق کامپیوتر کاربران بطور مستقیم يک استفاده از.

SPIRS (Spine Pathology & Image Retrieval System)

عکس راديولوژی ستون 17000توسط کتابخانه ملی پزشکی و موسسه ملی بهداشت و سازمان اطالعات اياالت متحده آمريکا در حدود.فقرات طراحی شده است

ترکیب اين اطالعات با چارچوبIRMA اجازه بازيابی تصوير مبتنی برمحتوا براساس شکل منطقه ای از استخوان ها را فراهم می.سازد

اين سیستم مبتنی بر وب

بازيابی تصاويری از پايگاه های بزرگ زيست پزشکی را دربر می گیرد.

Page 37: Image retrieval

Karto

.نسل جديدي از ابرموتورهاي جستجوي بصري است آه نتايج خود را روي يك نقشه نمايش مي دهد

grokker

.شدايجاد ٢٠٠١يکی از موتورجستجوهای بصری مبتنی بر وب است آه همانند آارتو در سال