Image retrieval

بازیابی تصویر

حافظ مقدسی: ارائه دهنده

جناب آقای دکتر صدقی: استاد مربوطه

مقدمه

بازيابی تصاوير متنبازيابی مبتنی بر

محتوابازيابی مبتنی بر

چالش بازيابی تصاوير

معیار ربط

رسیستم های بازيابی تصوي

نتیجه گیری

تابشرتمدنآغازازآناستفادهواطالعاتانسانبرایمهممسائلازیکیحاضرعصرهایزمینهدراطالعاتحجمافزایشباوبوده

تبدیلاطالعاتعصربهرادوراناینمختلف،مرتبطاطالعاترساندنعصرایندر.استکردهدرنیازموردافرادبهومناسبزماندردوبارهانجاموزماناتالفازمناسبشکلبهنیازاساساینبر.کاهدمیکاری

مییابیاطالعهایومهارتاصولیادگیری.باشد

مجموعهبهکهیابیاطالعهایمهارتواصولدسترسیشناسایی،براینیازموردهایمهارت

.باشندمیاطالعاتوجستجوی

رااطالعاتاززیادیحجمتواندمیکهاستمنابعازشکلیتصویرعنوانبهتصویر.استبرخوردارخاصیاهمیتازوکندمنتقلروزنامهپزشکی،مانندهارشتهازبسیاریدرارتباطیابزار.کرداستفادهتوانمی...وآموزشنگاری،

محتوابازيابی مبتنی بر

مبتنی بر متنبازيابی

برمی 1992به سال ( بازیابی تصویر مبتنی بر محتوا) CBIRاصطالح بازیابی »برای توصیف پژوهش T. Katoزمانی که توسط . گردد

مورد « خودکار تصویر از پایگاه داده بر مبنای شکل و رنگ. استفاده قرار گرفت

پایگاه داده های تصاویر دیجیتال به سرعت در حال رشد هستند.

نیازهای متخصصان

وبتصاویر در مکان یابی دشواری دردر میان مجموعه ای از کارتون هاTom & Jerryپیدا کردن یک تصویر از : مثال

محتوایاساسبرجستجونام هایباکهCBIR))تصویرمحتوامحوربازیابینیز(CBVIR)دیداریداده هایمحتوامحوربازیابیو((QBICتصویراست،تصویربازیابییمسالهدرماشینبیناییکاربردمی شودشناخته"محتوامحور".بزرگپایگاهدردیجیتالتصویربرایجستجومسالهٔیعنیمانندانسان،توسطشدهوارددادهفوقازاستفادهجایبهجستجویعنیسامانهک.می کنداستفادهتصاویرخودمحتوایازکلیدواژگان،وعنوان

بازیابیکهاستنرم افزاری(CBIRS)تصاویرمحتوامحوربازیابی.می کندپیاده سازیراتصاویرمحتوامحور

Content-based image retrieval (CBIR) is the application of computer vision to the image retrieval problem, that is, the problem of searching for digital images in large databases.

"Content based" بدین معنی ست که جستجو تحلیل محتوای واقعی از تصویرهر گونه اطالعاتی که تصویر از خود Contentمنظور از . خواهد بود

این ویژگی ها می . منظور ویژگی های تصویر می باشد. ارائه می دهد.تواند سطح پایین باشند یا سطح باال

رنگبررسی تصاویر .مشابهت رنگ با محاسبه یک هستوگرام رنگ بدست می آید

بر اساس رنگ آنها حاوی یکی از پر استفاده ترین روش است چرا که در جستجو رنگ معموال مقایسه .اندازه تصویر یا گرایش بستگی ندارد.شدنمودار هیستوگرام رنگ شامل خواهد

هستوگرام یکی از مدل های موثر برای نمایش ویژگی های یک تصویر از یکی از ابزار مناسب برای . قبیل رنگ، بافت، و لبه می باشد

.کاربردهای بازیابی و جستجوی تصاویر می باشد

بافتازاستفاده.نیستندارائهقابلرنگینمایشتوسطکههستندالگوهایبازیابیدرهستندهمسانیرنگدارایکهنقاطیبینبافتشباهت.باشدمیمفیدبسیارعلفوهابرگیاودریاوآسمانمثال

شکلازتعدادیهاروشایندر.باشدمیتصویربازیابیشکلمعروفترین

میجهتواندارهازمستقلکه)تصاویرداخلاشیایمشخصههایویژگیمیانجامآنهابراساسبازیابیوشدهتصویرذخیرههربرای،(باشند.شود

هایسیستمعملکردارزیابیدرکههستندمهمیمعیاردوبازیابیودقتوجودهمدیگریمعیارهای.رودمیبکارمحتوااساسبرتصویربازیابیازدقیقتریاطالعاتو.اندگرفتهنشاتمذکورمعیاردوازکهدارند.کنندمیفراهمبازیابیعملکرد

باشد،0.5بازیافتکههنگامیدقتازمقدارعبارتندمعیارهااینبویژهمقاالتبرخیدرباشدبرابربازیافتباکههنگامیدقتمقدار.استرفتهبکارسیستمشدهاستفادهحساسیتودقتازپزشکی

سیستمارزیابیدررفتهبکارمعیارهایدیگراززمانوهزینهسرعت،.استتصاویربازیابیهای

کاربرپرسش1.

.کندمیاستخراجسوالاينبرایراتصويرهایويژگیسیستم2.

مقایسهپایگاهدرموجودتصاویرهایویژگیدیگرباهاویژگیاین3..شوندمی

.دهدمیارائهکاربربرایرانتایجترینمرتبطسیستم4.

جستجو برای يک تصوير خاص

جستجوی کلی برای انتخاب يک جواب

جستجوی يک تصوير با موضوع گسترده يا جستجو برای نشان دادن يک مدرک

فرآیندمتنبرمبتنیبازیابیدر

ازافزودنبهرهگیریبابازیابی

کلماتعنوان،مانندهاابرداده

بهآنهاانتسابوتوصیفوکلیدی

بامطابقوشودمیانجامتصاویر

ازدریافتیجویوپرسقالبآن،

.باشدمیکلماتبصورتکاربر

هایپایگاهحجمافزایشبهباتوجه

ذهنیوایسلیقهتصویری،داده

وبرزمانهمچنینوهابرچسببودن

متنانتسابفرایندبودنپرهزینه

بهمتنیسازینمایهتصاویر،به

شدهتبدیلناکارآمدنسبتاروشی

.است

Iconography

oپیکرنگاری به معنی شرح و تفسیر آثار در هنرهای تجسمی.

o به معنای روند حاشیه نويسی بشر از تصاوير" پیکرنگاری"در بازيابی تصوير.

oاجتماعی باشد، فضايی، زمانی و ابعاد ذهنیتوصیفهمچنینو توصیف محتوای يک تصوير.

Web Based Image Retrieval

oاوير رويکردهای بازيابی تصوير مبتنی بر وب مجموعه ای از روش های ساخته شده برای سیستم های بازيابی تص.موجود می باشند

Re-Ranking based approaches.می کنند تا رتبه بندی تصاویر بازیابی تالش re-ranking))رویکردهای رتبه بندی مجدد

شده را بوسیله یک سیستم بازیابی تصاویر موجود، بهبود ببخشند امام کارایی آن ها !به آن سیستم موجود بستگی دارد

Relevance feedback based approaches.

The idea behind relevance feedback is to take the results that are initially returned from a given query and to use information about whether or not those results are relevant to perform a new query.

صريح و ضمنی

Natural Language Processing

شروع شد1960در اوایل دهه.

مبتی بر درک تفسیر تصویر

ربطی به محتوای تصویر ندارد.

Principle ideas used in text IR:

Zipf distribution

Tf/idf weightings

Use of inverted files for quick query responses

.تصاويربه کلیدیزمان بری و پرهزينه بودن فرايند انتساب دستی کلمات 1.

.گزينش سلیقه ای کلمات کلیدی معرف تصاوير توسط کاربر2.

چالش بازیابی تصاویر

معناییشکافازتواندمیفردکهاطالعاتیبینانطباقعدمازاستعبارتمعنایی،شکافیکدرکاربربرایدادههمانکهتفسیریوکنداستخراجتصویریهایداده

.داردشدهدادهوضعیت

وسیعهایحوزهوبزرگهایدادهپایگاهسازیذخیره

تصویرنمایشوبازیابیجستجو،سازی،نمایههزینه

پوششوشبکهبهمربوطمسایل

بصریومتنیاطالعاتترکیب

کاربران

تصويربنديهطبقوبازيابيدرمهمچالشهايازيكيپايین،سطحديداريويژگیهايبراساسمعناييگروههايبهتصاويربنديطبقه.است

استربط ذهنی که وابسته به فرد جستجوگر یا نیازمند اطالعات 1.های توان به مسئله و نیاز اطالعاتی، اولویتبرخی از عوامل مرتبط با کاربر می

.کردفردی، دانش پیشین فرد اشاره

ربط عینی یا وابسته به نظام اطالعاتی2.تواند محتوا و پوشش اطالعات، نوع و سطح برخی از عوامل مرتبط با نظام می

های نظام در بازخوردگیری کاربر منابع ذخیره شده، پوشش زمانی و قابلیت.باشد

محور–مفهومی

محور–محتوا

نمایه سازیمشارکتی یا فاکسونومی

آسانآنهابازیابیوذخیرکهشوندسازینمایهروشیبهبایدتصاویرویژگیاساسبرراتصاویربهدستیابیبایدتصاویرسازینمایه.باشد.کندمهیاتصاویرآنهای

(محور-متن)محور-مفهومسازینمایه1.

(محورتصویر)محور-محتواسازینمایه2.

مردمیگذاریبرچسبیامشارکتیسازینمایه3.

محور-نمایه سازی مفهوم

توصیفگرهایتعیینتوصیفبرایانسانیهوشازسازینمایهنوعاین.کنندمیاستفادهباالسطح

استمتنبرمبتنیسازینمایهنوعاین

درموجودمفاهیمبیانبرایطبیعیزبانیاشدهکنترلواژگانازشودمیاستفادهتصاویر

تصویریکدرباالسطحمفاهیمازاولیهشفاهیوانتزاعیتشخیص

بازیابیوسازینمایهشناختیزبانمفهومیاطالعاتاساسبرتصاویرشوندمی

جستجوهای متن محور سریع تر هستند؛ زیرا پردازش متن در قیاس با.پردازش تصویر زمان کمتری می خواهد

تسهیل انجام جستجو است؛ زیرا این جستجوهای متن محور فایده دیگر. نوع جستجو از زبانی مشابه زبان جستجوی کاربران استفاده می کند

بازیابی تصویر در این روش که متکی بر توصیف متن آزاد است شاملاستفاده از موتورهای جستجوی مفهومی برای بازیابی مفاهیم و تصاویر

و نیز استفاده از باز خورد ربط برای به روز کردن باز نمون های .تصویر است

اين نوع نمايه سازی از الگوريتم های رايانه ای برای تشريح ويژگی های سطح پايین استفاده می کند.

خودکار اين روش ويژگی های تصاوير از قبیل رنگ، شکل يا بافت به صورت خودکار تعیین و نرم افزار به صورت.آنها را استخراج می کند

مبتنی بر نمايه سازی بدون استفاده از واژه می باشد

محور مبتنی بر پیکسل هستند-روش های نمايه سازی محتوا.

ازيابی هدف اين نوع از نمايه سازی بازيابی تصاوير مورد درخواست از مجموعه پايگاه تصاوير بر اساس محتوای آنها بشوند

قبیل اين روش در ايجاد اصطالحنامه های ديداری مفید بوده و برای نواحی انتخابی سطح باالتر بازيابی تصاوير از.تشخیص چهره، عالئم تجاری، و تشخیص پرنوگرافی مفیدتر است

محور شامل ويژگی های رنگ، بافت، شکل و روابط فضای بین اشیاء است-روش محتوا.

روش نمايه سازی مدارک با استفاده از اصطالحات زبان طبیعی است .

اين نوع نمايه سازی خود دو نوع می باشد

گسترده

محدود

رده )و تاکسونومی( مردم)به نمايه سازی فاکسونومی هم شناخته میشود؛ که اين اصطاح ترکیبی از واژه های فولک.است که به توماس و اندروال نسبت داده می شود( بندی

در اين روش از کاربران می خواهند که تصاوير خودشان را برچسب گذاری نمايند.

برچسب های کاربر ساخت اگر چه غیر ساختاری و نامنظم هستند؛ اما غنی تر، رايج تر، و چند زبانه می باشند.

مثال زیر مجموعه نوع ویژگی نوع ویژگی

تصویرب از یا یک گربهتصویری از یا درباره

تصادف یک ماشینتصویری از یا درباره یک

روستاتصویری از یا درباره قرن

میالدی19از یا درباره تصویری

توفان و صاعقهتصویری از یا درباره رشد

جرم و جنایت

شیء/حیوان/انسانرخداد/اقدام/اقعه

مکان/موقعیتزمان

آب و هوازمینه انتزاعی (از یا درباره)مفهومی

تصویری که هست از ون گوکرنگتصویری که هست آبی

تصویری که هست از نمای نزدیک

تصویری که هست شبیه به

توصیفارزش رنگ/رنگ

عناصر بصریروابط بیرونیواکنش بیننده توصیفی

نحوه کار سیستم های بازیابی تصاویر

سیستمQBIC

.aاولین سیستم های بازيابی مبتنی بر محتوا تصوير تجاری است.

.b ه کرده انداستفاداولیه توسعه ، چرا که ساير سیستم های بازيابی از آن به عنوان مدل شمارمی روديکی از مهم ترين سیستم های بازيابی به.

.c کنداز ويژگی های نمايه سازی چند بعدی استفاده می که يکی از معدود سیستم هايی است.

.dhttp://wwwqbic.almaden.ibm.com

سیستمVirage

.aاستمحتوابرمبتنیجستجویموتوریک

.bوبافت،رنگ،بندیالیهترکیبرنگ،براساسبصریجوهایوپرسازمیگیردبهره(شیمرزبندیاطالعات)ساختار

.cازفراترقدمیکQBICاست

.dhttp://www.virage.com/cgi-bin/query-e

سیستمimagSeek

.a جستجو و بازیابی عکس ها نیز ها یک سیستم متن باز مدیریت مجموعه عکس.جمله کارهایی هستند که این سیستم می تواند انجام دهداز

.b نحوه پرس و جو در این سیستم، پرس و جو با مثال و پرس و جو با طرح می.باشد

.cخوشه بندی تصاویر براساس میزان شباهت آنها برای کاوش کارا تر تصاویر

.dامکان ویرایش ابرداده های تصاویر

IRMA (Image Retrieval in Medical Applications)

زشکی در در کارهای تشخیصی پکاربرد روش های سطح باال برای بازيابی تصاوير مبتنی بر محتوا با ساخت هدف از پروژه تو سعه و.باشدمی پايگاه های تصاوير راديولوژی

WebMIRS

های اه داده گرافیکی جاوا برای فراهم کردن امکان دسترسی به پايگبرنامه سیستم بازيابی اطالعات پزشکی بر روی وب، که از يکNational Health and Nutrition Examination Survey راديولوژیتصاوير و

شوداجرا مرورگر استاندارد وب يا از طريق کامپیوتر کاربران بطور مستقیم يک استفاده از.

SPIRS (Spine Pathology & Image Retrieval System)

عکس راديولوژی ستون 17000توسط کتابخانه ملی پزشکی و موسسه ملی بهداشت و سازمان اطالعات اياالت متحده آمريکا در حدود.فقرات طراحی شده است

ترکیب اين اطالعات با چارچوبIRMA اجازه بازيابی تصوير مبتنی برمحتوا براساس شکل منطقه ای از استخوان ها را فراهم می.سازد

اين سیستم مبتنی بر وب

بازيابی تصاويری از پايگاه های بزرگ زيست پزشکی را دربر می گیرد.

Karto

.نسل جديدي از ابرموتورهاي جستجوي بصري است آه نتايج خود را روي يك نقشه نمايش مي دهد

grokker

.شدايجاد ٢٠٠١يکی از موتورجستجوهای بصری مبتنی بر وب است آه همانند آارتو در سال