ارزیابی کیفیت داده در حوزه داده های پیوندی

استاد راهنما: دکتر محسن کاهانیارائه دهنده: نجمه یاقوتی

فهرست مطالب

مقدمه•چالش های موجود در حوزه داده های پیوندی•ابعاد مؤثر در کیفیت داده•روش شناسی ها•

2

مقدمه

کاهش موانع در انتشار و دسترسی به مستندات•تغییر رویکرد به اشتراک گذاری دانش به صورت بنیادی •

تغییر وب از فضایی با اسناد به هم پیوند خورده ، به فضایی با داده ها و اسناد •به هم پیوند خورده

داده های پیوندی •مجموعه ای از تالش ها در جهت انتشار و اتصال داده های ساخت یافته در وب•استفاده از وب، به منظور ایجاد پیوند های دارای نوع، میان داده های منابع مختلف •

3

پروژه داده های باز پیوندیواضح ترین مثال از اتخاذ و استفاده از اصول داده های پیوندی • Linked Open Dataپروژه •

، پشتیبانی توسط گروه ۲۰۰۷ یک تالش جمعی مردمی، آغاز شده در ژانویه W3Cآموزش و توسعه وب معUنایی

مفید بودن تنها در صورت داشتن کیفیت مناسب•

-lod]2007 در ماه مه LODابر cloud.net]

4

[ lod-cloud.net] 2011 در سپتامبر سال LODابر

5

چالش های تحقیقاتی واسط های کاربر و نمونه های تعاملی•نگاشت ِشما و تلفیق داده•نگهداری یا حفظ پیوند•جواز•کیفیت•حریم خصوصی•

6

ابعاد کیفیت دادهساختاری چند بعدی با تعریف "مناسب بودن برای کاربرد" • وابسته به طراحی و ایجاد فرآیند های مؤثر در تولید داده • داشتن کیفیت مناسب •

درک کیفیت و چگونگی اندازه گیری آن •مشکالت کیفیت داده •

یک پارچه سازی اطالعات فراهم آورندگان مختلف توسط سیستم های اطالعاتی تحت وب•مقادیر دارای تضاد با یک دیگر در منابع داده مختلف، به دلیل تنوع داده•

ارائه نادرست موجودیت های دنیای واقعی در سیستم اطالعاتی •خطاها، اختالالت و یا اشتباهات در مسائل مدل سازی •

مجموعه ای از مسائل دارای پتانسیل تحتU تأثیر قرار دادن برنامه هایی که از آن •[Wan1996, Zav2012]داده ها استفاده می کنند

7

8

ابعاد کیفیت دادهارزیابی کیفیت داده•

اندازه گیری ابعاد و •ضوابط کیفی داده

سنجه یا مقیاس ارزیابی •کیفیت داده

روالی برای اندازه گیری •بعد کیفی اطالعات

ابعاد کیفیت داده و روابط آن ها [Zav2012]

8

ابعاد زمینه ای

ابعاد زمینه ای

کامل بودن

مقدار داده ها

مرتبط بودن

هستان شناسیخصیصهجمعیتبهم

پیوستگی

9

ابعاد اطمینان/اعتماد

ابعاد اطمینان

منشأ

اثبات پذیری

باورپذیری

شهرت

مجوز

10

ابعاد ذاتی

ابعاد ذاتی

دقت

اعتبار مستندات

بهم پیوستگی

سازگاری

ایجاز

عینی بودناستفاده معتبر از واژگان زیربنایی

نحو معتبر برای اسناد

سطح داده

11سطح ِشما

ابعاد دسترسی

ابعاد دسترسی

در دسترس بودن

عملکرد

امنیت

زمان پاسخ

12

ابعاد نمایشی

ابعاد نمایشی

ایجاز نمایشی

سازگاری نمایشی

قابلیت فهم

تنوع

قابلیت تفسیر

13

ابعاد پویای مجموUعه داده

ابعاد پویای مجموعه داده

تازگی

نوسانات

بهنگام بودن

زمان تحویل

زمان فعلی

زمان ورودی

زمان انقضا

14

جنبه های مقایسه ای برای تحلیل روش شناسی هافاز ها و گام های سازنده روش شناسی •راهبرد ها و روش های اتخاذ شده برای ارزیابی و بهبود سطوح کیفیت داده در هر •

روش شناسی ابعاد و سنجه های انتخاب شده برای ارزیابی سطوح کیفیت داده در روش شناسی •انواع هزینه های مرتبط با مسائل کیفی داده•انواع داده های در نظر گرفته شده در روش شناسی •انواع سیستم های اطالعاتی مصرف کننده، تغییر دهنده و مدیریت کننده داده ها•سازمان های درگیر در فرآیند با قابلیت ایجاد و بروز رسانی داده ها با ساختار ها و •

قواعد خودفرآیند های با هدف ایجاد سرویس های مورد نیاز کاربران•خدمات ایجاد شده توسط فرآیند •

تفاوت روش شناسی ها از نقطه نظر چگونگی در بر گرفتن این جنبه ها •15

فازها و گام هانوسازی یا ساخت مجدد وضعیت )اختیاری(•

جمع آوری اطالعات زمینه ای در خدمات سازمانی• جمع آوری داده ها و روال های مدیریتی مختلف• مسائل کیفی و هزینه های مرتبط•

ارزیابی/ اندازه گیری کیفیت مجموعه های داده، همراه با •ابعاد کیفی مرتبط

اندازه گیری یا سنجش• اندازه گیری مقدار یک مجموعه از ابعاد کیفی داده•

ارزیابی •مقایسه اندازه گیری ها با مقادیر مرجع به منظور تشخیص کیفیت •

بهبود •انتخاب گام ها، راهبرد ها و روش هایی برای دستیابی به •

اهداف کیفی داده جدید 16

گام های فاز ارزیابیتحلیل داده•تحلیل نیازمندی های کیفی داده•شناسایی نواحی بحرانی•مدل سازی فرآیند•سنجش کیفیت•

اندازه گیری مستقل از نظر فرد •بر مبنای سنجه های کمی •

اندازه گیری وابسته به تفکر شخص•بر مبنای ارزیابی های کیفی توسط مدیران یا کاربران داده ها •

17

گام های فاز بهبودارزیابی هزینه ها•تخصیص مسئولیت های فرآیند•تخصیص مسئولیت های داده•شناسایی علت خطا ها•انتخاب راهبرد ها و روش ها•

سازگاری راهبرد ها با دانش زمینه ای، اهداف کیفی و محدودیت های بودجه •طراحی راه کار های بهبود داده•کنترل فرآیند•طراحی مجدد فرآیند•مدیریت بهبود•مانیتورینگ بهبود•

18

راهبرد های فاز بهبودراهبرد های داده-محور •

بهبود کیفیت داده به صورت مستقیم با تغییر مقادیر داده•بروز رسانی پایگاه داده با داده هایی از پایگاه داده های جدیدتر•

راهبرد های فرآیند-محور •بهبود کیفیت داده ها با طراحی مجدد فرآیند های ایجاد کننده یا تغییر دهنده •

داده ها طراحی مجدد یک فرآیند به منظور افزودن فعالیت جدیدی به منظور کنترل •

قالب داده ها قبل از ذخیره سازی

19

روش های بهبود راهبرد های داده-محور

روش های بهبود به کار رفته توسط راهبرد های داده-محور•اکتساب داده های جدید•استاندارد سازی )نرمال سازی(•بهم پیوستگی رکورد•[Bat2006, Das2003]محلی سازی یا موضعی سازی خطا و اصالح آن•

شناسایی منابع قابل اعتماد•بهینه سازی هزینه•یکپارچگی داده و ِشما•

دسترسی کاربر به داده های ذخیره شده توسط منابع داده ناهمگن، توسط یک دید •یکتا از این داده ها

20

روش های بهبود راهبرد های فرآیند-محورکنترل فرآیند•

درج روال های کنترلی و بررسی در فرآیند تولید داده •اعمال یک راهبرد واکنشی به رخداد های تغییرِ داده •

اجتناب از تنزل داده ها و انتشار خطا •طراحی مجدد فرآیند•

حذف علل کیفیت ضعیف •معرفی فعالیت های جدیUد برای ایجاد داده های با کیفیت باالتUر•

چشم انداز بلند مدت •روشU هایU فرآیند-محور •

چشم انداز کوتاه مدت •21راهبرد هایU داده-محور•

ابعاد مجموعه هسته ای از ابعاد•

دقت•کامل بودن•سازگاری•بهنگام بودن•

LODمشکل •عدم وجود توافق عمومی بر روی مجموعه ای از ابعاد کیفیت داده، برای تعریف کیفیت •

[Zav2012, Bat2009]

22

هزینه ها

هزینه کیفیت داده•مجموع هزینه فعالیت های ارزیابی و بهبود کیفیت داده )هزینه های مستقیم(•هزینه های مرتبط با کیفیت داده ضعیف )هزینه های غیر مستقیم( •

کاهش هزینه کیفیت ضعیف با پیاده سازی یک برنامه کیفیت داده •مؤثرتر و هزینه بر تر

23

انواع داده هاهدف نهایی روش شناسی کیفیت دادUه•

تحلیل داده های توصیف کننده اشیاء دنیای واقعی در قالبی قابل ذخیره، بازیابی و پردازش توسط •یک روال نرم افزاری

تمایز میان سه نوع داده•دادUه های ساخت یافته•

تجمع یا تعمیم اقالم تشریح شده توسط مجموعه ای از صفات خاصه •داده های غیر ساخت یافته•

دنباله ای عمومی از نماد ها، معموالً کد شده در زبان طبیعی •داده های نیمه ساخت یافته•

داده هایی دارای ساختاری با درجه ای از انعطاف پذیری•کاهش ساختار داده ها•

پیچیدگی رو به رشد روش های کیفیت داده •ابعاد کیفی یکسان•

سنجه های کیفی متفاوت بسته به نوع داده •24

انواع سیستم های اطالعاتی تأثیرپذیری روش شناسی های کیفیت داده توسط انواع سیستم های اطالعاتی•

تمایز سیستم های اطالعاتی بر مبنای درجه یک پارچگی داده، فرآیند و مدیریت•کاهش میزان یکپارچگی داده، فرآیند و مدیریت •

پیچیده تر شدن روش های ارزیابی و بهبودU داده •چالش برانگیز تر شدن ارزیابی و بهبود کیفیت داده•

[Zac2006]تمایز انواع سیستم های اطالعاتی بر اساس درجه یک پارچگی•سیستم اطالعاتی یک پارچه •انبار داده•سیستم اطالعاتی توزیع شده •سیستم اطالعاتی همکارانه•سیستم اطالعاتی وب•سیستم اطالعاتی نظیر به نظیر•

25

[Bat2009] مقایسه کلی روش شناسی ها

26

[Bat2009, Zav2012]روش شناسی ها و ابعاد مختلف کیفیت داده

روش شناسی

ابعاد تحت پوشش

TDQM کامل بودن، مرتبط بودن، باور پذیری، شهرت، دقت، عینی بودن، در دسترس بودن، امنیت، زمان پاسخ، ایجاز نمایشی، سازگاری نمایشی، قابلیت فهم، تنوع، قابلیت تفسیر، بهنگام بودن

DWQ کامل بودن، منشأ، دقت، سازگاری، در دسترس بودن، امنیت، تنوع، قابلیت تفسیر، تازگی، نوسانات، بهنگام بودن

TIQM کامل بودن، دقت، سازگاری، در دسترس بودن، تنوع، بهنگام بودن

AIMQ کامل بودن، مرتبط بودن، باور پذیری، شهرت، دقت، عینی بودن، در دسترس بودن، امنیت، زمان پاسخ، ایجاز نمایشی، سازگاری نمایشی، قابلیت فهم، تنوع، قابلیت تفسیر، بهنگام بودن

CIHI مرتبط بودن، باور پذیری، شهرت، دقت، عینی بودن، سازگاری، در دسترس بودن، امنیت، تنوع، بهنگام بودن

DQA کامل بودن، حجم داده، مرتبط بودن، باور پذیری، شهرت، دقت، عینی بودن، سازگاری، در دسترس بودن، امنیت، ایجاز نمایشی، قابلیت فهم، تنوع، قابلیت تفسیر، بهنگام بودن

IQM دقت، سازگاری، اختصار، در دسترس بودن، امنیت، تنوع، تازگی، بهنگام بودن

ISTAT کامل بودن، دقت، بهم پیوستگی، سازگاری

AMEQ کامل بودن، مرتبط بودن، باور پذیری، شهرت، مجوز، دقت، سازگاری، در دسترس بودن، عملکرد، زمان پاسخ، ایجاز نمایشی، سازگاری نمایشی، قابلیت فهم، تنوع، قابلیت تفسیر، بهنگام بودن

COLDQ کامل بودن، دقت، اعتبار مستندات، سازگاری، در دسترس بودن، امنیت، زمان پاسخ، تنوUع، قابلیت تفسیر، تازگی، بهنگام بودن

DaQuinCIS کامل بودن، اثبات پذیری، دقت، بهم پیوستگی، سازگاری، تازگی

QAFD کامل بودن، اعتبار مستندات، سازگاری، نوسانات

CDQ کامل بودن، شهرت، اعتبار مستندات، بهم پیوستگی، سازگاری، در دسترس بودن، تنوع، تازگی، نوسانات، بهنگام بودن

27

[Bat2009]روش شناسی ها و گام های ارزیابی روش شناسی  تحلیل داده تحلیل

نیازمندی های کیفی داده

شناسایی نواحی بحرانی

مدل سازی فرآیند سنجش کیفیت توسعه پذیر به ابعاد و سنجه های

دیگرTDQM ثابت

DWQ   باز

TIQM ثابت

AIMQ     ثابت

CIHI       ثابت

DQA     باز

IQM       باز

ISTAT       ثابت

AMEQ   باز

COLDQ ثابت

DaQuinCIS   باز

QAFD   ثابت

CDQ 28باز

روش شناسی ها و انواع راهبرد های بهبود [Bat2009]

روش شناسی فرآیند-محور داده-محور TDQM طراحی مجدد فرآیند یکپارچه سازی ِشما و داده

DWQ   اکتساب داده های جدید

استاندارد سازی)یا نرمال سازی(

موضعی سازی خطا و اصالح آنTIQM طراحی مجدد فرآیند استاندارد سازی)یا نرمال سازی(

بهم پیوستگی رکوردISTAT طراحی مجدد فرآیند بهینه سازی هزینه

COLDQ کنترل فرآیند

طراحی مجدد فرآیند

قابل اعتماد بودن منبع

بهم پیوستگی رکوردDaQuinCIS   استاندارد سازی)یا نرمال سازی(

بهم پیوستگی رکورد

یکپارچه سازی ِشما و داده

موضعی سازی خطا و اصالح آنTDQM کنترل فرآیند

طراحی مجدد فرآیند29

[Bat2009]روش شناسی ها و انواع داده ها روش شناسی ساخت یافته نیمه ساخت یافته

TDQM

DWQ  

TIQM به طور ضمنی در نظر گرفته شده

AIMQ به طور ضمنی در نظر گرفته شده

CIHI

DQA  

IQM

ISTAT

AMEQ به طور ضمنی در نظر گرفته شده

COLDQ به طور ضمنی در نظر گرفته شده

DaQuinCIS

QAFD  

CDQ

30

روش شناسی ها و سیستم های اطالعاتی [Bat2009]

روش شناسی همکارانه انبار داده توزیع شده یک پارچه وب TDQM     به طور ضمنی در نظر

گرفته شدهتمرکز

DWQ   تمرکز شدید    

TIQM     تمرکز تمرکز

AIMQ     به طور ضمنی در نظر گرفته شده

تمرکز

CIHI     تمرکز تمرکز

DQA     به طور ضمنی در نظر گرفته شده

تمرکز

IQM         تمرکز شدید

ISTAT تمرکز شدید   تمرکز تمرکز

AMEQ       تمرکز

COLDQ       تمرکز

DaQuinCIS تمرکز شدید   تمرکز تمرکز

QAFD       تمرکز

CDQ تمرکز شدید   تمرکز 31تمرکز

مراجع

32

]Abi2000[ Abiteboul, Serge, Peter Buneman, and Dan Suciu, "Data on the Web: from relations to semistructured data and XML." Morgan Kaufmann, 2000.]Ant2004[ Antoniou, Grigoris. "A semantic web primer." the MIT Press, 2004.]Bat2007[ Batini, Carlo, et al. "A Framework And A Methodology For Data Quality Assessment And Monitoring." ICIQ, 2007. ]Bat2006[ Batini, Carlo, and Monica Scannapieca. "Data quality: concepts, methodologies and techniques." Springer, 2006.]Ber1997[ Berners-Lee, Tim. "Cleaning up the user interface." World Wide Web Consortium ,1997.]Bri1998[ Brin, Sergey, and Lawrence Page. "The anatomy of a large-scale hypertextual Web search engine." Computer networks and ISDN systems 30.1: 107-117, 1998.]Bri2004[ Brickley, Dan, and Ramanathan V. Guha. "{RDF vocabulary description language 1.0: RDF schema}." 2004.]Biz2007[ Bizer, Christian. "Quality Driven Information Filtering: In the Context of Web Based Information Systems." VDM Publishing, 2007.]Biz2009[ Bizer, Christian, Tom Heath, and Tim Berners-Lee. "Linked data-the story so far." International Journal on Semantic Web and Information Systems IJSWIS)5.3: 1-22, 2009.]Bun1997[ BUNEMAN, P. 1997. "Semi-structured data." In Proceedings of the 16th ACM Symposium on Principles of Database Systems (PODS).]Cal1999[ Calvanese, Diego, Giuseppe De Giacomo, and Maurizio Lenzerini. "Modeling and querying semi-structured data." Networking and Information Systems Journal 2: 253-273, 1999.]Car2004[ Carroll, Jeremy J., and Graham Klyne. "Resource Description Framework ({RDF}): Concepts and Abstract Syntax." 2004.

مراجع]Cyg2009[ Cyganiak, Richard, Michele Catasta, and Giovanni Tummarello. "Towards ECSSE: live Web of Data search and integration." Proceedings of the Semantic Search 2009 Workshop, 2009.]Che2010[ Chen, Ping, and Walter Garcia. "Hypothesis generation and data quality assessment through association mining." Cognitive Informatics (ICCI), 2010 9th IEEE International Conference on. IEEE, 2010. ]Eng1999[ Larry, P. "English, Improving data warehouse and business information quality: methods for reducing costs and increasing profits." 1999. ]Fle2010[ Flemming, A. Quality characteristics of linked data publishing datasources. Diss. Master’s thesis, Humboldt-Universität of Berlin, 2010.]Fur2011[ Fürber, Christian, and Martin Hepp. "SWIQA–A Semantic Web information quality assessment framework." , 2011.]Gil2002[ Gil, Yolanda, and Varun Ratnakar. "Trusting information sources one citizen at a time." The Semantic Web—ISWC 2002. Springer Berlin Heidelberg, 2002. 162-176.]Gil2007[ Gil, Yolanda, and Donovan Artz. "Towards content trust of web resources." Web Semantics: Science, Services and Agents on the World Wide Web 5.4 2007): 227-239.]Gol2003[ Golbeck, Jennifer, Bijan Parsia, and James Hendler. "Trust networks on the semantic web." Springer Berlin Heidelberg, 2003.]Gue2012[ Guéret, Christophe, et al. "Assessing linked data mappings using network measures." The Semantic Web: Research and Applications. Springer Berlin Heidelberg, 2012. 87-102.]Ham2001[ Hammer, Michael, and James Champy. "Reengineering the Corporation: Manifesto for Business Revolution", 2009.]Har2010[ Hartig, Olaf, and Jun Zhao. "Publishing and consuming provenance metadata on the web of linked data." Provenance and Annotation of Data and Processes. Springer Berlin Heidelberg, 2010. 78-90.

33

مراجع

]Hau2009[ Hausenblas, Michael. "Linked data applications." First Community Draft, DERI(2009).]Hea2011[ Heath, Tom, and Christian Bizer. "Linked data: Evolving the web into a global data space." Synthesis lectures on the semantic web: theory and technology1.1: 1-136, 2011.]Hog2010[ Hogan, Aidan, et al. "Weaving the pedantic web." , 2010. ]Hog2012[ Hogan, Aidan, et al. "An empirical survey of Linked Data conformance." Web Semantics: Science, Services and Agents on the World Wide Web 14: 14-44, 2012. ]Jac2004[ Jacobs, Ian, and Norman Walsh. "Architecture of the world wide web." 2004]Lei2007[ Lei, Yuangui, Victoria Uren, and Enrico Motta. "A framework for evaluating semantic metadata." Proceedings of the 4th international conference on Knowledge capture. ACM, 2007.]Men2012[ Mendes, Pablo N., Hannes Mühleisen, and Christian Bizer. "Sieve: linked data quality assessment and fusion." Proceedings of the 2012 Joint EDBT/ICDT Workshops. ACM, 2012.]Red1996[ Redman, Thomas C., and A. Blanton. "Data quality for the information age." Artech House, Inc., 1997.]Sto2003[ Stoica, Mihail, Nimit Chawat, and Namchul Shin. An investigation of the methodologies of business process reengineering. School of Computer Science and Information Systems, Pace University, 2004.]Wan1996[ Wand, Yair, and Richard Y. Wang. "Anchoring data quality dimensions in ontological foundations." Communications of the ACM 39.11 : 86-95, 1996.]Zav2012[ Zaveri, Amrapali, et al. "Quality Assessment Methodologies for Linked Open Data." Submitted to SWJ.

34

با تشکر از توجه شما

؟؟؟