Overview شاملة نظرة Definitions: Reliability and Validity

والمصداقية: الموثوقية تعريفات Reliability الموثوقية Validity المصداقية Reliability and Validity in Qualitative Research

النوعية األبحاث في والمصداقية الموثوقية

Testing Reliability and Validity الموثوقية فحص والمصداقية

Concluding Remarks ختامية مالحظات

It is important to test and demonstrate credibility of the study for both qualitative and quantitative studies.

والنوعية الكمية للدراسات بالنسبة هاما أمرا الدراسة صدق إثبات و فحص يعتبر For Quantitative: الكمية للدراسات بالنسبة

◦ Credibility depends on instrument construction أداة بنية على صدق مدى يعتمدالدراسة

◦ Validity and reliability are separately viewed أمران والموثوقية المصداقية منفصالن

For Qualitative: النوعية للدراسات بالنسبة◦ The researcher is the instrument الدراسة أداة هو الباحث

i.e. the ability and the effort of the researcher : وجهود قدرات ذلك مثال الباحث

Validity and reliability are not viewed separately منفصالن أمران أنهما على والموثوقية المصداقية تعامل ال

◦ Terminology that encompasses both is used معا المفهومين كال معناها في تشمل مصطلحات استخدام تم

Such as: Credibility, transferability and trustworthiness : للثقة مستحقة االنتقال، قابلية الصدق، ذلك مثال

Reliability: الموثوقية The degree to which a measurement procedure produces

similar outcomes when it is repeated.تمت إذا القياس نفس يعطي ما قياسيا إجراءا أن بها نضمن التي الدرجة

.إعادته E.g., gender, birthplace, mother’s name—should be the

same always—مهما: هي كما تظل بيانات كلها األم، اسم الميالد، مكان الجنس، مثال

أعدناها

Validity المصداقية Tests for determining whether a measure is measuring the

concept that the researcher thinks is being measured, يقيس الباحث قبل من المستخدم المقياس كان إذا فيما للتأكد وتستخدم

يقيسها أنه الباحث يعتقد التي المفاهيم i.e., “Am I measuring what I think I am measuring”?

أقيسه؟: أنني أعتقد الذي المفهوم فعال أقيس هل مثال

Reliability testing is a way of information elicitationالمعلومات الستنباط طريقة الموثوقية فحص يعتبر

◦ Hence, testing the qualityالنوعية فحص في الحال وكذلك

For good quality research: means reliability is used as concept to evaluate the quality

: النوعية لتقييم كمفهوم الموثوقية تستخدم جيدة نوعية أبحاث على للحصول In other words; used for the purpose of generating understanding

: بهدف الموثوقية تستخدم أخرى للموضوع بكلمات واستيعاب فهم توليد However,ولكن،

◦ Reliability testing in qualitative research is irrelevant!!النوعية األبحاث عن الصلة بعيد الموثوقية فحص !!يعتبر

Due to the fact that there is a difference in the purpose of evaluating the quality of studies in quantitative and qualitative studies

الكمية الدراسات نوعية تقييم من الهدف بين الموجود االختالف بسبب وذلكالنوعية الدراسات ونوعية

“The concept of reliability is even misleading in qualitative research. If a qualitative study is discussed with reliability as a criterion, the consequence is rather that the study is no good”

[Stenbacka (2001)]

مع ” النوعية األبحاث مناقشة تتم فحين النوعية، األبحاث في مضلل الموثوقية مفهوم إن ( “ ستنباكا جيدا ليس البحث هذا أن ينتج للنقاش كمعيار الموثوقية (2001أخذ

Rising concern about use of reliability and validity in the design of a qualitative research study

النوعية األبحاث تصميم في والمصداقية الموثوقية استخدام حول متزايد القلق“How can an inquirer persuade his/her audiences that the research

finding s on an inquiry are worth paying attention to?”[Lincoln & Guba 1985]

تستحق ” ما موضوع حول لها توصل التي النتائج أن مستمعيه يقنع أن للباحث يمكن كيف “االنتباه؟

Answer: “Asserting the quality of the study in each paradigm should be judged by its own paradigm terms”

[Healy & Perry (2000)]

باستخدام: ” األطر من إطار ضمن المجراة الدراسة نوعية على الحكم يتم أن يجب الجواب ( “ وبيري هيلي االطار ذلك (2000مصطلحات

Hence, While the terms Reliability and Validity are essential criterion for quality in quantitative paradigms

ا مصطلحي أن من فبالرغم معايير المصداقيةولموثوقية وعليه، من هامان معيارانالكمية األط في ..النوعية

For qualitative paradigms the termsالتالية المصطلحات على تعتمد النوعية األطر :فإن

◦ Credibility الصدق◦ Neutrality or Confirmability, أوالتأكيد الحيادية◦ Consistency or Dependability االعتمادية أو التطابق◦ Applicability or Transferability االنتقال وإمكانية القبول

Are to be the essential criteria for quality األساسية المعايير هي فهذه للنوعية

[Lincoln & Guba, 1985)]

Has a wide range of terms in Qualitative studiesالنوعية الدراسات في المصطلحات من واسع نطاق وللمصداقية

◦ Not Single, fixed or universal concept!عالميا أو ثابتا أو منفردا مفهوما !ليست

“Is a contingent construct, inescapable grounded in the process and intentions of particular research methodologies

and projects”[Winter (2000)]

من ” المرجوة واألهداف العمليات في منه البد وأساس محتملة، تركيبة وهي ( “ وينتر مشروع أو بحث أي (2000أساليب

Validity applicability in qualitative research is an issue!نقاش نقطة النوعية األبحاث على المصداقية مفهوم تطبيق مدى !يعتبر

◦ There is a need for a qualifying check or measure for researchاألبحاث في األهلية لفحص نقطة لوجود حاجة هناك

“Validity is affected by the researcher’s perception of validity in the study and his/her choice of paradigm assumption”

[Creswell & Miller (2000)]

وخياره ” الدراسة مصداقية حول الباحث يحمله الذي بالمنظور المصداقية تتأثراالطار بفرضيات المتعلق ميلر“ ) و كريسول (2000المستخدم

◦ Hence, researchers have developed their own concepts of validity and have often generated or adopted what they consider to be more appropriate terms, such as, quality, rigor and trustworthiness◦ يرونه ما تبنوا كما المصداقية، حول الخاصة مفاهيمهم الباحثون طور فقد وعليه،

: للثقة أهل صرامة، نوعية، مثل األلفاظ من .مالئما

Describes the extent to which a correlation exists between the measuring instrument & another standard—empirical evidenceمعيار وأي المستخدمة القياس أداة بين ارتباط وجود مدى المصداقية تصف

التجريبي- الدليل آخر

◦ E.g., the relationship between college board examination and student academic success in college

الكلية: في للطالب األكاديمي والنجاح الكلية مجلس امتحان بين العالقة مثال

Two measures need to be taken:هما اثنين قياسين أخذ :يجب

◦ The measure of the test itself نفسه االمتحان قياس

◦ The criterion to which the test is relatedب االمتحان ربط تم الذي هالمعيار

External reliability - the degree to which a study can be replicated

للتكرار – الدراسة قابلية أو درجة الخارجية الموثوقية

Internal reliability - whether, when there is more than one observer, members of the research team agree about what they see and hear

( – ) من ) أكثر هناك كان حال في البحث فريق أعضاء يتفق حين الداخلية الذاتية الموثوقية ) ويسمعونه يرونه ما حول واحد مراقب

Internal validity - whether there is a good match between researchers' observations and the theoretical ideas they develop

– ) واألفكار ) الباحثين مشاهدات بين جيد توافق بوجود وتتعلق الداخلية الذاتية المصداقيةيطرحونها التي النظرية

External validity - the degree to which findings can be generalized across social settings

االجتماعية – األوضاع لتشمل النتائج تعميم امكانية درجة الخارجية المصداقية

Qualitative studies should be judged or evaluated according to quite different criteria

من تماما مختلفة مجموعة خالل من عليها الحكم أو النوعية الدراسات تقييم يجبالمعايير

◦ (different from reliability and validity qualitative studies)النوعية األبحاث في والمصداقية الموثوقية عن تختلف معايير

“It is necessary to specify terms and ways of establishing and assessing the quality of qualitative research that provide an alternative to reliability and

validity”

[Guba (1985 & Guba and Lincoln (1994)]

األبحاث ” وتقييم بناء في المستخدمة اآلليات و المصطلحات تحديد الضروري منوالمصداقية الموثوقية عن بديال تشكل والتي “النوعية

Two primary criteria أساسيان :معياران◦ Trustworthiness الثقة إستحقاق◦ Authenticity الصحة

Trustworthiness: الثقة استحقاق

◦ Credibility (Internal Validity)) الذاتية ) المصداقية الصدق

Multiple accounts of social realityاالجتماعي للواقع متعددة تعليالت

Respondent Validation) المتلقي ) المستجيب مصادقة

◦ Transferability (External Validity) ) الخارجية ) المصداقية االنتقال امكانية

Thick description الزائد الوصف

◦ Dependability (Reliability) االعتمادية Auditing approach الرقابي األسلوب Accessible الدخول امكانية

◦ Confirmability (Objectivity)) الموضوعية ) التأكيدية

Acting in good faith التصرف بأمانة

Authenticity: الصحة

◦ Fairness النزاهة Represent different view points?

واحدة؟ نظر وجهة من أكثر تمثل هل◦ Ontological

بماهوموجود مرتبطة Better understanding?

أفضل؟ فهما تقدم هل◦ Educative تربوية

Appreciate better the perspective of others?

اآلخرين؟ أطر تحترم هل◦ Catalytic تحفيزية

Engaging in action?!حركة؟ تتضمن !هل

◦ Tactical تكتيكية Steps for engaging?

غيرها؟ في تنخرط هل

Respondent (or member) validation - a process whereby researchers provide the people on whom they have conducted research with an account of their findings.

– ) أجريت ) الذين األفراد بتزويد الباحثون فيها يقوم التي العملية وهي العضو أو المستجيب مصادقةالدراسة لنتائج بتعليل الدراسة عليهم

Forms: أشكالها• researchers provide each research participant with an account of what they have

said to the researcher in interviews and conversations or of observations of participants in observational studies.

أو المقابالت في للباحث أقوال من عنهم صدر لما بتعليل البحث في المشتركين بتزويد الباحثون يقومالدراسة عليها تنطوي التي المشاهدات أو الحوارات

• the researcher feeds back to a group or an organization their impressions and findings in relation to that group or organization.

المنظمة او المجموعة حول االنطباعات و بالنتائج المتعلقة الراجعة بالتغذية ما منظمة أو مجموعة الباحث يزود

Practical difficulties: العملية الصعوبات• respondent validation may occasion defensive reactions and even censorship on the

part of research participants.البحث في المشاركين جانب من رقابية وأحيانا بل دفاعية فعل ردود العملية هذه تسبب قد

• it is highly questionable whether research participants can validate a researcher's analysis, since this entails inferences being made for an audience of social science peers.نتيجة الى التوصل يستدعي هذا ألن سؤال، موضع قضية هو الباحث تحليل تقييم على المشاركين مقدرة إن

االجتماعية العلوم مجال في الزمالء من لجمهور معينة

How to test or maximise the validity as a result the reliability of a qualitative study?

- النوعية؟ – للدراسات الموثوقية زيادة وبالنتيجة المصداقية وزيادة فحص كيفية◦ Maximising validity/trustworthiness will lead to a credible and

defensible result! / الدفاع يمكن صادقة نتائج الى يؤدي الثقة استحقاق أو المصداقية مستوى رفع إن

عنها◦ Hence, Lead to genralisability

التعميمات وضع على المقدرة تعني فهي وبالتالي◦ Triangulation methods can be used to improve the validity and

reliability of a research studyالبحث وموثوقية مصداقية لتحسين التثليث طريقة استخدام يمكن

Entails using more than one method or source of data in the study of social phenomena.

االجتماعية الظواهر دراسة في للمعلومات واحد مصدر أو أسلوب من أكثر استخدام تستدعي تقنية وهي Is an approach that uses `multiple observers, theoretical perspectives, sources of

data, and methodologies‘ (Denzin)

“ البحث ” وأساليب للمعلومات، ومصادر النظرية، األطر من ومجموعة مشاهدين، عدة يستخدم أسلوب التثليث) دنزين)

Has tended to emphasise multiple methods of investigation and sources of data

المعلومات ومصادر البحث أساليب تعدد على التركيز الى الطريقة هذه تهدف Can operate within and across research strategies

وعبرها البحث استراتيجيات ضمن يعمل أن للتثليث يمكن Can to refer to a process of cross-checking findings deriving from both quantitative

and qualitative research (triangulation of methods)

واألبحاث النوعية األبحاث من اشتقاقه يتم والذي للنتائج المتبادل الفحص عملية الى لالشارة استخدامه يمكن) األساليب ) تثليث معا الكمية

May often allow access to different levels of reality

الوقائع من مختلفة مستويات الى بالولوج األحيان أغلب في التثليث يسمح

Difference between reliability and validityوالمصداقية الموثوقية بين الفرق

◦ Reliability: the degree to which a measurement procedure produces similar outcomes when it is repeated.

الدراسة: إعادة حال في مشابهة نتائج إعطاء على األداة مقدرة درجة الموثوقية E.g., gender, birthplace, mother’s name—should be the same

always—: ذلك أعدناها مثال مهما هي كما تظل بيانات كلها األم، اسم الميالد، مكان الجنس،

◦ Validity: tests for determining whether a measure is measuring the concept that the researcher thinks is being measured,

يقيس المصداقية: الباحث قبل من المستخدم المقياس كان إذا فيما للتأكد وتستخدميقيسها أنه الباحث يعتقد التي المفاهيم

i.e., “Am I measuring what I think I am measuring”?أقيسه؟: أنني أعتقد الذي المفهوم فعال أقيس هل مثال

Final Note نهائية مالحظة

A valid test is always reliable but a reliable test is not necessarily valid

انه مصداقية بالضرورة تعني بالضرورة موثوقالبحث صحيحا ليس العكس ولكن