Validita a reliabilita

Podmienky na získanie hodnotných dát v teréne• Teoretické oboznámenie sa s výskumným

nástrojom a zacvičenie• Správne použitie výskumných nástrojov• Korektné vyhodnotenie dát• Kontakt so skúmanými osobami

Validita• je schopnosť výskumného nástroja zisťovať to, čo

bolo zamýšľané zisťovať. • je vlastne vzťah výskumného nástroja k teórii, na

základe ktorej bol výskumný nástroj vyvinutý. • je to vyjadrenie o platnosti tohto nástroja. • je kontextovo viazaná.

Obsahová validita• vyjadruje mieru, do akej sa obsah výskumného

nástroja kryje s obsahom meranej oblasti. • má svojou podstatou kvalitatívny charakter.

Kritériová validitaVyjadruje mieru zhody medzi výsledkami

výskumného nástroja a výsledkami iných meraní uskutočnených s použitím známych, overených nástrojov.

• súbežná validita – vyjadruje sa mierou zhody výsledkov podľa jedného výskumného nástroja a výsledkami iného (overeného) výskumného nástroja tých istých subjektov v tom istom čase. Stupeň zhody sa obyčajne zisťuje korelačným koeficientom.

• predikčná validita – vyjadruje mieru zhody budúcich výsledkov v zvolenom kritériu. Porovnanie výsledkov v merných nástrojoch sa uskutočňuje s časovým odstupom.

Konštruktová validita• Vyjadruje mieru zhody výsledkov

v posudzovanom výskumnom nástroji s pedagogicko-psychologickou teóriou (konštruktom), ktorá vysvetľuje podstatu pozorovaného fenoménu.

• Konštrukt je abstraktný pedagogický respektíve psychologický pojem – vedomosť, schopnosť, tvorivosť atď.

Zisťovanie konštruktovej validity• Hodnotenie výskumného nástroja expertmi. • Porovnanie výsledkov daného nástroja s

podobným nástrojom, o ktorom je overené, že zisťuje daný konštrukt.

• Tretí spôsob – pomocou štatistickej metódy zvanej faktorová analýza.

Interná validita• je vlastnosť výskumného nástroja a realizácie

výskumu vrátane spracovania jeho výsledkov a ich interpretácie.

• je primárna.

Externá validitaExterná validita súvisí s mierou, v akej môžeme

uplatniť výskumný nástroj, spôsob realizácie, spracovania a vyhodnotenia výsledkov v inej situácii, čase, podmienkach.

Externá validita môže vzniknúť iba za podmienky existencie internej validity.

▫Efekt Johna Henryho ▫Hawthornský efekt▫Pygmalion effect / Observer-expectancy

effect

Efekt Johna Henryho– súťaživosť subjektov kontrolnej skupiny, ktorí pod

vplyvom informácie, že sú členmi kontrolnej skupiny majú snahu dosiahnuť lepšie výsledky ako experimentálna skupina.

– výsledky kontrolnej skupiny prekrývajú účinnosť nezávislej premennej.

John Henry lies dead after beating the steam drill in this painting by the African-American painter Palmer Hayden. Born in 1890, Hayden grew up in Virginia where his father sang John Henry songs to him. In the 1940s, Hayden used his memories of the men he grew up with to craft a series of paintings about John Henry.

Poštová známka s námetomJohna Henryho

Hawthornský efekt– reakcia skúmaných osôb nie na experimentálnu

manipuláciu s premennými, ale na skutočnosť, že sú skúmané.

Termín bol zavedený v roku 1950. Henry A. Landsberger po tom čo preskúmal staršie experimenty z rokov 1924 – 1932 v Hawthorne Works (Western Electric factory outside Chicago) o vplyve osvetlenia na a pracovný výkon.

Výsledky zistené v experimentálnej skupine podliehajú dominantne vnútornej motivácii subjektov k lepším výsledkom, ktorá vyplýva z vedomia, že sú súčasťou daného výskumného šetrenia.

Pygmalion effect• ... alebo Rosenthal effect – odkazuje na jav, pri

ktorom sa subjekty výskumu prezentujú tým lepšie, čím väčšie nároky (očakávania) sú na nich kladené.

• učiteľ ako premenná !• správanie učiteľa a IQ detí• hodnotenie učiteľa žiakmi

Observer-expectancy effect • Je efekt, pri ktorom výskumník môže spôsobiť

neúmyselné ovplyvnenie účastníkov experimentu.

• Očakávania výskumníka môžu ovplyvniť realitu.

Validita kvalitatívneho výskumu sa zabezpečuje dlhodobosťou výskumu, bezprostredným

kontaktom s pozorovaným fenoménom, detailným opisom každej maličkosti.

Validitu možno v kvalitatívnom výskume podporiť:▫ súbežným použitím viacerých metód zberu údajov – vychádza sa

z premisy, že každá metóda lepšie uchopí iný aspekt pozorovaného fenoménu, čo prispeje k jeho lepšiemu pochopeniu a interpretácii. Získané výsledky sa vzájomne porovnávajú a konfrontujú,

▫ súbežným pozorovaním viacerými výskumníkmi. Podstata použitia a výsledkov je podobná prvému postupu,

▫ súčasným využitím viacerých teoretických prístupov.Pri validnom interpretovaní výsledkov kvalitatívneho výskumu

sa často odporúča päť spôsobov kritického uvažovania o kvalitatívnych dátach, ktorého cieľom sú validnejšie zistenia:▫ princíp vyvrátiteľnosti,▫ metóda systematického pozorovania,▫ úplné spracovanie dát,▫ analýza deviantných prípadov,▫ využitie vhodných tabuliek.

ReliabilitaCharakterizuje presnosť, konzistentnosť merania. Vyjadruje teda spoľahlivosť merania.

Existujú tri základné faktory, ktoré ovplyvňujú reliabilitu:• Rozsah výskumného nástroja (počet položiek)• Homogenita výskumného nástroja• Obťažnosť úloh výskumného nástroja

Existuje niekoľko spôsobov zisťovania reliability:• Opakovanie administrácie výskumného nástroja• Rozpolovanie výskumného nástroja• Odhad vnútornej konzistencie výskumného

nástroja

(A) Opakovanie administrácie výskumného nástroja• test – retest• pri opakovaní administrácie sa postupuje tak, že

sa ten istý výskumný nástroj zadáva dvakrát tým istým ľuďom s časovým odstupom. Potom sa vypočíta miera zhody medzi výsledkami prvého a druhého administrovania.

(B) Rozpolovanie výskumného nástroja• ak je výskumný nástroj dostatočne homogénny,

stačí test administrovať jedenkrát. Pri výpočte sa test rozdelí na dve polovice. Jednu polovicu tvoria výsledky párnych položiek a druhú výsledky nepárnych položiek.

• osobitne sa vypočíta skóre pre párne a pre nepárne položky. Výsledky nepárnych a párnych položiek sa skorelujú.

• výsledok však nie je realistický – korekčný vzorec Spearmana a Browna:

(C) Odhad vnútornej konzistencie výskumného nástroja

Reliabilita pri metóde pozorovania • metóda posúdenia dvomi nezávislými

hodnotiteľmi (inter-rater reliability). • vypočíta sa stupeň zhody (obyčajne v %)

Vzťah medzi validitou a reliabilitou• Dobrý výskumný nástroj musí mať dostatočnú

validitu i dostatočnú reliabilitu. Ak je validita nízka, je zrejmé, že výskumný nástroj zisťuje niečo iné, než to, čo výskumník chcel zisťovať. V tom prípade ani vysoká reliabilita (ak je vôbec v takomto prípade možná) nie je zárukou získania dobrých dát. Podobne, ak je reliabilita veľmi nízka, vysoká validita nezachraňuje hodnotu daného nástroja. Pre výskumníka je preto jediná cesta – hľadať (alebo skonštruovať) výskumné nástroje, ktoré sú dostatočne validné i dostatočne reliabilné.

Reliabilita v kvalitatívnych výskumoch• V kontexte kvalitatívnych výskumov reliabilita

dominantne hovorí o stupni zhody, s akým rôzni pozorovatelia alebo ten istý pozorovateľ v rôznych situáciách zaradia pozorované prípady do tej istej kategórie. Inak povedané chápu a interpretujú ich zhodne.

• Pre kvalitatívny výskum napríklad platí, že jeho precízna štrukturácia je ohraničená. Mnohokrát sa merajú atypické, v istom zmysle unikátne, premenlivé fenomény, čo prirodzene dosť obmedzuje replikovateľnosť, čo je základný predpoklad reliability.

• Povinnosťou výskumníka je preto v kvalitatívnych výskumoch predovšetkým, aby zdokladoval svoj postup a preukázal, že použité kategórie aplikoval správne.