Pedagogický experiment

Experiment je špeciálna situácia na testovanie hypotéz ako jediná z výskumných metód vie

dokázať kauzálne dôsledky

Iné výskumné metódy – skúmajú len vzájomné vzťahy javov, nemôžeme s istotou potvrdiť, že tieto vzťahy sú kauzálne.

Pedagogický experiment je dôsledkom presadenia sa behaviorálnej

výskumnej paradigmy, ktorá vyrástla na pozitivistickom pozadí čerpajúc inšpiráciu z experimentálnych výskumov v prírodných vedách.

klasik metodológie behaviorálneho pedagogického výskumu R. M. Travers (1969) – výklad pedagogického experimentu je bohato ilustrovaný príkladmi a menami známych prírodovedcov (Faraday, Mendelejev, Cavendish, Boyle, Magleigh, Galileo, Priesley, Einstein, ...).

Pedagogický experiment na zistenie efektívnosti edukačného

pôsobenia (vzdelávacieho programu, intervencie, tréningu, učebnice a pod.).

pozorovanie, dotazník, interview... tieto výskumné metódy slúžia na opis edukačnej reality, prípadne aj na opis jej zmeny, ale nie na zistenie jej efektívnosti.

je nevyhnutnou výskumnou metódou pri zavádzaní edukačných zmien, inovácií a uskutočňovaní transformácií alebo reforiem

Pedagogický experiment je komplexná výskumná metóda Používa aj iné výskumné metódy na

získanie údajov o subjektoch experimentu – test, dotazník, pozorovanie, škálovanie, sociometria atď. – na zistenie charakteristiky subjektov – a to pred i po skončení experimentu.

Pri takomto výskume sa používa skupina výskumných metód, ktoré sú rámcované experimentom.

Kauzalitajav A → dôsledok D

Nový liek → vyliečenie (vyliečenie nastalo vplyvom lieku)

Športový tréning → rekord (rekord nastal vplyvom športového tréningu)

Zvýšenie motivácie žiaka učiť sa → lepšie učebné výsledky (lepšie učebné výsledky vznikli vplyvom zvýšenia motivácie)

Smer kauzality Jav musí predchádzať jeho dôsledkom. Jav A musí existovať pred dôsledkom D.

"Intenzívne sledovanie akčných televíznych filmov zvyšuje frekvenciu agresívneho správania adolescentov.„

Skúška kauzality – „obrátený test“. Musíte výrok prepolarizovať (obrátiť).

Nezávisle a závisle premenná nezávisle premenná – spôsobuje daný

efekt.

závisle premenná – sa vplyvom nezávisle premennej zmení – jej kvalita, hodnota a pod. závisí od nezávisle premennej

Výskumník manipuluje s nezávisle premennou a zisťuje, aký to má dôsledok na závisle premennú.

Príklad

nezávisle premenná → závisle premenná

nový liek → vyliečenie

športový tréning → rekord

zvýšenie motivácie žiaka učiť sa

→ lepšie učebné výsledky

Hypotéza je očakávanie o vplyve nezávisle

premennej na závisle premennú.

„Ak použijete A, dosiahnete lepšie výsledky, ako keď použijete B.“

Má zmysluplné teoretické zdôvodnenie!

Manipulácia s nezávisle premennou organizačné zásahy týkajúce sa nezávisle

premennej, ktoré výskumníkovi umožňujú sledovať kauzálne pôsobenie na závisle premennú.

niekoľko úrovní nezávisle premennej – situácie alebo podmienky, ktorých efekt sa vzájomne porovnáva.

Dve skupiny subjektov Experimentálna skupina Kontrolná skupina

umožňujú manipuláciu s premennou v kontrolovaných podmienkach

účinnosť, efektivita, frekvencia, kvalita a iné vlastnosti, ktoré sa viažu na nezávisle premennú, sa vyjadrujú v druhom stupni prídavného mena alebo príslovky

Efekt nezávisle premennej A je účinnejšie ako B A je efektívnejšie ako B A je frekventovanejšie ako B A je kvalitnejšie ako B

Iná polarita vzťahu: A je menej účinné ako B A je menej efektívne ako B A j menej frekventované ako B A je menej kvalitné ako B

Rovnocenné skupiny Rovnocenné v ukazovateľoch, ktoré môžu

ovplyvniť závisle premennú. Na začiatku experimentu – približne

rovnaké skupiny subjektov. Na konci experimentu – nerovnaké skupiny

subjektov. Hodnoty experimentálnej a kontrolnej

skupiny budú nerovnaké v závisle premennej vplyvom experimentálneho pôsobenia.

Spôsob zostavenia rovnocenných skupín Náhodný výber

Kváziexperiment

Nenáhodný výber subjektov podľa kľúčových charakteristík, ktoré

môžu ovplyvniť závisle premennú. Napr. vek, ročník štúdia, pohlavie, IQ, prospech, motivácia, záujmy, doterajšie vedomosti, bydlisko, charakteristiky domova a pod.

čo najviac podobných kľúčových charakteristík.

výber subjektov sa uskutočňuje na začiatku experimentu.

Vstupné meranie – pretest akékoľvek meranie, ktorým skontrolujete, do akej

miery sú obidve skupiny podobné v kľúčových charakteristikách. Napr. test, škálovanie, dotazník, štruktúrované pozorovanie, sociogram a pod.

V pedagogickom experimente sa pracuje s celými triedami, a nie s novo zostavenými skupinami len pre účel experimentu.

Meranie závislej premennej – posttest zisťuje vplyv nezávisle premennej na

závisle premennú. Otázka znie: bola experimentálna skupina

lepšia ako kontrolná v postteste?

Vyjadrenie výsledku experimentu s náhodne vybratými subjektmi Úlohou výskumníka je zistiť, či je medzi

experimentálnou a kontrolnou skupinou v postteste štatisticky významný rozdiel.

Rozdiel v prospech experimentálnej skupiny znamená, že pôsobenie nezávisle premennej v tejto skupine bolo silnejšie ako u kontrolnej skupiny.

PríkladZmena postojov rodičov k integrácii postihnutých detí do tried, kde sú intaktné

deti. Experimentálna skupina absolvovala návštevy škôl, kde takáto integrácia detí už

existuje. Návštevy boli doplnené vysvetľovaním a besedou s deťmi a učiteľmi. Kontrolná skupina absolvovala prednášky o zmysluplnosti integrácie pre postihnuté i

pre intaktné deti. Experimentálna a kontrolná skupina rodičov bola pred výskumom vybratá náhodným

spôsobom (žrebovaním) spomedzi všetkých rodičov žiakov danej školy. Na konci experimentu vyplnili obidve skupiny škálovaný postojový dotazník.

Rozdiel medzi obidvomi skupinami bol malý (AP = 0,14) a na základe štatistického U-testu Mann-Whitneyho. Vypočítaná hodnota p je ďaleko od požadovanej hodnoty štatistickej významnosti, ktorá má byť 0,05. Hypotéza, že pôsobenie pomocou návštevy školy, vysvetľovania a besedy bude mať pozitívnejší vplyv na zmenu postojov rodičov k integrácii ich detí ako pôsobenie prostredníctvom prednášok, sa nepotvrdila.

N AP posttestrozdiel AP exp. – kontr. skupina

U-test Mann-Whitneyho

p

Exp. skupina

168 2,49

0,19 12845 0,1308Kontr.

skupina169 2,30

Vyjadrenie výsledku experimentu s nenáhodne vybratými subjektmi zistiť, či je rozdiel medzi pretestom a

posttestom u experimentálnej skupiny je štatisticky významne väčší ako u kontrolnej skupiny.

PríkladEfektívnosť dvoch programov na rozvoj verbálnych zručností žiakov. Experimentálna skupina – program AKontrolná skupina – program B. Na začiatku experimentu žiaci písali pretest.Rozdiel v preteste medzi experimentálnou a kontrolnou skupinou nebol štatisticky

významný. Na konci experimentu žiaci písali posttest. Porovnanie rozdielu medzi pretestom a posttestom u obidvoch skupín.

Experimentálna skupina sa zlepšila v teste o 3 body, kontrolná skupina sa zhoršila o pol boda.

Výskumník overil rozdiely štatistickým testom Wilcoxona.Hodnota p je u experimentálnej skupiny nižšia, ako je požadovaná hodnota štatistickej

významnosti (aspoň 0,05). Na druhej strane, vypočítaná hodnota p u kontrolnej skupiny je vyššia, ako je požadovaná minimálna hodnota štatistickej významnosti 0,05. Keďže experimentálna skupina sa zlepšila viac ako kontrolná skupina, pôsobenie programu A bolo efektívnejšie ako B.

N AP pretest AP posttestRozdiel pretest-posttest

p

Exp. skupina 150 67,7 70,7 3,0 0,0001

Kontr. skupina 150 69,9 69,5 -0,4 0,3069

Testy štatistických hypotéz (testy štatistickej významnosti)Pri hodnotení vzťahov medzi premennými sa

premenné často delia na závislé (vysvetľované - Y) a nezávislé (vysvetľujúce - X), čo sa dá zapísať:

Y = f(X1, X2, ..., Xn).

Výrazy závislý a nezávislý pochádzajú z oblasti experimentálneho výskumu. Tieto výrazy sa však používajú aj v korelačných výskumoch, v ktorých nezávislými premennými nemanipulujeme, iba na základe ich hodnoty každú štatistickú jednotku zaraďujeme do jednej skupiny. Napríklad ak pri výskume porovnávame počet bielych krviniek u mužov a žien, pohlavie bude nezávislá premenná a počet bielych krviniek závislá premenná.

Testy štatistických hypotézŠtatistická hypotéza je tvrdenie týkajúce sa

základného súboru. V prípade parametrických testov je hypotéza

tvrdenie o neznámej hodnote parametra základného súboru.

Formulácia nulovej hypotézy Konečným cieľom väčšiny štatistických

testov je zhodnotenie vzťahu medzi premennými. Nulová hypotéza potom vyjadruje nezávislosť premenných. Napríklad nulová hypotéza t-testu vyjadruje rovnosť priemerov dvoch základných súborov. Rozdiel zistený vo vzorke sa považuje za náhodný (je dôsledkom náhodného výberu).

Formulácia alternatívnej hypotézy (Ha) Väčšinou chceme dokázať pravdivosť alternatívnej

hypotézy, ktorá najčastejšie vyjadruje štatistickú závislosť premenných. Pravdivosť alternatívnej hypotézy sa dokazuje vždy iba nepriamo a to tak, že ukážeme, že nulová hypotéza je nepravdepodobná a alternatívna (jediná zostávajúca), je teda pravdepodobná.

Alternatívna hypotéza má napr. tvar: priemery základných súborov sa nerovnajú. Rozdiel nameraný vo vzorke je teda štatisticky významný.

Ak však chceme napr. zistiť, či sa po podaní lieku znížil priemerný krvný tlak pacientov (možnosť zvýšenia tlaku po podaní lieku úplne vylučujeme), alternatívna hypotéza bude mať tvar: priemer 1 je väčší ako priemer 2. Takéto jednostranné hypotézy sa používajú zriedkavo a s veľkou opatrnosťou.

Stanovenie hladiny významnosti (α) Hladina významnosti je pravdepodobnosť

chyby I. druhu, ktorú urobíme, ak zamietneme nulovú hypotézu, ktorá v skutočnosti platí. Teda ak prídeme k záveru, že medzi premennými existuje vzťah, pričom medzi nimi vzťah nie je. Alfa sa tradične stanovuje na 5 % (= 0,05) alebo 1 % (= 0,01).

Výpočet testovacej štatistiky a pravdepodobnosti Zo vzorky sa vypočíta testovacia štatistika, ktorá má za

predpokladu pravdivosti nulovej hypotézy príslušné rozdelenie pravdepodobnosti (F, Chi-kvadrát, t). P-hodnota (P-Value, Probability Level) predstavuje pravdepodobnosť, že testovacia štatistika za predpokladu pravdivosti nulovej hypotézy dosiahne prinajmenšom tak extrémnu hodnotu, ako je hodnota vypočítaná zo vzorky. P-hodnota je pravdepodobnosť, že vzťah zistený z našich údajov je iba dôsledkom nešťastnej vzorky a ak by sme vybrali ďalšiu náhodnú vzorku, nemuseli by sme nájsť nič. P-hodnota je najnižšia hodnota hladiny významnosti, ktorá vedie k zamietnutiu nulovej hypotézy. P-hodnota je odhadovaná pravdepodobnosť zamietnutia pravdivej nulovej hypotézy. Čím menšia je P, tým viac sme presvedčení, že nulová hypotéza nie je pravdivá a mala by byť zamietnutá.

Rozhodnutie Ak P < α, nulová hypotéza sa voči príslušnej alternatívnej

hypotéze zamietne. Znamená to, že rozdiel nameraný vo vzorke je príliš veľký na to aby bol iba náhodný. Medzi premennými teda existuje vzťah.

Ak P ≥ α, nulovú hypotézu nemožno zamietnuť. Znamená to, že rozdiel nameraný vo vzorke môže byť iba náhodný. Často sa v takomto prípade nesprávne hovorí, že nulová hypotéza sa prijíma. Správny je výrok, že nemáme dostatočné dôkazy na to, aby sme nulovú hypotézu zamietli. Teda nemáme dostatok dôkazov na to, aby sme tvrdili, že medzi premennými existuje vzťah.

V praxi sa veľmi často hladina významnosti nestanovuje vopred, teda P-hodnota sa interpretuje samostatne. Väčšina autorov uvádza P < 0,05 ako štatisticky významný a P < 0,01 ako štatisticky vysoko významný vzťah.

Výsledky

SkutočnosťRozhodnutie

H0 nezamietnutá H0 zamietnutá

H0 pravdivá Správne rozhodnutie (p = 1−α)

Chyba I. druhu (p = α)

H0 nepravdivá Chyba II. Druhu (p = β)

Správne rozhodnutie (p = 1−β)

H0: Nulová hypotézap: Pravdepodobnosť nastatia danej situácieα: Significance level (hladina významnosti)1−α: Confidence level (spoľahlivosť)1−β: Power (sila testu)

Krátkodobé a dlhodobé efekty experimentu Efekt nezávisle premennej

bezprostredne po skončení experimentu. s odstupom niekoľkých týždňov alebo

mesiacov – retencia experimentálneho efektu.

Aktivita kontrolnej skupiny kontrolná skupina by mala plnohodnotne

fungovať. Musí konať určitú aktivitu, ktorá je paralelná, ale nie totožná s aktivitou experimentálnej skupiny. Prirodzene, nečinnosť kontrolnej skupiny je menšie zlo ako neexistencia kontrolnej skupiny. V takomto prípade nemôžete výkon experimentálnej skupiny porovnať s ničím.

Trvanie experimentu Toto je otázka, na ktorú si experimentátor

nájsť odpoveď sám. Záleží na tom, aký zložitý je skúmaný jav a ako dlho trvá, než sa prejaví zmena oproti vstupným charakteristikám subjektov. Postoje k etnickej skupine sa pravdepodobne nedajú zmeniť tak rýchlo (ak sa vôbec dajú) ako navýšenie vedomostí z konkrétneho učiva.

Nežiaduce premenné história, efekt merania, reaktivita subjektov, mortalita a diferencovaný výber subjektov.

Laboratórny experiement Laboratórny experiment je taký experiment, pri ktorom sú

podmienky veľmi prísne kontrolované – počnúc teplotou miestnosti a končiac povedzme intonáciou reči experimentátora. Ide obyčajne o individuálne pôsobenie, subjekt sedí v izolovanej miestnosti. Týmto spôsobom experimentujú napríklad psychológovia s faktormi, ktoré vplývajú na pozornosť subjektov. Zvukotesná miestnosť zaručuje, že subjekt bude vnímať len zvukový stimul, ktorý mu vyšle experimentátor. Nebude ovplyvnený ničím iným. Laboratórny experiment vznikol vo vedách, ako je chémia a fyzika. V pedagogike nenašiel uplatnenie. Je to preto, lebo je príliš vzdialený prirodzenému prostrediu človeka a abstrahuje od jeho sociálnych a kultúrnych daností. Môžeme povedať, že laboratórny experiment má síce vysokú vnútornú validitu, ale má nízku externú validitu – jeho závery možno len ťažko zovšeobecniť na bežné životné situácie.