59
Správa zo štatistického spracovania Testu študijných predpokladov Vstupné meranie aktivity 4.1 „Indikátory kvality vzdelávania v hodnotení škôl“ Názov projektu: Hodnotenie kvality vzdelávania na ZŠ a SŠ v SR v kontexte prebiehajúcej obsahovej reformy vzdelávania Spracovala: PaedDr. Kristína Sotáková, PhD., Mgr. Michal Hacaj Bratislava 2011 - 2012

Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

  • Upload
    others

  • View
    7

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

Správa zo štatistického spracovania Testu študijných predpokladov

Vstupné meranie aktivity 4.1 „Indikátory kvality vzdelávania v hodnotení škôl“

Názov projektu: Hodnotenie kvality vzdelávania na ZŠ a SŠ v SR v kontexte prebiehajúcej obsahovej reformy vzdelávania

Spracovala: PaedDr. Kristína Sotáková, PhD., Mgr. Michal Hacaj

Bratislava 2011 - 2012

Page 2: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

2

OBSAH

Vysvetlivky................................................................................................... 3

1. Úvod ................................................................................................... 4 1.1 Teoretické východiská a predmet merania............................................ 4 1.2 Využiteľnosť metodiky.......................................................................... 5 1.3 Pôvod a autorstvo metodiky TŠP ......................................................... 6 1.4 Štruktúra (skladba) subtestov................................................................. 6

2. Meranie ............................................................................................. 9 2.1 Popis súboru probandov.......................................................................... 9 2.2 Spôsob administrovania.......................................................................... 10 2.3 Zistené charakteristiky metodiky............................................................ 11 2.4 Interpretácie: rozbor výkonu probandov................................................. 14 2.4.1 Rozdiely podľa typu škôl................................................................... 14 2.4.2 Rozdiely podľa kraja......................................................................... 16 2.4.3 Rozdiely podľa zriaďovateľa.............................................................. 17 2.4.4 Rozdiely podľa rodu.......................................................................... 18 2.5 Spätná väzba......................................................................................... 19 2.6 Položková analýza a ekvivalentnosť variantov A, B............................. 21 2.6.1 Obťažnosť......................................................................................... 21 2.6.2 Korelácia položky so zvyškom testu...................................................... 24 2.6.3 Kľúče a distraktory............................................................................ 25 2.6.4 Distribúcia úspešnosti a citlivosť......................................................... 34 2.6.5 Neriešenosť...................................................................................... 46 2.6.6 Súhrnné charakteristiky položiek........................................................ 48

3. Záver................................................................................................... 50 3.1 Úroveň študijných predpokladov žiakov vybranej vzorky................... 50 3.2 Porovnanie TŠP s jeho pôvodnou verziou......................................... 50 3.2 Ekvivalencia paralelných testov (variantov) A a B.............................. 53 3.3 Celkové vyhodnotenie položiek TŠP..................................................... 55 3.4 Ďalšie odporúčania................................................................................. 56 Zoznam literatúry...................................................................................... 57

Príloha: Inštrukcia pre administrátora – test TŠP...................... 58

Page 3: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

3

Vysvetlivky TSP – test študijných predpokladov

GYM – gymnáziá

OSŠ – ostatné stredné školy

N – veľkosť štatistického súboru, počet žiakov

BA – Bratislavský kraj

TT – Trnavský kraj

TN – Trenčiansky kraj

NR – Nitriansky kraj

ZA – Žilinský kraj

BB – Banskobystrický kraj

PO – Prešovský kraj

KE – Košický kraj

Sig. – obojstranná signifikancia, štatistická významnosť

Forma A,B – označenie variantov testu (niekde označené ako variant A, B)

P.Bis. – Point Biserial, parameter medzipoložkovej korelácie

r – korelačný koeficient, koeficient vecnej signifikancie

položka (testová) – príklad, úloha, otázka v teste určená na riešenie a hodnotená (0, 1)

v hrubom skóre

CTT – klasická testová teória vyhodnocovania dát

IRT – testová teória odpovedí na položku

Škálovanie obťažnosti položky:

0 – 10% extrémne ľahká úloha

11 – 20% veľmi ľahká úloha

21 – 40% ľahká úloha

41 – 60% stredne ťažká úloha

61 – 80% ťažká úloha

81 – 90% veľmi ťažká úloha

91 – 100% extrémne ťažká úloha

Page 4: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

4

1. Úvod

1.1 Teoretické východiská a predmet merania

Rozdielna úspešnosť študentov pri štúdiu súvisí s určitými duševnými predpokladmi,

ktoré zahŕňame do kategórie študijných schopností. Študenti, ktorí majú tieto schopnosti dobre

rozvinuté, majú väčšie predpoklady dosahovať dobré výsledky v štúdiu na strednej alebo vysokej

škole bez ohľadu na typ školy a na jeho zameranie. Preto sa o uvedenom súbore schopností

hovorí ako o všeobecných študijných predpokladoch. Všeobecné študijné predpoklady čiastočne

súvisia s kritickým myslením1, zároveň sú nezávislé („Test OSP v NSZ“, n.d.) od konkrétnych

vedomostí, ktoré človek má. Faktory, ktoré určujú študentove schopnosti a charakterizujú

efektívnosť jeho učenia, sú zhrnuté („Kompletní příprava na test studijních předpokladů“, n.d.)

do troch oblasti ľudského myslenia:

Verbálna oblasť

Predstavuje schopnosť používať jazyk v čo najširších, ale zároveň najpresnejších hraniciach.

V praxi to znamená poznať a aktívne používať synonymá, antonymá, analógie, príslovia,

gramatické javy, doplňovanie vhodných výrazov do viet, extrahovanie informácií zo súvislého

odborného textu, rozbor odborných textov s použitím metódy kritického myslenia.

Analytická oblasť

Táto oblasť je čiastočne verbálna, ale zároveň zameraná na kombinačné a logické myslenie. Do

tejto oblasti patrí: schopnosť dávať do súvislosti viacero podmienok, schopnosť nájsť vhodnú

stratégiu na riešenie úloh typu "zebra2", úloh vychádzajúcich zo základov výrokovej logiky, t.j.

schopnosť chápať základné typy úsudkov a dvojstupňové analógie, predikátne tvrdenia,

existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné

schopnosti, schopnosť zovšeobecnenia a dedukcie z odborných textov.

Kvantitatívna oblasť

Ide o rôznorodú oblasť, ktorá robí žiakom najväčšie problémy. Do tejto oblasti patria: numerické

schopnosti a schopnosť riešiť príklady vychádzajúce z elementárnych matematických

zákonitostí: dopĺňať a vytvárať jednoduché a dvojité číselné rady, postupnosti, magické štvorce,

schopnosť počítať so zlomkami a vzorcami, slovné úlohy na percentá, rýchlosť a spoločnú prácu,

rozbor a čítanie grafov a tabuliek, úlohy s geometrickými obrazcami a pod.

1 Kritické myslenie je zámerný sebaregulujúci úsudok, založený na konceptuálnom uvažovaní, ktoré sa prejaví ako interpretácia, analýza, hodnotenie, hypotéza, resp. ako dokazujúce, pojmové, metodologické, kritériologické vysvetlenie (Facione, 1991). Táto schopnosť sa využíva pri riešení problémov s obmedzeným časovým limitom. 2 Úlohy z rekreačnej matematiky zamerané na hodnotiaci úsudok – priradiť objekty, prípadne ich vlastnosti navzájom k sebe tak, aby spĺňali všetky podmienky vymenované v zadaní úlohy.

Page 5: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

5

Zdroje testových úloh na zistenie študijných predpokladov sú viaceré voľne dostupné na

internetových portáloch: http://www.aleph.cz/, http://www.strednaskola.sk/, a pod.)

1.2 Využiteľnosť metodiky

Zisťovanie študijných predpokladov má význam aj z hľadiska psychodiagnostického

výskumu - viaceré stredné a vysoké školy využívajú test študijných predpokladov pri prijímacích

pohovoroch (Burjan, 2008) na zistenie všeobecných predpokladov pre štúdium svojich

uchádzačov. Keďže ide o porovnávací (CR) test, vie dobre selektovať tých študentov, ktorí na

štúdium majú, resp. nemajú všeobecné študijné predpoklady.

Test študijných predpokladov môže byť vhodným nástrojom na sebahodnotenie žiaka.

Pomocou neho môže žiak reálne poznať mieru svojich študijných schopností, čo je prvým

predpokladom pre dobrý výber školy (odboru). Test použitý v našom meraní je

neštandardizovaný test pre 15,16-ročných žiakov, určený na posúdenie ich študijných

predpokladov pred vstupom na strednú školu.

Ak učiteľ pozná študijné predpoklady svojich žiakov, môže na základe prevažujúcej

výkonovej tendencie žiakov v triede optimalizovať svoju prácu. Napr. pri žiakoch s dobre

rozvinutými verbálnymi študijnými predpokladmi, môže dobre rozvinúť metódy práce súvisiace

s vlastnou tvorivou literárnou činnosťou žiakov. Analytické myslenie viac súvisí s bádateľskou

činnosťou – rozbor diela, odborná diskusia na danú tému a pod. Ako uvádza V. Burjan (2008):

„Mnohí ľudia sa mylne domnievajú, že študijné schopnosti v kvantitatívnej oblasti sa uplatňujú

iba pri štúdiu matematiky. Avšak sú rovnako potrebné aj pre štúdium ostaných prírodovedných a

mnohých spoločenskovedných predmetov. Napríklad dejepis kladie veľké nároky na pojmové

myslenie. Vyžaduje schopnosť osvojiť si množstvo pojmov a vedieť s nimi pracovať.“

Ďalšie využitie TŠP, ktoré je zatiaľ v štádiu skúmania, súvisí s tzv. pridanou hodnotou

školy. V zmysle využitia študijných predpokladov školu, prípadne zvýšenia týchto

predpokladov, je potrebné pri počítaní pridanej hodnoty školy porovnať študijný potenciál

žiakov s ich výsledkami v matematickej a jazykovej gramotnosti. Kvalita vzdelávania danej

školy v značnej miere súvisí so študijnými predpokladmi žiakov, ktorí ju navštevujú. V

prípade žiaka, ktorý má vyšší/nižší študijný potenciál, sa predpokladá aj vysoká/nízka pridaná

hodnota vo vzdelávaní v matematickej a jazykovej gramotnosti. Preto pridaná hodnota školy sa

prakticky ukáže na miere efektivity nakladania so študijným potenciálom jej žiakov.

Page 6: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

6

1.3 Pôvod a autorstvo metodiky TŠP

Na meranie študijných predpokladov študentov stredných škôl sme použili nástroj, ku

ktorému podklady sme získali od spoločnosti SCIO. Pôvodný test spoločnosti SCIO „Vektor –

modul 1A“ obsahuje 60 položiek s dobou riešenia 60 minút. V našom testovaní vybranej vzorky

žiakov 1. ročníka stredných škôl sme pôvodný test rozdelili na dva varianty A a B po 30 úloh

tak, aby sa nenarušila obsahová validita testu a aby sme dosiahli čo najväčšiu ekvivalenciu

variantov.

1.4 Štruktúra (skladba) subtestov

Test bol štandardne členený na verbálnu, analytickú a kvantitatívnu časť. Všetky položky

testu boli koncipované formou otázky s výberom odpovede, pričom len jedna z nich bola

správna.

Verbálna oblasť predstavovala cca 23,3% testu variantu A a 26,6% variantu B.

Obsahovala úlohy zamerané na schopnosť porozumieť slovám, vetám a súvislému textu, rýchle

a správne sa v ňom zorientovať a pracovať s informáciami, ktoré sú v texte obsiahnuté.

Overovala rozsah slovnej zásoby (aj menej časté slovenské slová) a jej správne používanie

v danom kontexte. Konkrétne boli z danej oblasti vybrané úlohy typu:

- porozumenie významu vety: doplňovanie slov do viet ;

- analógie, t.j. vzťahy v rámci dvojice slov;

- práca s dlhšími textami – extrahovanie informácií z textu;

- antonymá (slová s opačným významom).

Analytická oblasť predstavovala 36,6% testu variantu A a 33,3% testu variantu B. Do

tejto skupiny boli zahrnuté úlohy na pojmové myslenie, logické úsudky, zovšeobecňovanie

a analýzu textu. Konkrétne sú v danej oblasti obsiahnuté úlohy typu:

- vyvodzovanie informácií implicitne obsiahnutých v krátkych textoch;

- úlohy typu „zebra“;

- dvojstupňová analógia;

Kvantitatívna oblasť predstavovala 40% testu variantu A aj variantu B. Do tejto oblasti

boli zahrnuté úlohy na schopnosť rýchle sa zorientovať v numerických štruktúrach

prezentovaných grafom, tabuľkou, správne vyhodnotiť fakty vo forme numerických dát a aktívne

s nimi pracovať. Konkrétne sú v danej oblasti obsiahnuté úlohy typu:

- odhaľovať štruktúru a kauzalitu v numerických dátach;

- orientácia v tabuľkách a grafoch, interpretácia dát;

- slovné úlohy (na pohyb, spoločnú prácu a pod.);

Page 7: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

7

- priestorová predstavivosť.

Kľúč k rozdeleniu testu uvádzame v nasledujúcej tabuľke (Tab. 1.1 ).

Page 8: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

8

Tab. 1.1 Rozdelenie 60-tich položiek testu SCIO podľa foriem A, B a obsahových oblastí

Por.č. obsahovej

oblasti

Obsahová oblasť Číslo položky v TSP

Číslo položky v teste SCIO A -forma B- forma

1 Verbálna oblasť. Čítanie s porozumením, otázky

testujúce porozumenie významu vety.

1 1 1 2 2 3 2 4 3 5

2 Analytická oblasť. Otázky testujúce analytické

myslenie.

4 6 5 7 3 8 4 9 5 10 6 11

3 Verbálna oblasť. Otázky testujúce antonymá.

6 12 7 13

7 14 8 15

8 16

4 Verbálna oblasť. Čítanie s porozumením otázky

testujúce porozumenie textu a extrahovanie informácií z textu.

9 17 10 18 9 19 10 20 11 21

5 Analytická oblasť. Logické (kauzálne) myslenie a

úsudky. Otázky testujúce logické myslenie.

12 22 11 23 12 24 13 25

13 26 14 27 15 28 14 29

6 Analytická oblasť. Logická analýza textu.

Schopnosť odhaľovať v texte implicitne obsiahnuté informácie.

15 30 16 31 17 32 16 33 17 34

18 35 18 36

7 Kvantitatívna oblasť. Schopnosť analyzovať a

interpretovať dáta prezentované vo forme grafu.

19 37 20 38 19 39 20 40

8 Kvantitatívna oblasť. Schopnosť analyzovať a interpretovať numerické dáta prezentované vo

forme tabuľky.

21 41 21 42

22 43 22 44

9 Kvantitatívna oblasť. Schopnosť odhaľovať štruktúru (kauzalitu) v numerických dátach

23 45 24 46 23 47

25 48 24 49

26 50 25 51 26 52

27 53 27 54

28 55 28 56

29 57 29 58

30 59

30 60

Page 9: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

9

2. Meranie

2.1 Popis súboru probandov

Test študijných predpokladov písalo 2713 žiakov z 37 stredných škôl. Testovania sa

zúčastnilo celkovo 1384 chlapcov, čo predstavuje 51,0 % z celej výskumnej vzorky. Boli to žiaci

prvého ročníka stredných škôl experimentálnej skupiny aktivity 4.1 „Indikátory kvality

vzdelávania v hodnotení škôl“ projektu ESF s názvom „Hodnotenie kvality vzdelávania na ZŠ a

SŠ v SR v kontexte prebiehajúcej obsahovej reformy vzdelávania“. Testovanie bolo realizované

v mesiacoch november – december 2010.

V úvodných tabuľkách uvádzame počty škôl a žiakov zapojených do testovania

študijných predpokladov vo variante (forme) A a B triedené podľa kraja (Tab. 2.1.a, b),

zriaďovateľa (Tab. 2.2.a, b), rodu (Tab. 2.3.a, b) a typu (Tab. 2.4).

Tab. 2.1.a TSP A forma - početnosť škôl a žiakov podľa kraja

školy žiaci

absolútna početnosť

relatívna počet. (%)

absolútna početnosť

relatívna počet.(%)

BA 4 10.8 158 11.4

TT 4 10.8 136 9.8

TN 4 10.8 154 11.1 NR 3 8.1 91 6.6

ZA 4 10.8 158 11.4

BB 7 18.9 122 8.8

PO 5 13.5 176 12.7

KE 6 16.2 390 28.2

Spolu 37 100.0 1385 100.0

Tab. 2.1.b TSP B forma - početnosť škôl a žiakov podľa kraja

školy žiaci

absolútna početnosť

relatívna počet. (%)

absolútna početnosť

relatívna počet.(%)

BA 4 10.8 156 11.7

TT 4 10.8 119 9.0

TN 4 10.8 155 11.7

NR 3 8.1 91 6.9

ZA 4 10.8 148 11.1

BB 6 16.2 112 8.4

PO 6 16.2 173 13.0

KE 6 16.2 374 28.2

Spolu 37 100.0 1328 100.0

Page 10: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

10

Tab. 2.2.a TSP A forma - početnosť podľa zriaďovateľa

školy žiaci

absolútna

početnosť

relatívna

počet. (%)

absolútna

početnosť

relatívna

počet.(%)

štátne školy 30 81.1 1249 90.2

súkromné školy 3 8.1 31 2.2

cirkevné školy 4 10.8 105 7.6

spolu 37 100.0 1385 100.0

Tab. 2.2.b TSP B forma - početnosť podľa zriaďovateľa

školy žiaci

absolútna

početnosť

relatívna

počet. (%)

absolútna

početnosť

relatívna

počet.(%)

štátne školy 30 81.1 1206 90.8

súkromné školy 3 8.1 28 2.1

cirkevné školy 4 10.8 94 7.1

Spolu 37 100.0 1328 100.0

Tab 2.3.a, b

Tab 2.4 TSP A, B forma 2010 - počet škôl podľa typu

absolútna

početnosť relatívna počet. (%)

gymnáziá 18 48,6 iné stredné školy 19 51,4 spolu 37 100

2.2 Spôsob administrovania

Školy zapojené do testovania boli rovnomerne vybraté zo všetkých krajov3 Slovenska.

Regionálni spolupracovníci boli vopred zaškolení do administrácie pracovníkom NÚCEM-u.

TŠP bol administrovaný spolu s testom všeobecných schopností v nanajvýš dvoch po sebe 3 Poznámka: Nitriansky kraj registruje pomerne veľký počet škôl s vyučovacím jazykom maďarským. Nakoľko TŠP bol písaný v slovenskom jazyku, do testovania nemohol byť zapojený dostatočný počet škôl z Nitrianskeho kraja.

TSP B forma 2010 - počet žiakov

podľa rodu

absolútna

početnosť

relatívna

počet. (%)

chlapci 697 52.5

dievčatá 631 47.5

Spolu 1328 100.0

TSP A forma 2010 - počet žiakov

podľa rodu

absolútna

početnosť

relatívna

počet. (%)

chlapci 687 49.6

dievčatá 698 50.4

Spolu 1385 100.0

Page 11: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

11

idúcich dňoch formou pero - papier. Zadávali ho 1- 3 poverení učitelia z danej školy. Časový

limit bol 30 minút. Zber dát bol anonymný. Odpoveďové hárky boli uchované skenovaním.

Výsledky boli vyhodnotené v štatistickom systéme SPSS 19.00. Presné inštrukcie pre

administrátora TŠP sú súčasťou prílohy č. 3 tejto správy.

2.3 Zistené charakteristiky metodiky

Variant A

Na spracovanie výsledkov testu študijných predpokladov a položkovej analýzy testu boli

v rámci klasickej štatistiky (CTT) použité metódy štatistickej deskripcie (Kol. aut., 2009),

inferencie a vecná signifikancia rozdielov. Štatistické charakteristiky týkajúce sa celkovej

úspešnosti4 súboru sú prezentované v nasledujúcej Tabuľke 2.5.

Tab. 2.5 Test študijných predpokladov A forma 2010 - psychometrické

charakteristiky testu (úspešnosť)

Test

TSP1A

Priemer

Počet testovaných žiakov 1385

Maximum 90.0

Minimum .0

Priemer 48.5

Štandardná odchýlka 14.5

Intervalový odhad úspešnosti populácie - dolná hranica 20.2

Intervalový odhad úspešnosti populácie - horná hranica 76.9

Štandardná chyba priemernej úspešnosti .4

Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica 47.8

Interval spoľahlivosti pre priemernú úspešnosť - horná hranica 49.3

Cronbachovo alfa .72

Štandardná chyba merania pre úspešnosť 7.7

Intervalový odhad úspešnosti individuálneho žiaka 15.1

Priemerná úspešnosť žiakov, ktorí písali test variantu A, bola 48,5 %. Maximálna

dosiahnutá úspešnosť bola 90 % bodov. Dosiahol ju iba jeden žiak. Dvaja žiaci nezískali žiaden

bod. Približne 95 % žiakov sa nachádza v intervale úspešnosti od 19,5 % do 77,5 %.

4Úspešnosť súboru definujeme ako percentuálny podiel bodov za položky, na ktoré žiaci správne odpovedali z celkového počtu možných bodov.

Page 12: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

12

Obr. 2.1 Histogram úspešnosti žiakov v TŠP, variantu A

Ako vidieť z Obrázku č. 2.1, graf je vyvážený, t.j. blíži sa k normálnemu rozloženiu úspešnosti

žiakov.

Page 13: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

13

Variant B

Štatistické charakteristiky týkajúce sa celkovej úspešnosti súboru sú prezentované v Tabuľke č. 2.6 .

Tab. 2.6 Test študijných predpokladov B forma 2010 - psychometrické

charakteristiky testu (úspešnosť)

Test

TSP1B

Priemer

Počet testovaných žiakov 1328

Maximum 93.3

Minimum .0

Priemer 47.3

Štandardná odchýlka 14.3

Intervalový odhad úspešnosti populácie - dolná hranica 19.4

Intervalový odhad úspešnosti populácie - horná hranica 75.3

Štandardná chyba priemernej úspešnosti .4

Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica 46.6

Interval spoľahlivosti pre priemernú úspešnosť - horná hranica 48.1

Štandardná chyba merania pre úspešnosť? 8.0

Intervalový odhad úspešnosti individuálneho žiaka 15.7

Cronbachovo alfa .69

Priemerná úspešnosť žiakov, ktorí písali test variantu B, je 47,3 %. Maximálna dosiahnutá

úspešnosť bola 93,3% bodov. Dosiahol ju iba jeden žiak. Jeden žiak nezískal žiaden bod.

Približne 95% žiakov sa nachádza v intervale úspešnosti od 18,7 % do 75,9 %.

Page 14: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

14

Obr. 2.2 Histogram úspešnosti žiakov v TŠ, variant B Z obrázku je vidieť, že graf je vyvážený, t. j. blíži sa k normálnemu rozdeleniu úspešnosti.

2.4 Interpretácie: rozbor výkonu probandov

2.4.1 Rozdiely podľa typu škôl Vyššiu úspešnosť v TŠP dosiahli žiaci gymnázií oproti žiakom z ostatných stredných

škôl. Najvyššiu priemernú úspešnosť dosiahli žiaci bilingválneho gymnázia – v teste variantu A

(63,64%) a v teste variantu B (66,75 %). Najnižšiu úspešnosť v teste variantu A (29,17 %)

a v teste variantu B (28,85 %) mali žiaci SOŠ.

Page 15: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

15

Obr. 2.3 a

Obr. 2.3 b

Z grafov je možné vyčítať väčšiu pripravenosť na štúdium u gymnazistov oproti žiakom

ostatných stredných škôl v oboch variantoch testu.

Page 16: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

16

2.4.2 Rozdiely podľa kraja

V tejto časti analýzy poukazujeme na rozdiely vo výsledkoch žiakov podľa kraja.

Výsledky, ktoré opisujú priemernú úroveň vedomostí žiakov v jednotlivých krajoch, sú doplnené

o štatistické testy a o vecnú signifikanciu rozdielu.

Tab. 2.7.a TSP forma A – úspešnosť podľa kraja

Kraj N Priemer Št. odchýlka

BA 158 43.671 1.2522

TT 136 51.765 1.1316

TN 154 52.100 1.3065

NR 91 49.560 1.1743

ZA 158 55.443 1.0647

BB 122 43.415 1.2049

PO 176 50.568 .9162

KE 390 45.615 .7209

Spolu 1385 48.534 .3891

Tab. 2.8.a TSP forma A – porovnanie priemernej úspešnosti podľa kraja s národným priemerom

Priemer experimentálnej vzorky: 48,5%

Kraj t Stupne voľnosti

Obojstranná

signifikancia

Vecná

signifikancia

1 BA -3.457 157 .001 .266

2 TT 3.327 135 .001 .275

3 TN 3.138 153 .002 .246

4 NR 1.329 90 .187 .139

5 ZA 6.991 157 .000 .487

6 BB -3.805 121 .000 .327

7 PO 2.803 175 .006 .207

8 KE -3.308 389 .001 .165

Tab. 2.7.b TSP forma B - úspešnosť podľa kraja

Kraj N Priemer Štand. odchýlka

BA 156 43.611 1.1575

TT 119 49.328 1.2558

TN 155 50.409 1.0496

NR 91 47.143 1.2966

ZA 148 55.383 1.1152

BB 112 44.167 1.3320

PO 173 45.530 1.0332

KE 374 45.642 .7498

Spolu 1328 47.339 .3917

Page 17: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

17

Tab. 2.8.b TSP forma B – porovnanie priemernej úspešnosti podľa kraja s národným priemerom

Priemer experimentálnej vzorky 47,34%

Kraj t

Stupne

voľnosti

Obojstranná

signifikancia

Vecná

signifikancia

1 BA -3.221 155 .002 .250

2 TT 1.583 118 .116 .144

3 TN 2.924 154 .004 .229

4 NR -.152 90 .879 .016

5 ZA 7.212 147 .000 .511

6 BB -2.382 111 .019 .221

7 PO -1.752 172 .082 .132

8 KE -2.265 373 .024 .116

Žiaci Žilinského kraja dosiahli v obidvoch variantoch signifikantne vyššiu úspešnosť, ako

je priemer experimentálnej vzorky – na úrovni silnej vecnej signifikancie. Žiaci Bratislavského a

Banskobystrického kraja dosiahli v oboch variantoch testu signifikantne nižšiu a žiaci

Trenčianskeho kraja signifikantne vyššiu úspešnosť, ako je priemerná úspešnosť celej

experimentálnej vzorky – na úrovni miernej vecnej signifikancie.

Úspešnosť v krajoch bola pri danom počte škôl ovplyvnená prevažujúcim typom školy,

ktorý sa vyskytoval na území daného kraja. Napr. v Žilinskom kraji sa na dobrom výkone značne

podieľali žiaci Bilingválneho gymnázia. V Bratislavskom kraji oproti tomu prevažovali žiaci zo

stredných odborných škôl a učilíšť.

2.4.3 Rozdiely podľa zriaďovateľa

Tab. 2.9.a TSP forma A 2010 Úspešnosť podľa zriaďovateľa

Zriaďovateľ N Priemer %

Štd. odchýlka

od priemeru

Štátne školy 1249 48.033 .4054

Súkromné školy 31 47.204 2.8923

Cirkevné školy 105 54.889 1.4079

Spolu 1385 48.534 .3891

Page 18: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

18

Tab. 2.9.b TSP B forma 2010 Úspešnosť podľa zriaďovateľa

Zriaďovateľ N Priemer Štand. odchýlka

Štátne školy 1206 47.090 .4149

Súkromné školy 28 49.405 2.8537

Cirkevné školy 94 49.929 1.2319

Spolu 1328 47.339 .3917

Tab.2.10 a, b. TSP forma A a B - porovnanie priemernej úspešnosti podľa zriaďovateľa v porovnaní

s celkovým priemerom experimentálnej vzorky

Priemer experimentálnej vzorky 48,5%

Zriaďovateľ t Stupne voľnosti

Obojstranná

signifikancia

Vecná

signifikancia

1 Štátne školy .082 1248 .935 .002

2 Súkromné školy -.275 30 .785 .050

3 Cirkevné školy 4.893 104 .000 .433

Priemer experimentálnej vzorky 47,34%

Zriaďovateľ t Stupne voľnosti

Obojstranná signifikancia

Vecná signifikancia

1 Štátne školy -.604 1205 .546 .017

2 Súkromné školy .724 27 .476 .138

3 Cirkevné školy 2.102 93 .038 .213

Najvyššiu priemernú úspešnosť z hľadiska zriaďovateľa dosiahli cirkevné školy. Rozdiel medzi

priemerom úspešnosti cirkevných škôl a celkovým priemerom experimentálnej vzorky je na

úrovni miernej až strednej vecnej signifikancie.

2.4.4 Rozdiely podľa rodu

Rozdiely v úspešnosti podľa rodu sa zo štatistického hľadiska neukázali signifikantné.

Tab. 2.11.a Úspešnosť TSP forma A - podľa rodu

Rod N

Priemer

%

Štd. odchýlka

priemeru

chlapci 687 46.817 .5797

dievčatá 698 50.224 .5125

Spolu 1385 48.534 .3891

Page 19: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

19

Tab. 2.11.b Úspešnosť TSP forma B - podľa rodu

Rod N Priemer Štand. odchýlka

chlapci 697 46.074 .5562

dievčatá 631 48.737 .5446

Spolu 1328 47.339 .3917

TSP forma A a B - porovnanie priemernej úspešnosti podľa rodu s priemerom experimentálnej vzorky

Tab. 2.12.a Priemer experimentálnej vzorky: 48,5%

Rod t

Stupne

voľnosti

Obojstranná

signifikancia

Vecná

signifikancia

1 chlapci -2.041 686 .042 .078

2 dievčatá 4.341 697 .000 .162

Tab. 2.12.b Priemer experimentálnej vzorky 47,34%

Rod t

Stupne

voľnosti

Obojstranná

signifikancia

Vecná

signifikancia

1 chlapci -2.277 696 .023 .086

2 dievčatá 2.566 630 .011 .102

Z uvedených výsledkov vyplýva:

• žiaci sú dobre adaptovaní na štúdium na strednej škole, o čom svedčí celková

priemerná úspešnosť v TŠP.

• z hľadiska typu školy test preferuje žiakov gymnázií pred žiakmi z ostatných

stredných škôl. Potvrdzuje to hypotézu, že na ďalšie štúdium na vysokej škole sú

vhodnejší absolventi gymnázií.

• z pohľadu rodovej rozdielnosti probandov nekladie test žiadne špeciálne požiadavky

– rozdiely v úspešnosti podľa rodu sa neukázali signifikantné.

• rozdiely v úspešnosti podľa krajov nemožno brať do úvahy, keďže vzorka nebola

vzhľadom na toto kritérium reprezentatívna.

• typ zriaďovateľa mal na výsledky mierny dosah – najlepšie výsledky aj z hľadiska

vecnej signifikancie preukázali cirkevné školy. Ak však vezmeme do úvahy, že

cirkevné školy, ktoré sú v našej vzorke, sú výlučne gymnáziá, kritérium zriaďovateľa

nie je relevantné.

Page 20: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

20

2.5 Spätná väzba

Podľa administrátorov mali žiaci slabú koncentráciu pri riešení testu, najmä pri obsiahlo

formulovaných položkách (analýza súvislého textu a pod.). V takých prípadoch úlohu

vynechali alebo tipovali. Na zabránenie tipovania jeden administrátor navrhol do budúcnosti

zostaviť test, ktorí by obsahoval aj položky s viacerými správnymi odpoveďami a každý žiak

sa bude musieť formou odpovedi áno – nie vyjadriť ku správnosti každej možnosti

odpovede. Administrátori odporúčajú rozdeliť administrovanie viacerých testov do

viacerých dní.

Page 21: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

21

2.6 Položková analýza a ekvivalencia variantov A, B

V tejto časti analýzy vyhodnocujeme položky testu študijných predpokladov vzhľadom

na parametre: úspešnosť, obťažnosť, citlivosť, neriešenosť, vynechanosť, nedosiahnutosť

jednotlivých položiek a ich koreláciu s testom.5

2.6.1 Obťažnosť Vzťah medzi úspešnosťou a obťažnosťou položky je nasledovný:

obťažnosť = 100% - úspešnosť

Zobrazenie obťažnosti položiek sme rozložili do dvoch častí po 15 položkách, pričom sú

usporiadané podľa obťažnosti. V prvej časti vidíme položky, ktoré boli obťažnejšie a v druhej

časti grafu vidíme menej obťažné položky.

Najobťažnejšou položkou je položka č. 26 A a 27 B (schopnosť odhaľovať štruktúru

v numerických dátach) a najmenej obťažnou položka č. 9 A (extrahovanie explicitných

informácií z textu) a 2B (porozumenie významu vety).

Obr. 2.4 a

5 Obsahovú analýzu jednotlivých položiek testu uvádzame v prílohe č. 1 a 2.

Page 22: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

22

Obr. 2.4 b

Obr. 2.5 a

Page 23: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

23

Tab. 2.13.a TSP A forma 2010 Obťažnosť Tab. 2.13.b TSP B forma 2010 Obťažnosť

Položka Obťažnosť Štandardná odchýlka

1 29.9 1.3 2 15.1 1.0 3 22.6 1.1 4 59.3 1.3 5 35.0 1.3 6 83.5 1.0 7 45.2 1.4 8 27.2 1.2 9 28.8 1.2 10 34.0 1.3 11 48.7 1.4 12 59.4 1.3 13 61.2 1.3 14 67.5 1.3 15 21.5 1.1 16 73.3 1.2 17 44.5 1.4 18 60.4 1.3 19 19.9 1.1 20 43.6 1.4 21 53.5 1.4 22 65.4 1.3 23 74.5 1.2 24 70.0 1.3 25 78.5 1.1 26 63.0 1.3 27 84.7 1.0 28 53.1 1.4 29 72.4 1.2 30 84.1 1.0

Položka Obťažnosť Štandardná odchýlka

1 40.4 1.3 2 60.4 1.3 3 24.5 1.2 4 52.6 1.3 5 44.4 1.3 6 26.1 1.2 7 71.1 1.2 8 26.6 1.2 9 17.6 1.0

10 27.4 1.2 11 44.0 1.3 12 74.5 1.2 13 73.2 1.2 14 74.9 1.2 15 48.7 1.3 16 29.2 1.2 17 28.7 1.2 18 80.8 1.1 19 19.3 1.1 20 26.3 1.2 21 53.2 1.3 22 56.0 1.3 23 55.4 1.3 24 51.4 1.3 25 70.1 1.2 26 89.0 .8 27 56.8 1.3 28 61.4 1.3 29 83.4 1.0 30 76.7 1.1

Page 24: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

24

2.6.2 Korelácia položky so zvyškom testu

Pod pojmom medzipoložková korelácia (Point Biserial6) uvádzame koreláciu skóre

vybranej položky a sumou skóre všetkých ostatných položiek.7 Z tohto hľadiska sa za dobré

nemôžu z variantu A považovať položky č.: 1, 7, 14, 13, 28. 27, 25, 13, 18, 26 a 29 a z variantu

B položky č.. 4, 6, 7, 14, 16, 22, 24, 25, 27, 28, 29, 30. Ide prevažne o položky z kvantitatívnej

oblasti testu. Tieto úlohy pravdepodobne vyžadovali od žiaka matematické schopnosti

presahujúce mieru všeobecných predpokladov na štúdium a tiež viac času na ich riešenie.

Obr. 2.6 a Medzipoložková korelácia – Point Biserial TŠP, variant A

6 Point biserial predstavuje koeficient korelácie medzi úspešnosťou vybranej položky a sumou úspešností

všetkých ostatných položiek. Je ukazovateľom vnútornej homogenity testu z hľadiska vybranej položky. Point biserial správnej hodnote by mal dosahovať hodnotu ≥ 0,20. Pri nesprávnej odpovedi (distraktore) by mala byť hodnota Point biseriálu záporná. Akékoľvek nedodržanie týchto parametrov je zvýraznené červenou (pri správnej odpovedi) a hnedou (pri distraktore). 7 „Záporná hodnota vypovedá o tom, že položka nekoreluje s ostatnými položkami testu. Aby sme položku považovali za dobrú, hodnota medzipoložkovej korelácie musí dosahovať úroveň minimálne 0,20. Položka s hodnotou 0,25 a vyššou je v pedagogických meraniach považovaná za dobrú.“

Page 25: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

25

Obr. 2.6 b Medzipoložková korelácia – Point Biserial TŠP, variant A

2.6.3 Kľúče a distraktory V tejto časti analýzy sa venujeme jednotlivým položkám a ich distraktorom. V hlavičke

každej tabuľky sú uvedené možnosti odpovedí A, B, C, D (podľa počtu distraktorov, X – žiaci,

ktorí neodpovedali). V prvom riadku sú uvedené hodnoty medzipoložkovej korelácie (Point

Biserial – P.Bis.).

V druhom riadku p znamená podiel žiakov, ktorí si vybrali danú možnosť. V treťom

riadku premenná N predstavuje počet žiakov, ktorí si vybrali danú možnosť. Správna odpoveď

na danú položku (kľúč) je vyznačená žltou farbou.

Podrobná interpretácia jednotlivých položiek z hľadiska medzipoložkovej

korelácie sa nachádza v prílohách č. 1 ( variant A) a č.2 (variant B).

Page 26: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

26

Tab. 2.14.a Analýza distraktorov – variant A, položky č. 1 – 30

A01 B01 C01 D01 X01

1 P. Bis. -.15 -.06 .19 -.05 -.05

2 p .13 .14 .60 .13 .01

3 N 175.00 187.00 826.00 177.00 19.00

A02 B02 C02 D02 X02

1 P. Bis. -.21 -.16 .30 -.01 -.09

2 p .27 .06 .40 .27 .00

3 N 378.00 84.00 548.00 368.00 6.00

A03 B03 C03 D03 X03

1 P. Bis. .28 -.16 -.19 -.08 -.05

2 p .76 .07 .09 .06 .02

3 N 1046.00 94.00 130.00 90.00 24.00

A04 B04 C04 D04 X04

1 P. Bis. .33 -.29 -.03 -.03 -.11

2 p .47 .30 .14 .08 .01

3 N 657.00 416.00 190.00 111.00 10.00

A05 B05 C05 D05 X05

1 P. Bis. -.13 .21 -.10 -.06 -.02

2 p .24 .56 .11 .06 .03

3 N 338.00 770.00 158.00 82.00 37.00

A06 B06 C06 D06 X06

1 P. Bis. .32 -.15 -.23 -.10 -.06

2 p .74 .09 .11 .06 .00

3 N 1024.00 121.00 148.00 87.00 5.00

A07 B07 C07 D07 X07

1 P. Bis. -.07 -.12 -.03 .19 .01

2 p .17 .25 .25 .29 .05

3 N 234.00 341.00 345.00 400.00 63.00

Page 27: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

27

A08 B08 C08 D08 X08

1 P. Bis. -.20 -.19 -.03 .30 -.08

2 p .07 .16 .03 .73 .00

3 N 99.00 224.00 41.00 1017.00 3.00

A09 B09 C09 D09 X09

1 P. Bis. -.12 -.14 -.20 .29 -.06

2 p .04 .06 .07 .82 .01

3 N 53.00 78.00 97.00 1141.00 16.00

A10 B10 C10 D10 X10

1 P. Bis. -.16 -.15 -.18 .34 -.10

2 p .08 .06 .11 .73 .02

3 N 105.00 90.00 150.00 1006.00 34.00

A11 B11 C11 D11 X11

1 P. Bis. .32 -.10 -.19 -.15 -.06

2 p .56 .17 .18 .07 .03

3 N 776.00 231.00 248.00 94.00 35.00

A12 B12 C12 D12 X12

1 P. Bis. -.17 -.18 .09 .22 -.05

2 p .16 .16 .39 .25 .04

3 N 223.00 222.00 535.00 353.00 50.00

A13 B13 C13 D13 X13

1 P. Bis. .15 -.05 -.02 -.06 -.04

2 p .27 .29 .16 .21 .07

3 N 371.00 404.00 221.00 297.00 91.00

A14 B14 C14 D14 X14

1 P. Bis. .02 -.06 -.14 .18 -.04

2 p .32 .18 .19 .25 .06

3 N 448.00 243.00 264.00 347.00 83.00

Page 28: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

28

A15 B15 C15 D15 X15

1 P. Bis. -.11 .24 -.06 -.14 -.07

2 p .18 .51 .14 .11 .06

3 N 247.00 710.00 193.00 156.00 79.00

A16 B16 C16 D16 X16

1 P. Bis. -.18 .31 -.18 -.08 -.11

2 p .08 .71 .12 .08 .01

3 N 110.00 980.00 168.00 108.00 18.00

A17 B17 C17 D17 X17

1 P. Bis. -.20 -.19 .35 -.12 -.13

2 p .16 .06 .71 .04 .02

3 N 227.00 88.00 987.00 56.00 25.00

A18 B18 C18 D18 X18

1 P. Bis. .10 -.07 .01 -.02 -.14

2 p .43 .12 .19 .23 .03

3 N 597.00 172.00 266.00 313.00 37.00

A19 B19 C19 D19 X19

1 P. Bis. -.15 .26 -.09 -.17 -.16

2 p .07 .81 .09 .02 .01

3 N 99.00 1118.00 123.00 33.00 11.00

A20 B20 C20 D20 X20

1 P. Bis. -.14 -.15 -.11 .28 -.16

2 p .03 .16 .07 .74 .01

3 N 37.00 218.00 94.00 1021.00 14.00

A21 B21 C21 D21 X21

1 P. Bis. .33 -.11 -.15 -.10 -.18

2 p .47 .25 .11 .13 .05

3 N 648.00 343.00 153.00 177.00 64.00

Page 29: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

29

A22 B22 C22 D22 X22

1 P. Bis. -.12 -.06 .29 -.13 -.20

2 p .11 .32 .44 .08 .05

3 N 152.00 447.00 610.00 106.00 70.00

A23 B23 C23 D23 X23

1 P. Bis. -.12 .29 -.20 .06 -.17

2 p .10 .45 .22 .15 .09

3 N 135.00 618.00 300.00 205.00 127.00

A24 B24 C24 D24 X24

1 P. Bis. -.16 -.12 .27 .00 -.17

2 p .08 .14 .49 .21 .08

3 N 117.00 194.00 673.00 288.00 113.00

A25 B25 C25 D25 X25

1 P. Bis. .03 .05 -.06 .06 -.11

2 p .17 .30 .16 .23 .14

3 N 237.00 414.00 223.00 314.00 197.00

A26 B26 C26 D26 X26

1 P. Bis. -.02 .11 .00 .01 -.14

2 p .19 .37 .20 .11 .13

3 N 263.00 511.00 275.00 153.00 183.00

A27 B27 C27 D27 X27

1 P. Bis. -.01 -.02 .11 -.02 -.10

2 p .16 .14 .43 .11 .16

3 N 226.00 188.00 598.00 156.00 217.00

A28 B28 C28 D28 X28

1 P. Bis. .02 .12 -.02 -.11 -.07

2 p .19 .39 .14 .11 .17

3 N 268.00 535.00 200.00 150.00 232.00

Page 30: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

30

A29 B29 C29 D29 X29

1 P. Bis. .21 -.09 -.05 -.01 -.09

2 p .29 .22 .17 .14 .17

3 N 406.00 311.00 230.00 198.00 240.00

A30 B30 C30 D30 X30

1 P. Bis. -.03 .04 .00 .04 -.05

2 p .16 .23 .25 .17 .19

3 N 220.00 323.00 348.00 233.00 261.00

Tab. 2.14.b Analýza distraktorov – variant B, položky č. 1 – 30

A01 B01 C01 D01 X01

1 P. Bis. -.21 -.10 .25 -.07 -.05

2 p .10 .07 .70 .12 .01

3 N 133.00 95.00 931.00 155.00 14.00

A02 B02 C02 D02 X02

1 P. Bis. .28 -.17 -.17 -.09 -.09

2 p .85 .04 .08 .02 .01

3 N 1127.00 59.00 105.00 30.00 7.00

A03 B03 C03 D03 X03

1 P. Bis. -.17 -.10 .24 -.12 -.08

2 p .07 .12 .77 .04 .00

3 N 89.00 156.00 1028.00 50.00 5.00

A04 B04 C04 D04 X04

1 P. Bis. -.23 .11 .16 -.08 -.05

2 p .35 .22 .41 .02 .00

3 N 471.00 288.00 541.00 25.00 3.00

A05 B05 C05 D05 X05

1 P. Bis. .32 -.18 -.16 -.15 -.04

2 p .65 .09 .17 .08 .01

3 N 863.00 120.00 226.00 112.00 7.00

Page 31: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

31

A06 B06 C06 D06 X06

1 P. Bis. .17 -.17 -.17 .16 -.05

2 p .16 .36 .10 .36 .01

3 N 219.00 484.00 135.00 481.00 8.00

A07 B07 C07 D07 X07

1 P. Bis. .11 .10 -.13 -.14 -.05

2 p .55 .20 .08 .16 .02

3 N 728.00 262.00 100.00 212.00 26.00

A08 B08 C08 D08 X08

1 P. Bis. -.16 -.13 .26 -.10 -.06

2 p .12 .07 .73 .08 .01

3 N 154.00 90.00 967.00 105.00 12.00

A09 B09 C09 D09 X09

1 P. Bis. .37 -.13 -.23 -.21 -.04

2 p .71 .07 .13 .09 .00

3 N 946.00 89.00 173.00 114.00 5.00

A10 B10 C10 D10 X10

1 P. Bis. -.16 -.19 -.13 .32 -.02

2 p .14 .09 .10 .66 .01

3 N 190.00 118.00 129.00 877.00 14.00

A11 B11 C11 D11 X11

1 P. Bis. -.22 -.16 -.07 .26 -.08

2 p .08 .04 .37 .51 .00

3 N 100.00 52.00 488.00 681.00 5.00

A12 B12 C12 D12 X12

1 P. Bis. -.15 .00 .20 -.08 -.04

2 p .20 .22 .41 .11 .06

3 N 264.00 294.00 539.00 144.00 85.00

A13 B13 C13 D13 X13

1 P. Bis. -.08 -.12 .24 -.09 .00

2 p .19 .19 .39 .20 .04

3 N 249.00 250.00 515.00 264.00 48.00

Page 32: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

32

A14 B14 C14 D14 X14

1 P. Bis. -.07 -.05 .09 .00 .01

2 p .17 .23 .33 .20 .07

3 N 232.00 300.00 432.00 267.00 97.00

A15 B15 C15 D15 X15

1 P. Bis. -.13 .35 -.18 -.19 -.15

2 p .06 .79 .06 .08 .02

3 N 75.00 1043.00 85.00 102.00 21.00

A16 B16 C16 D16 X16

1 P. Bis. .10 .06 -.07 -.08 -.07

2 p .27 .24 .19 .29 .01

3 N 354.00 322.00 256.00 381.00 15.00

A17 B17 C17 D17 X17

1 P. Bis. -.13 -.20 -.15 .33 -.09

2 p .15 .05 .23 .55 .01

3 N 201.00 62.00 309.00 737.00 19.00

A18 B18 C18 D18 X18

1 P. Bis. .23 -.04 -.16 -.10 -.06

2 p .40 .30 .11 .16 .03

3 N 526.00 394.00 145.00 217.00 46.00

A19 B19 C19 D19 X19

1 P. Bis. -.16 .31 -.10 -.20 -.12

2 p .08 .80 .05 .06 .01

3 N 105.00 1064.00 64.00 83.00 12.00

A20 B20 C20 D20 X20

1 P. Bis. .30 -.14 -.16 -.10 -.10

2 p .56 .08 .28 .05 .02

3 N 749.00 103.00 377.00 70.00 25.00

A21 B21 C21 D21 X21

1 P. Bis. -.11 -.22 -.04 .32 -.13

2 p .13 .14 .21 .46 .05

3 N 172.00 191.00 282.00 617.00 66.00

Page 33: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

33

A22 B22 C22 D22 X22

1 P. Bis. -.03 .18 -.04 -.06 -.13

2 p .18 .35 .20 .21 .07

3 N 240.00 459.00 262.00 278.00 89.00

A23 B23 C23 D23 X23

1 P. Bis. .27 -.07 -.08 -.07 -.10

2 p .26 .27 .28 .10 .10

3 N 339.00 363.00 366.00 130.00 130.00

A24 B24 C24 D24 X24

1 P. Bis. -.09 .15 .01 -.08 -.03

2 p .21 .30 .22 .13 .15

3 N 274.00 398.00 293.00 170.00 193.00

A25 B25 C25 D25 X25

1 P. Bis. .02 -.10 .08 .00 -.01

2 p .25 .23 .21 .14 .17

3 N 336.00 300.00 285.00 182.00 225.00

A26 B26 C26 D26 X26

1 P. Bis. -.04 .22 -.07 -.14 -.04

2 p .13 .37 .19 .16 .15

3 N 170.00 492.00 256.00 214.00 196.00

A27 B27 C27 D27 X27

1 P. Bis. -.03 .05 -.04 .02 -.03

2 p .13 .44 .14 .15 .15

3 N 167.00 580.00 182.00 203.00 196.00

A28 B28 C28 D28 X28

1 P. Bis. -.06 .13 -.06 -.07 -.02

2 p .14 .47 .16 .07 .17

3 N 187.00 623.00 209.00 89.00 220.00

A29 B29 C29 D29 X29

1 P. Bis. .17 -.14 .07 -.10 -.04

2 p .28 .24 .19 .11 .18

3 N 366.00 320.00 255.00 146.00 241.00

Page 34: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

34

A30 B30 C30 D30 X30

1 P. Bis. .03 .00 .01 -.02 -.02

2 p .30 .17 .17 .16 .21

3 N 392.00 230.00 221.00 211.00 274.00

2.6.4 Distribúcia úspešnosti a citlivosť

V tejto časti uvádzame analýzu ďalších parametrov položiek TŠP - distribúciu

úspešnosti8 a následne z toho vyplývajúcu citlivosť9 položky.

Obr. 2.7 Grafy distribúcie úspešnosti: variant A

8 Vzťah medzi výkonnosťou v celom teste (delenie na 10 skupín na x-ovej osi) a ich priemernými úspešnosťami v dane položke na y-ovej osi. V prvej desatine (1) sa nachádzajú žiaci s najvyššou percentuálnou úspešnosťou riešenia testu. Poslednú skupinu (10) tvoria najmenej úspešní žiaci. Grafy distribúcie úspešnosti pomáhajú charakterizovať, ako v danej položke súvisí úspešnosť jej riešenia s celkovou výkonnosťou žiaka (Kol. aut., 2009). 9 Citlivosť = diskriminačná sila položky. Je to schopnosť rozlíšiť dobrých a slabších žiakov. Citlivosť položky predstavuje rozdiel medzi priemernou úspešnosťou najslabšej a najlepšej desatiny testovaných žiakov. Citlivosť nižšiu ako 10% považujeme za nedostatočnú (Kol. aut., 2009).

Page 35: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

35

Page 36: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

36

Page 37: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

37

Page 38: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

38

Page 39: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

39

V TŠP, variant A sa nenachádzajú položky, ktoré by sa z hľadiska distribúcie úspešnosti

ukázali ako nevhodné. Medzi položky, ktoré výrazne oddeľujú najslabších žiakov od ostatných,

patria položky č. 9 (extrahovanie explicitných informácií z textu) a č.19 (interpretácia dát

prezentovaných vo forme grafu). Naopak medzi položky, ktoré výrazne oddeľujú najlepších

žiakov od ostatných, patrí položka č. 12 (úloha typu „zebra“).

Veľmi ťažké úlohy pre žiakov sa ukázali: položka č. 18 (odhaľovať v texte implicitne

obsiahnuté informácie) a položky č. 26, 29, 30 (odhaľovať štruktúru v numerických dátach). Na

základe grafu distribúcie úspešnosti konštatujeme, že položky č. 7 (antonymá), 13 (úlohy typu

„zebra“) a 25 (schopnosť odhaľovať štruktúru v numerických dátach) postihujú čiastočne iné

špeciálne schopnosti, než sú všeobecné študijné predpoklady alebo boli nepresne sformulované.

V položke č. 7 sme zaregistrovali odlišný odtieň významu slov v češtine v porovnaní so

slovenčinou.

Page 40: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

40

Obr. 2.8 Citlivosť položiek testu, variant B

Z grafu na obr. 2.8 vidieť, že položky č. 26 a 29, ktoré boli extrémne ťažké, vykazovali aj

nedostatočnú citlivosť.

Obr. 2.9 Grafy distribúcie úspešnosti, variant B

Page 41: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

41

Page 42: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

42

Page 43: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

43

Page 44: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

44

Page 45: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

45

V TŠP, variant B sa nenachádzajú položky, ktoré by sa z hľadiska distribúcie úspešnosti

ukázali ako nevhodné. Medzi položky, ktoré výrazne oddeľujú najslabších žiakov od ostatných,

patria položky č. 2 a 3 (porozumenie významu vety), 15(extrahovanie implicitných informácií

z textu) a č.19 (interpretácia dát prezentovaných vo forme grafu). Naopak medzi položky, ktoré

výrazne oddeľujú najlepších žiakov od ostatných, patria položky č. 6 (dvojitá analógia), 23 a 29

(odhaľovanie štruktúry v numerických dátach).

Ako extrémne ťažké úlohy pre žiakov sa ukázali: položky č. 25, 27 a 30 (odhaľovať

štruktúru v numerických dátach). Na základe grafu distribúcie úspešnosti konštatujeme, že

položky č. 14 (úlohy typu „zebra“), 16 (schopnosť odhaľovať v texte implicitne obsiahnuté

informácie), 28 (schopnosť odhaľovať štruktúru v numerických dátach) postihujú čiastočne iné

špeciálne schopnosti, než sú všeobecné študijné predpoklady alebo sú nevhodne formulované.

Page 46: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

46

Obr. 2.10 Citlivosť položiek testu, variant B

Vo variante B za nedostatočnú považujeme citlivosť úlohy č. 30 (schopnosť odhaľovať štruktúru

v numerických dátach).

2.6.5 Neriešenosť

Neriešenosť10 položiek vyššia ako 10% sa vyskytla vo variante A položkách 25, 26, 27,

28, 29, 30 a vo variante B v položkách 24 až 30. Vo väčšej miere je neriešenosť spôsobená

hlavne nedosiahnutosťou (takmer všetky majú nedosiahnutosť vyššiu ako 10%), čo znamená, že

žiaci nemali dostatok času na vyriešenie všetkých položiek. Vodorovná čiara v grafe znázorňuje

hranicu prípustnej miery neriešenosti.

10 Neriešené položky predstavujú percentuálny súčet nedosiahnutých a vynechaných položiek. Za nedosiahnutú považujeme každú položku, po ktorej žiak žiadnu z položiek neriešil.

Page 47: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

47

Obr. 2.11a Neriešenosť položiek testu (variant A)

Obr. 2.11b Neriešenosť položiek testu (variant B)

Page 48: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

48

2.6.6 Súhrnné charakteristiky položiek

V nasledujúcej tabuľke uvádzame súhrnné charakteristiky jednotlivých položiek variantu

A a variantu B. Červenou farbou sú vyznačené kritické čísla.

Tab. 2.15.a TŠP, forma A 2010 Súhrnná tabuľka analýzy položiek

Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Point Biserial

1 40.4 37.9 .07 1.30 1.37 19.0

2 60.4 55.6 .07 .36 .43 29.8

3 24.5 42.2 .07 1.66 1.73 28.0

4 52.6 60.3 .07 .65 .72 32.7

5 44.4 42.2 .07 2.60 2.67 21.1

6 26.1 51.3 .07 .29 .36 31.9

7 71.1 37.5 .07 4.48 4.55 18.8

8 26.6 50.9 .07 .14 .22 30.0

9 17.6 42.2 .07 1.08 1.16 29.2

10 27.4 51.6 .07 2.38 2.45 33.7

11 44.0 61.0 .07 2.45 2.53 32.1

12 74.5 41.2 .07 3.54 3.61 22.1

13 73.2 31.8 .07 6.50 6.57 15.4

14 74.9 32.5 .22 5.78 5.99 18.2

15 48.7 48.4 .29 5.42 5.70 24.1

16 29.2 52.7 .36 .94 1.30 31.3

17 28.7 56.3 .43 1.37 1.81 34.8

18 80.8 10.1 .43 2.24 2.67 1.2

19 19.3 37.9 .58 .22 .79 26.2

20 26.3 47.3 .72 .29 1.01 27.9

21 53.2 59.9 2.38 2.24 4.62 33.0

22 56.0 58.1 3.18 1.88 5.05 28.7

23 55.4 56.7 5.70 3.39 9.10 29.3

24 51.4 48.7 6.50 1.52 8.01 27.1

25 70.1 20.6 8.66 5.49 14.15 4.9

26 89.0 7.2 10.25 2.82 13.07 .7

27 56.8 30.7 11.99 3.47 15.45 10.6

28 61.4 30.0 14.51 2.17 16.68 11.8

29 83.4 4.0 16.17 .94 17.11 -4.6

30 76.7 14.8 16.17 2.67 18.84 3.7

Page 49: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

49

Tab. 2.15.b TŠP B forma 2010 Súhrnná tabuľka analýzy položiek

Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Point Biserial

1 29.9 45.7 .08 .98 1.05 25.2

2 15.1 37.0 .08 .45 .53 28.1

3 22.6 38.5 .08 .30 .38 24.2

4 59.3 35.8 .08 .15 .23 15.6

5 35.0 56.6 .08 .45 .53 32.3

6 83.5 25.7 .08 .53 .60 16.8

7 45.2 30.6 .08 1.88 1.96 11.0

8 27.2 45.3 .08 .83 .90 25.9

9 28.8 58.9 .08 .30 .38 37.2

10 34.0 54.3 .08 .98 1.05 31.6

11 48.7 49.8 .15 .23 .38 26.3

12 59.4 44.2 .15 6.25 6.40 20.1

13 61.2 50.2 .15 3.46 3.61 23.6

14 67.5 27.9 .23 7.08 7.30 9.3

15 21.5 50.2 .23 1.36 1.58 34.9

16 73.3 21.5 .30 .83 1.13 9.7

17 44.5 60.8 .30 1.13 1.43 33.2

18 60.4 44.5 .53 2.94 3.46 22.7

19 19.9 46.0 .68 .23 .90 31.4

20 43.6 57.0 .98 .90 1.88 30.2

21 53.5 60.4 2.11 2.86 4.97 32.4

22 65.4 37.4 2.71 3.99 6.70 18.0

23 74.5 46.8 4.37 5.20 9.56 26.7

24 70.0 33.2 7.23 7.23 14.46 15.2

25 78.5 20.8 8.81 8.06 16.87 7.6

26 63.0 41.5 10.09 4.52 14.61 21.6

27 84.7 12.1 12.88 1.88 14.76 1.8

28 53.1 33.6 14.61 1.58 16.19 12.8

29 72.4 32.8 17.62 .45 18.07 17.3

30 84.1 6.4 17.62 3.01 20.63 -2.1

Zo súhrnných tabuliek vyplýva, že úlohy posledné v poradí boli žiakmi neriešené pravdepodobne

z dôvodu časového obmedzenia administrovania.

Oba varianty testu študijných predpokladov sa z hľadiska obťažnosti ukazujú vyvážené.

Vysoká miera neriešenosti úloh z kvantitatívnej oblasti síce naznačuje predimenzovanosť

matematických schopností v teste, ale vzhľadom na rozlišovaciu, nie normatívnu úlohu testu je

daný stav optimálny.

Page 50: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

50

3. Záver 3.1 Úroveň študijných predpokladov žiakov vybranej vzorky

V klasickej testovej teórii (CTT), ktorú sme využili pri vyhodnocovaní dát testu

študijných predpokladov, závisí získané skóre žiakov od obťažnosti úloh a naopak - nameraná

obťažnosť úloh závisí od úrovne schopností žiakov. Priemerné skóre žiakov v TŠP bolo nižšie,

ako 50% (variant A: 48,5% a variant B: 47,3%). T.j. celková úroveň študijných predpokladov

žiakov bola mierne podpriemerná vzhľadom na celkovú obťažnosť testu.

V modernej teórii IRT (teória odpovedí na položku) sa získané skóre žiakov a skóre

položiek testu porovnáva na rovnako škálovanej stupnici (tzv. logit) a iteračným procesom sa

eliminujú náhodné odchýlky hrubého skóre. Úroveň schopností žiaka (Hambleton, Russel, 1983)

v tomto prípade nie je závislá od testu, ale od položky, ktorá je na tej istej úrovni v danej

logitovej stupnici.11 Vyhodnocovali sme pokusne vzorku žiakov vo vzťahu k ich výslednému

skóre pomocou IRT a zistili sme, že aj keď v jednoduchých úlohách sa žiaci často mýlili,

v skutočnosti zvládli viaceré úlohy nadpriemernej úrovne obťažnosti. Inými slovami: aj keď

hrubé skóre žiakov vyšlo mierne poddimenzované, skutočná úroveň študijných predpokladov

vybranej vzorky žiakov mierne prevyšovala priemernú úroveň obťažnosti úloh TŠP.

Z uvedeného vyplýva, že testová teória IRT poskytuje viac informácií o položkách a žiakoch,

ako CTT, preto v budúcnosti je potrebné použiť IRT na celom súbore žiakov.

Náročnosť testu sa z celkového pohľadu ukazuje primeraná pre testovaných žiakov

gymnázií a mierne predimenzovaná pre žiakov ostatných typov škôl. Z hľadiska rodovej

rozdielnosti a rozdielnosti zriaďovateľov škôl neboli vo všeobecnosti zistené významné

odlišnosti.

3.2 Porovnanie TŠP s jeho pôvodnou verziou

Preklad TŠP do slovenského jazyka realizovali nezávisle na sebe dvaja psychológovia.

Po následnej vzájomnej konzultácii vytvorili spoločnú verziu, ktorá bola recenzovaná

pedagogickou odborníčkou zo slovenského jazyka. Pre krátkosť času nebol preklad korigovaný

spätným prekladom do českého jazyka.

Vyhodnotili sme obsahovú validitu položiek TŠP z hľadiska porovnania obťažnosti

a citlivosti položiek slovenskej verzie TŠP a pôvodnej verzie.(pozri Tab. 2.16. a, b).

11 Klasická teória teda pracuje s testom ako celkom, naproti tomu teória IRT pracuje s jednotlivými položkami, ktoré sú navzájom nezávislé.

Page 51: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

51

Tab. 2.16.a Porovnanie slovenskej verzie TŠP s ekvivalentnými položkami pôvodnej verzie TŠP spoločnosti SCIO – A forma

TŠP – slovenská verzia TŠP spoločnosti SCIO

Položka č. Obťažnosť (%) Citlivosť (%) Položka č. Obťažnosť (%) Citlivosť (%)

1A 40.4 37.9 2 32,4 35,8

2A 60.4 55.6 4 56,1 36,2

3A 24.5 42.2 8 9,6 23,2

4A 52.6 60.3 9 57,5 57,4

5A 44.4 42.2 10 46,5 47,7

6A 26.1 51.3 12 25,8 42,8

7A 71.1 37.5 14 54,0 35,9

8A 26.6 50.9 16 7,1 15,1

9A 17.6 42.2 17 19,1 33,6

10A 27.4 51.6 18 28,3 40,0

11A 44.0 61.0 23 51,1 65,6

12A 74.5 41.2 24 50,0 61,5

13A 73.2 31.8 26 71,7 56,7

14A 74.9 32.5 27 82,3 40,3

15A 48.7 48.4 28 56,8 47,4

16A 29.2 52.7 31 27,9 46,8

17A 28.7 56.3 32 33,6 49,8

18A 80.8 10.1 35 73,8 33,6

19A 19.3 37.9 37 13,9 27,0

20A 26.3 47.3 38 19,1 36,4

21A 53.2 59.9 41 44,4 66,9

22A 56.0 58.1 43 66,4 43,7

23A 55.4 56.7 45 49,0 44,0

24A 51.4 48.7 46 39,7 38,0

25A 70.1 20.6 48 73,9 17,0

26A 89.0 7.2 50 93,2 7,8

27A 56.8 30.7 53 63,0 33,2

28A 61.4 30.0 55 65,1 21,0

29A 83.4 4.0 58 65,7 41,1

30A 76.7 14.8 60 90,3 7,5

Page 52: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

52

Tab. 2.16.b Porovnanie slovenskej verzie TŠP s ekvivalentnými položkami pôvodnej verzie TŠP spoločnosti SCIO – B forma

TŠP – slovenská verzia TŠP spoločnosti SCIO

Položka č. Obťažnosť (%) Citlivosť (%) Položka č. Obťažnosť (%) Citlivosť (%)

1B 29.9 45.7 1 28,3 44,3

2B 15.1 37.0 3 18,8 26,5

3B 22.6 38.5 5 55,0 53,0

4B 59.3 35.8 6 35,5 38,2

5B 35.0 56.6 7 25,1 48,4

6B 83.5 25.7 11 73,9 31,5

7B 45.2 30.6 13 35,6 31,8

8B 27.2 45.3 15 17,8 25,3

9B 28.8 58.9 19 18,7 39,4

10B 34.0 54.3 20 31,8 44,4

11B 48.7 49.8 21 45,3 48,2

12B 59.4 44.2 22 43,4 51,7

13B 61.2 50.2 25 49,9 60,3

14B 67.5 27.9 29 62,8 38,8

15B 21.5 50.2 30 20,9 43,5

16B 73.3 21.5 33 67,2 28,9

17B 44.5 60.8 34 43,4 58,7

18B 60.4 44.5 36 51,3 51,8

19B 19.9 46.0 39 12,8 29,1

20B 43.6 57.0 40 33,1 45,2

21B 53.5 60.4 42 41,8 60,3

22B 65.4 37.4 44 58,9 48,9

23B 74.5 46.8 47 66,0 49,2

24B 70.0 33.2 49 71,1 29,7

25B 78.5 20.8 51 79,5 17,3

26B 63.0 41.5 52 53,5 50,9

27B 84.7 12.1 54 89,4 4,7

28B 53.1 33.6 56 42,8 33,4

29B 72.4 32.8 58 65,7 41,1

30B 84.1 6.4 60 90,3 7,5

Page 53: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

53

Porovnanie ukázalo značné nezrovnalosti medzi slovenskou a českou verziou testu

(rozdiel ≥ 20%) v položkách z verbálnej oblasti testu (3A, 7A, 8A, 3B, 4B), analytickej časti

(12A, 12B) a kvantitatívnej časti (29A). Rozdiel vo verbálnych položkách bol pravdepodobne

zapríčinený odlišným odtieňom významu slov, prípadne ich odlišnej frekvencii výskytu v danom

jazyku (napr. v položke 7A, slovo precitnúť – procitnout.). V položke 12A (analytická oblasť)

išlo o nepresný preklad, čo pravdepodobne zvýšilo obťažnosť položky oproti originálu („Které

z následujících tvrzení může být pravdivé? – „Ktoré z nasledujúcich tvrdení určite môže byť

pravdivé?“) Malá citlivosť a položky 29A oproti originálu naznačuje nedosiahnutosť položky

slovenskými probandami.

Celkovo nie je možné vyhodnotiť upravenú verziu TŠP oproti pôvodnej ako menej alebo

viac obťažnú, pretože rozdiely medzi ekvivalentnými položkami sú oboma smermi (+ aj -).

Z toho usudzujeme, že aj keď sú slovenský a český jazyk príbuznými jazykmi, nepatrné

odlišnosti v lexike môžu mať závažný dopad na výsledky testovania.

3.2 Ekvivalencia paralelných testov (variantov) A a B

V našom meraní sme použili test štandardizovaný spoločnosťou SCIO a rozdelili sme ho na

dva obsahovo porovnateľné varianty. K štandardizácii týchto variantov TŠP by mohla

v budúcnosti prispieť analýza dát na základe teórie IRT12.

V rámci vyhodnotenia obťažnosti úloh podľa dosiahnutého skóre probandov a podľa

obsahu sme vytriedili položky jednotlivých variantov testu do nasledovnej tabuľky od najľahšej

úrovne po najťažšiu. Rozdelenie na jednotlivé pásma sme previedli s rešpektovaním normálneho

rozdelenia súboru.

12 Paralelné testy sú v klasickej štatistike definované ako testy, ktoré merajú ten istý obsah, a v ktorých

majú tí istí žiaci to isté pravé skóre a tú istú chybu merania. Teória IRT pripúšťa rôznosť položiek (cca 40% z celkového počtu) v paralelných testoch. S podmienkou dobrej kalibrácie položiek je možné vytvoriť paralelné testy aj s odlišným obsahom a s ekvivalentnou obťažnosťou zároveň.

Page 54: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

54

Tab. 3.1 Triedenie úloh testu študijných predpokladov vzhľadom na ich obťažnosť.

Úroveň obťažnosti

Pásmo (%)

slovný opis položka č.

1 (0; 25) verbálna oblasť: čítať s porozumením krátky text a extrahovať z neho explicitne vyjadrené informácie

schopnosť porozumieť významu vety analytická oblasť: dvojitá analógia čítať s porozumením krátky text a extrahovať z neho implicitne vyjadrené informácie

kvantitatívna oblasť: čítať jednoduché dáta prezentované vo forme grafu

A9

B2, B3 A3

B15

A19, B19

2 (25;40) verbálna oblasť:

- čítať s porozumením krátky text a extrahovať z neho

explicitne vyjadrené informácie

- porovnávať a správne používať význam slov v rámci základnej slovnej zásoby – antonymá Porozumenie významu vety analytická oblasť: čítať s porozumením krátky text a extrahovať z neho implicitne vyjadrené informácie dvojstupňová analógia kvantitatívna oblasť: analyzovať a interpretovať jednoduché dáta prezentované vo forme grafu

A10, B9

B10

A8, B8 A6 B1

A16, A 17

B5

A20

3 (40;50) verbálna oblasť: antonymá porovnávať významy na úrovni slov a viet a porozumieť ich vzájomným vzťahom čítanie s porozumením a extrahovanie explicitných informácií z textu analytická oblasť:

- pochopiť a analyzovať vzťahy medzi slovami na základe dvojstupňovej analógie –tvar a význam

- správne vyhodnocovať a porovnávať logické podmienky jednoduchých výrokov v rámci deduktívneho úsudku – úlohy typu „zebra“ čítanie s porozumením a extrahovanie implicitných informácií z textu kvantitatívna oblasť:

schopnosť analyzovať a interpretovať dáta prezentované vo forme grafu

B7

A1

B11

A5

A11, A15

B17

B20

4 (50;55) a. kvantitatívna oblasť:

- analyzovať a interpretovať numerické dáta prezentované vo forme tabuľky analytická oblasť:

-pochopiť a analyzovať vzťahy medzi slovami na základe dvojstupňovej analógie –gramatický tvar

a význam - schopnosť odhaľovať štruktúru v numerických dátach

A21, B21

A4

A24, B28

A14

Page 55: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

55

- správne vyhodnocovať a porovnávať logické podmienky zložených výrokov a logické kvantifikátory = úlohy typu „zebra“

(55;70) b. verbálna oblasť: porovnávať významy na úrovni slov a viet a porozumieť ich vzájomným vzťahom analytická oblasť: vyhodnotiť, porovnať a správne zaradiť do celkovej štruktúry logické podmienky viacerých výrokov – úlohy typu „zebra“ -schopnosť odhaľovať v texte implicitne obsiahnuté informácie -dvojstupňové analógie kvantitatívna oblasť: - schopnosť odhaľovať štruktúru a kauzalitu v numerických dátach

- schopnosť analyzovať a interpretovať numerické dáta prezentované vo forme tabuľky

A2

B14, B13, B12 B18 B4 A27, A28, B26 A23, A22, B22

5 (70;80) a. verbálna oblasť: správne používať slová v rámci ich veľmi jemných významových rozdielov - antonymá analytická oblasť: vyhodnotiť, porovnať a správne zaradiť do celkovej štruktúry logické podmienky viacerých výrokov – úlohy typu „zebra“ schopnosť odhaľovať v texte implicitne obsiahnuté informácie kvantitatívna oblasť: - schopnosť odhaľovať štruktúru a kauzalitu v numerických dátach

A7

A12, A13,

A14 B16

A25, A30, B23, B25, B29, B24

(80;100) b. analytická oblasť: schopnosť odhaliť v texte implicitne obsiahnuté informácie dvojstupňová analógia kvantitatívna oblasť: odhaľovať štruktúru a kauzalitu v numerických dátach

A18 B6

B27, B30 A26, A29

A – označenie pre položku variantu A; B – označenie pre položku variantu B

3.3 Celkové vyhodnotenie položiek TŠP.

Okrem triedenia podľa obťažnosti je z tabuľky možné vyčítať obsahovú ekvivalenciu

oboch variantov, tiež je vidieť obťažnosť jednotlivých typov úloh: Úlohy na čítanie krátkeho

textu s porozumením a extrahovanie explicitných informácií z neho a úlohy na schopnosť

analyzovať a interpretovať dáta prezentované vo forme grafu sa vyskytujú iba v prvých troch

pásmach obťažnosti (od 0% - 50%). Úlohy na dvojstupňovú analógiu a na schopnosť odhaliť

v texte implicitne obsiahnuté informácie sú naproti tomu v každom pásme obťažnosti. Úlohy

typu „zebra“ sa vyznačujú väčšou obťažnosťou, vyskytujú sa len v pásme od 40% do 100%.

Page 56: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

56

Ešte vyššou mierou obťažnosti sa vyznačujú úlohy na odhaľovanie kauzality a štruktúry

v numerických dátach (50% - 100%).

Podobne je možné na základe výsledného skóre zaradiť aj žiakov do jednotlivých pásem

podľa ich úspešnosti, a to pre každú školu zvlášť. Je to dobrý diagnostický nástroj, na základe

ktorého by sa dalo pristupovať k žiakom individuálne, na úrovni ich študijných schopností.

3.4 Ďalšie odporúčania

Vzhľadom na testovací nástroj:

Použiť TŠP pri výstupnom meraní žiakov. Prepojiť výsledky s ich študijnými výsledkami

z konkrétnych predmetov (matematická a jazyková gramotnosť). Vyhodnotiť prepojené dáta

smerom k vymedzeniu kvality vzdelávania na školách.

Vyhodnotiť vplyv sociálneho a ekonomického statusu na študijné predpoklady žiakov.

Zohľadniť ho pri počítaní tzv. pridanej hodnoty školy.

Vytvoriť a okalibrovať pomocou vhodného softvéru nové úlohy (banku úloh) do testu

študijných predpokladov.

Vzhľadom na žiakov:

Pre rozvíjanie študijných predpokladov žiakov odporúčame:

• precvičovať so žiakmi logické úlohy z rekreačnej matematiky – napr. úlohy typu „zebra“,

tiež priestorovú predstavivosť, narábanie so vzorcami a pod. Pomáhať im hľadať vhodné

stratégie pri riešení týchto úloh.

• rozvíjať u žiakov kritické myslenie – nielen na hodinách slovenského jazyka, ale aj

v iných predmetoch (napr. multimediálna výchova).

• usporadúvať so žiakmi diskusné kluby nielen na etickej výchove, ale aj na iných

predmetoch, kde by sa žiaci mohli vyjadriť na rôzne odborné témy, o ktorých majú

potrebné znalosti.

Poďakovanie

Moje poďakovanie patrí všetkým členom Oddelenia hodnotenia výsledkov meraní a pracovníkov

ostatných oddelení NÚCEM, ktorí sa akýmkoľvek spôsobom podieľali na realizácii tohto

merania. Osobitne chcem poďakovať Mgr. Zuzane Juščákovej, PhD. za štatistické spracovanie

A formy TŠP a za celkovú korektúru, Mgr. Michalovi Hacajovi za prípravu podkladov pre

spracovanie dát a cenné pripomienky k položkovej analýze a Mgr. Ivane Vasiľovej za korektúru

formálnej stránky správy.

Page 57: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

57

Zoznam literatúry

[1] Kompletní příprava na test studijních předpokladů (OSP+TSP). Zdroj:

http://www.sokrates.cz/pripravne-kurzy/dilci/kompletni-priprava-na-test-studijnich-predpokladu-

osp-tsp/informace (30.januára 2012)

[2] BURJAN, V. (20. novembra 2008). Čo sú všeobecné študijné predpoklady a ako ich možno

testovať. Zdroj:

http://burjan.blog.sme.sk/c/171605/Co-su-vseobecne-studijne-predpoklady-a-ako-ich-mozno-

testovat-4.html.

[3] Test OSP v NSZ. Zdroj:

http://www.scio.cz/in/2vs/nsz/osp/test-osp.asp (30.januára.2012)

4] Kol. autorov. (2009): Príručka. (vysvetlenie pojmov, používaných v záverečných správach zo

štatistického spracovania testov EČ MS). Zdroj:

http://www.nucem.sk/documents//25/maturita_2009/vysledky_a_vyhodnotenie/Prirucka_2009.p

df

[5] Hambleton R. K.; Russell W. J. (1983). Comparison of Classical Test Theory and Item

Response Theory and Their Applications to Test Development, pp. 253 – 261

[6] Hendl, J. (2009). Přehled stastistických metod, Portál Praha ISBN 978-80-7367-482-3

[7 Facione, P.A. (1991). Using the California Critical Thinking Skills Test in Research,

Evaluation and Assessment. California Academic Press.

Page 58: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

58

Príloha č. 1

Inštrukcia pre administrátora – test TŠP Milí spolupracovníci! Máte pred sebou Test Študijných Predpokladov (TŠP). Na všetkých školách je nutné dodržať jednotný spôsob administrácie testu - dodržiavať text inštrukcie, stanovený čas a zabezpečiť nezávislosť riešenia. Testovaným okrem oficiálnych testových inštrukcií nemožno pomáhať žiadnym iným spôsobom. Len tak dosiahneme, aby bola zabezpečená objektivita celého postupu testovania a pravdivé výkony.

1- Pred samotným testovaním si pozorne prečítajte inštrukcie a testové úlohy. Zorientujete sa tak v teste a budete vedieť flexibilnejšie reagovať na prípadné otázky žiakov.

2- Pripravte si dostatočný počet testových zošitov, záznamových hárkov, pomocných papierov. Pripravte si hodinky (najlepšie stopky). V prípade, že máte k dispozícií v kabinete náhradné ceruzky alebo perá, pripravte sa na to, že žiaci môžu mať s písacími potrebami problém.

Priebeh testovania:

1- Požiadajte žiakov, aby sa usadili. Žiaci by mali ostať sedieť tak, ako sedeli počas predchádzajúceho Testu Všeobecných Schopností. Písacie potreby by mali mať žiaci už pripravené. Pre istotu sa ich opýtajte, či majú v poriadku písacie potreby.

2- Ak sú žiaci usadení, predstavte test. „O chvíľu vám rozdám Test Študijných Predpokladov. Spolu s predchádzajúcim testom tvoria kompaktnú batériu na zisťovanie vašich schopností, ktoré majú vplyv na školský výkon.“ Oboznámte žiakov s dĺžkou testovania: „Test má 30 úloh a bude mať na jeho vypracovanie 30 minút.“ Vysvetlite žiakom, že sa počas testovania budete prechádzať po triede nie preto, aby ste sledovali ich odpovede, ale preto, aby ste skontrolovali, či správne zapisujú do záznamových hárkov alebo či majú správne vyplnenú hlavičku záznamového hárku.

3- Odpovedzte na všetky prípadné otázky a zdôraznite, aby nerušili spolužiakov, aj keď skončia test pred časovým limitom.

4- Rozdajte záznamové hárky k Testu Študijných Predpokladov, pomôžte žiakom

s problémami pri vyplnení.

5- Upozornite žiakov, že všetky testové úlohy majú iba jednu správnu odpoveď. Vysvetlite žiakom, ako majú odpovede zaznačovať do odpoveďového hárku. (v tomto prípade je vypĺňanie odpoveďového hárku rovnaké ako pri predchádzajúcom teste).

Page 59: Správa zo štatistického spracovania Testu študijných ... · existenčné tvrdenia a sylogismy, schopnosť vysvetliť zdanlivo sporné prípady, argumentačné schopnosti, schopnosť

HKV – aktivita 4.1

59

Riešenia sa zaznamenávajú výlučne do odpoveďového hárku, kde budete krížikom označovať správnu odpoveď. Označenie nech je výrazné a rozmerovo presné. Pri zmene odpovede, ak chcete pozmeniť predchádzajúce riešenie, pole vyplňte, a krížikujte ďalšiu alternatívu.

- dole uvedené možnosti administrátor vyznačí na tabuľu:

V prípade dvoch a viac označení krížikom je odpoveď neplatná.

6- Rozdajte testové zošity k Testu Študijných Predpokladov a upozornite žiakov, aby sa

testové zošity neotvárali pokiaľ nedáte pokyn.

7- Prečítajte nasledovnú inštrukciu: „Test je rozdelený do viacerých častí. Ku každej z týchto častí nájdete inštrukciu vyznačenú sivou farbou. Pri tomto teste si nebudeme inštrukcie vysvetľovať. V prípade otázok si inštrukciu prečítajte ešte raz a pozorne. Ak si nebudete vedieť rady, potichu ma zavolajte tak, aby ste nerušili spolužiakov.“

8- Odpovedzte na všetky otázky a potom povedzte: „Neobracajte stranu, pokiaľ vám nepoviem. Na tento test budete mať 30 minút. Možno nebudete mať dosť času, aby ste test dokončili, ale vyriešte čo najviac úloh ako môžete. Ak niektorú úlohu nemôžete vyriešiť, prejdite na ďalšiu, ale nezabudnite vynechať miesto vo vašom odpoveďovom hárku. Ak zmeníte niektorú z vašich odpovedí, presvedčte sa či ste prečiarkli nesprávnu a zreteľne zaznačte správnu odpoveď. Špeciálne upozornite žiakov na zvislé radenie otázok. Ak skončíte pred časovým limitom, nevyrušujte ostatných. OBRÁŤTE STRANU A ZAČNITE.

9- Presne po 30 minútach povedzte: „KONIEC. Položte perá (alebo ceruzky)“.

10- Pozbierajte odpoveďové hárky, testové zošity a zapíšte si poznámky z administrácie.

11- Poďakujte sa žiakom za ochotu a spoluprácu.