100 95 75dokumenti.ncvvo.hr/Razvoj_ispita/RZI_zavrsno_projektno_izvjesce.pdf · sadrŽaj predgovor 5 1. prikaz aktivnosti i ostvarenih ciljeva projekta razvoj zavrŠnih ispita na

0

5

25

75

95

100

PROJEKT: RAZVOJ ZAVRŠNIH ISPITA NA KRAJU OBRAZOVNIH CIKLUSA

STRUČNO IZVJEŠĆE

Nacionalni centar za vanjsko vrednovanje obrazovanja

Zagreb, 2015.

Izvještaj_RZI_19_FINN.indd 1 5/27/2015 6:25:37 PM

NACIONALNI CENTAR ZA VANJSKO VREDNOVANJE OBRAZOVANJA

Projekt: Razvoj završnih ispita na kraju obrazovnih ciklusaStručno izvješće

NAKLADNIK:Nacionalni centar za vanjsko vrednovanje obrazovanja

ZA NAKLADNIKA:Maja Jukić, dipl. ing. el., ravnateljica Nacionalnoga centra za vanjsko vrednovanje obrazovanja

UREDNICA:Natalija Gjeri Robić

AUTORICE I AUTORI:Natalija Gjeri Robić, Zoran Žitnik, Ira Tretinjak, Tajana Lankaš, Natalija Ćurković, Marijana Vučić, Vanda Petanjek, Josip Šabić, Irena Matoic, Mario Peranić, Zlatko Zadelj

LEKTURA I KOREKTURA:Ivana Ambroš

NASLOVNICA I GRAFIČKO OBLIKOVANJE:Zoran Žitnik

TISAK:ITG d.o.o., Zagreb

NAKLADA:200 komada

ISBN 978-953-7556-50-1

CIP zapis je dostupan u računalnome katalogu Nacionalne i sveučilišne knjižnice u Zagrebu pod brojem 000907042.


SADRŽAJ

PREDGOVOR 5

1. PRIKAZ AKTIVNOSTI I OSTVARENIH CILJEVA PROJEKTA RAZVOJ ZAVRŠNIH ISPITA NA KRAJU OBRAZOVNIH CIKLUSA 7

1.1. PROJEKT: RAZVOJ ZAVRŠNIH ISPITA NA KRAJU OBRAZOVNIH CIKLUSA 8

1.2. OPIS PROVEDENIH AKTIVNOSTI I OSTVARENIH CILJEVA PROJEKTA OD 2011. DO 2015. GODINE 16

1.3. POSTUPCI ZA OSIGURANJE KVALITETE U RAZVOJU ISPITA 35

1.4. ZAKLJUČAK 36

2. RAZVOJ STANDARDIZIRANIH ISPITA IZ HRVATSKOGA JEZIKA TE REZULTATI ISPITIVANJA 37

2.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ HRVATSKOGA JEZIKA IZMEĐU 2011. I 2015. GODINE 38

2.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ HRVATSKOGA JEZIKA 40

2.3. PRIPREMA I PROVEDBA PROBNOGA ISPITIVANJA: OD IZRADE SPECIFIKACIJE ISPITA DO REZULTATA ANALIZE ISPITA 43

2.4. PRIPREMA I PROVEDBA GLAVNOGA ISPITIVANJA: OD IZRADE STANDARDIZIRANIH ISPITA DO PRIKAZA REZULTATA ISPITIVANJA 52

2.5. ZAKLJUČAK 66

3. RAZVOJ STANDARDIZIRANIH ISPITA IZ ENGLESKOGA JEZIKA TE REZULTATI ISPITIVANJA 67

3.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ ENGLESKOGA JEZIKA IZMEĐU 2011. I 2015. GODINE 68

3.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ ENGLESKOGA JEZIKA 70



3.5. ZAKLJUČAK 99

4. RAZVOJ STANDARDIZIRANIH ISPITA IZ POVIJESTI TE REZULTATI ISPITIVANJA 101

4.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ POVIJESTI IZMEĐU 2011. I 2015. GODINE 102


4.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ POVIJESTI 104



4.5. ZAKLJUČAK 123

5. RAZVOJ STANDARDIZIRANIH ISPITA IZ FIZIKE TE REZULTATI ISPITIVANJA 125

5.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ FIZIKE IZMEĐU 2011. I 2015. GODINE 126

5.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ FIZIKE 128



5.5. ZAKLJUČAK 150

DODATAK: OBJAŠNJENJA OSNOVNIH POJMOVA VEZANIH ZA IZRADU I ANALIZU ISPITA TE PRIKAZ REZULTATA 151

LITERATURA 155


5

Projekt: Razvoj završnih ispita na kraju obrazovnih ciklusa – Stručno izvješće

PREDGOVOR

Prema Planu razvoja sustava odgoja i obrazovanja 2005. – 2010. (2005.), u obrazovni sustav uvedene su brojne promjene s ciljem poboljšanja kvalitete i učinkovitosti odgoja i obrazovanja. U skladu s Planom uveden je i sustav vanjskoga vrednovanja obrazovnih postignuća učenika. Nacionalni centar za vanj-sko vrednovanje obrazovanja (u daljnjemu tekstu: Centar) započeo je s vanjskim vrednovanjem znanja učenika 2006. godine u srednjim školama, nakon čega su škole bile uključene u nekoliko nacionalnih ispitivanja, a od školske godine 2009./2010. provode se ispiti državne mature. U osnovnim je školama školske godine 2007./2008. godine provedeno vanjsko vrednovanje obrazovnih postignuća učenika iz razredne i predmetne nastave.

Jedan od strateških ciljeva Ministarstva znanosti, obrazovanja i sporta (u daljnjemu tekstu: MZOS) pre-ma Strateškome planu za razdoblje 2012. – 2014. te za razdoblje 2013. – 2015. bio je i razvoj sustava osiguranja kvalitete na svim razinama sustava odgoja i obrazovanja (MZOS, 2012.a., 2012.b.). Aktivnosti vanjskoga vrednovanja i samovrednovanja navode se kao prioritetne aktivnosti strateških planova te se navodi da posebnu pozornost između ostaloga treba posvetiti i „organizaciji i provedbi vanjskoga vred-novanja obrazovnih rezultata u sustavu osnovnoga obrazovanja.“ (MZOS, 2012.a.: 11; MZOS, 2012.b.: 17). Projekt Razvoj završnih ispita na kraju obrazovnih ciklusa (u daljnjemu tekstu: Projekt) nastavak je rada Centra na unaprjeđenju metodologije razvoja sustava vanjskoga vrednovanja učeničkih postignu-ća s općim ciljem razvoja modela ispitivanja znanja na kraju obrazovnih ciklusa. U Projektu su između 2011. i 2015. godine razvijeni standardizirani ispiti iz četiri predmeta: iz Hrvatskoga jezika, Engleskoga jezika, Povijesti i Fizike, a ispitivanja su provedena na uzorku učenika osmih razreda u uzorkovanim osnovnim školama iz čitave Hrvatske. Razvijeni model standardizacije ispita, unaprjeđenje procedura i sustava osiguranja kvalitete u izradi ispitnoga materijala te uporaba mrežnih aplikacija u različitim faza-ma razvoja ispita, najvažniji su rezultati Projekta.

Jedan od ključnih doprinosa ovoga Projekta je mogućnost korištenja razvijenih procedura, metodo-logije i iskustava u razvoju ispita u drugim projektima i poslovima Centra. Isto tako, procedure i ostali dokumenti razvoja standardiziranih ispita nastali u sklopu Projekta mogu se primijeniti u razvoju ispita koji su predviđeni Strategijom obrazovanja, znanosti i tehnologije (2014.). Stoga se navedene procedu-re te znanja stečena na Projektu mogu koristiti i u rekonceptualizaciji modela državne mature u skladu s novim kurikularnim ciljevima te u razvoju i uspostavi novih ispita i modela vanjskoga vrednovanja ishoda učenja prema Strategiji.

Ovaj Projekt ne bi bio uspješno proveden bez sudjelovanja i podrške vanjskih suradnika Centra, škola, učenika i njihovih roditelja/skrbnika. Zahvaljujemo na suradnji svim vanjskim suradnicima Projekta, a posebno skupinama za razvoj ispita, autorima i recenzentima ispitnih zadataka te nastavnicima koji su sudjelovali u postavljanju pragova za razine postignuća. Također, zahvaljujemo ravnateljima, vodi-teljima ispitivanja i osoblju 597 škola koje su sudjelovale u probnome ispitivanju te 426 škola koje su sudjelovale u glavnome ispitivanju na suradnji i na podršci tijekom pripreme i provedbe ispitivanja. Na kraju, zahvaljujemo i učenicima na ozbiljnome i savjesnome pristupu ispitivanju te njihovim roditelji-ma/skrbnicima na podršci Projektu.


6


* * *

Ovo Izvješće pruža informacije o ciljevima, aktivnostima i rezultatima Projekta od 2011. do 2015. godi-ne. Strukturno gledano, Izvješće se sastoji od pet glavnih poglavlja. Prvo poglavlje odnosi se na aktivno-sti i rezultate Projekta u cjelini dok su ostala četiri vezana uz pojedine predmete: uz razvoj standardizi-ranih ispita i rezultate provedenih ispitivanja iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike. Cjeline su organizirane kao nezavisna poglavlja u kojima se pojedini ključni dijelovi ponavljaju radi postizanja veće razumljivosti.

Izvješće je namijenjeno nastavnicima i ravnateljima osnovnih škola, djelatnicima Agencije za odgoj i obrazovanje i MZOS-a te ostalim dionicima odgojno-obrazovnoga sustava kako bi bili upoznati s rezul-tatima provedenoga Projekta i ispitivanja.1

1 Izrazi koji se koriste u ovome Izvješću, a koji imaju rodno značenje, bez obzira jesu li korišteni u muškome ili ženskome rodu, neutralni su i obuhvaćaju na jednak način muški i ženski rod.


1. PRIKAZ AKTIVNOSTI I OSTVARENIH CILJEVA PROJEKTA RAZVOJ ZAVRŠNIH ISPITA NA KRAJU

OBRAZOVNIH CIKLUSA

Natalija Gjeri Robić, Zoran Žitnik


8


1.1. PROJEKT: RAZVOJ ZAVRŠNIH ISPITA NA KRAJU OBRAZOVNIH CIKLUSA

1.1.1. CILJEVI I AKTIVNOSTI PROJEKTA

Rezultati vanjskoga vrednovanja obrazovnih postignuća učenika, odnosno rezultati mjerenja učeničko-ga znanja jedan su od važnih objektivnih indikatora kvalitete škole i obrazovanja u cjelini. Zbog važnosti koje vanjsko vrednovanje ima za učenike, škole i za obrazovni sustav, nužno je kontinuirano unapr-jeđivati način ispitivanja učeničkoga znanja. Stoga je Centar odlučio razviti model ispitivanja prema suvremenim pristupima ispitivanju znanja, radi unaprjeđenja procesa vanjskoga vrednovanja u smjeru komparativnoga kontinuiranog praćenja obrazovnih postignuća učenika. Tako je 2011. godine pokrenut projekt Razvoj završnih ispita na kraju obrazovnih ciklusa koji je trajao do svibnja 2015. godine.

Opći cilj Projekta bio je razviti model ispitivanja znanja na kraju obrazovnih ciklusa. Specifični ciljevi bili su:

• razviti model i postupke ispitivanja prema suvremenim pristupima ispitivanju znanja: uporaba Teorije odgovora na zadatak2 (eng. Item Response Theory) u izradi i analizi ispita

• ispitati i procijeniti razine znanja učenika osmih razreda osnovnih škola iz predmeta: Hrvatski jezik, Engleski jezik, Povijest i Fizika.

Sve aktivnosti Projekta bile su usklađene s postupcima razvoja i provedbe ispita3, s obzirom na postav-ljene ciljeve Projekta. To se odnosilo:

• na uporabu Teorije odgovora na zadatak u razvoju, analizi i interpretaciji ispita

• na razvoj i provedbu standardiziranih ispita iz četiri predmeta

• na izradu procedura razvoja ispita.

Cilj ispita iz navedena četiri predmeta bio je procijeniti razine usvojenih znanja odnosno postignuća učenika osmih razreda osnovnih škola te su se iz toga razloga ispiti temeljili na sadržajima i ishodima Nastavnoga plana i programa za osnovnu školu (2006.). S obzirom na raspoložive resurse Projekta i Centra, ispitivanja su provedena na uzorku učenika osmih razreda u uzorkovanim osnovnim školama

2 Svi ključni pojmovi koji se spominju u Izvješću (Teorija odgovora na zadatak i drugi pojmovi) objašnjeni su u Dodatku ovoga Izvješća.

3 O proceduri i standardima razvoja ispita vidjeti primjerice: AERA, APA, NCME (2006). Standardi za pedagoško i psihološko testiranje. Jastrebarsko: Naklada Slap; Cito/International (2009). Nacionalni ispiti – Nacionalna procjena postignuća. Mjerila, smjernice, postupci. Poveznica: http://dokumenti.ncvvo.hr/Projekti/Projekt/mjerila_smjernice_cito.pdf; Cohen, L., Manion L., Morrison K. (2007). Metode istraživanja u obrazovanju. Jastrebarsko: Naklada Slap; Gronlund, N. E. (2003). Assessment of Student Achievement. Boston: Allyn & Bacon Publishing; The Association for Educational Assessment – Europe. European Framework of Standards for Educational Assessment 1.0. Poveznica: http://www.aea-europe.net/images/downloads/SW_Framework_of_European_Standards.pdf


9

PRIKAZ AKTIVNOSTI I OSTVARENIH CILJEVA PROJEKTA RAZVOJ ZAVRŠNIH ISPITA NA KRAJU OBRAZOVNIH CIKLUSA

iz čitave Hrvatske. Ključna značajka u novoj proceduri razvoja ispita je standardizacija ispita kojom se unaprijedio način ispitivanja i procjenjivanja znanja učenika. To ne podrazumijeva samo standardizaciju postupaka ispitivanja nego standardizaciju ispita temeljem detaljno razrađenih ispitnih specifikacija, dizajna testa i mjernih karakteristika zadataka dobivenih probnim ispitivanjem. Time se osiguravaju međusobno usporedivi učenički rezultati prikazani na jedinstvenoj skali, a dobiveni iz više paralelnih inačica ispita koje su kalibrirane kako s obzirom na strukturu i nacrt ispita tako i s obzirom na metrij-ske karakteristike ispita. Standardiziranost ispita iznimno je bitna radi osiguranja jednakoga standarda ispitivanja za sve učenike i međusobne usporedivosti rezultata, neovisno o „roku“ odnosno mjestu i vremenskoj udaljenosti polaganja ispita. S druge strane, njena važnost leži u osiguranju temelja za su-stavno praćenje učeničkih postignuća i obrazovnoga sustava, s ciljem osiguranja kvalitete obrazovanja te kroz mogućnost transparentnoga, razumljivoga te normiranoga izvještavanja učenika i škola o njiho-vim rezultatima kao i svih ostalih dionika obrazovnoga procesa.

Projekt je započeo 2011. godine kada su okupljene skupine za razvoj ispita te izrađene detaljne spe-cifikacije ispita iz Hrvatskoga jezika, Engleskoga jezika, Povijesti i Fizike. Sve aktivnosti tijekom 2012. godine odnosile su se na pripremu ispitnih inačica za probno ispitivanje. To je obuhvaćalo narudžbu, izradu i prikupljanje ispitnih zadataka, trostruku recenziju zadataka, određivanje pragova prolaznosti, izradu/jednačenje ispitnih inačica. U 2013. godini pripremljeno je i provedeno probno ispitivanje iz na-vedena četiri predmeta radi utvrđivanja metrijskih karakteristika ispitnih zadataka. U probnome ispiti-vanju sudjelovalo je 597 osnovnih škola iz čitave Hrvatske, a ispitivanje je provedeno na uzorku učenika osmih razreda. Nakon probnoga ispitivanja slijedile su psihometrijske analize prema Teoriji odgovora na zadatak i Klasičnoj teoriji testova te priprema paralelnih (standardiziranih) ispitnih inačica za glavno ispitivanje. Budući da se razvijao novi model ispitivanja znanja, od studenoga 2011. godine do prosinca 2013. godine proveden je niz sastanaka i edukacija s konzultantskom kućom Assessment Group Inter-national – Belgija.

Glavno ispitivanje u sklopu Projekta provedeno je između 17. i 21. ožujka 2014. godine. Sve aktivno-sti Projekta u 2014. godini odnosile su se na pripremu i provedbu ispitivanja, psihometrijske analize i obrade dobivenih podataka te na izvještavanje o postupcima i rezultatima Projekta i ispitivanja. U 2015. godini provedene su finalne obrade podataka te je pripremano finalno izvješće Projekta i rezultata is-pitivanja.

1.1.2. REZULTATI PROJEKTA

U Projektu su napravljeni veliki koraci u unaprjeđenju sustava vanjskoga vrednovanja učeničkih posti-gnuća. S jedne strane, u novome je modelu unaprijeđen sustav osiguranja kvalitete u izradi ispitnoga materijala, a poseban doprinos razvoju ispita bila je uporaba mrežnih aplikacija u različitim fazama izra-de ispitnoga materijala. Time je uveden brži, učinkovitiji i ekonomičniji sustav prikupljanja i recenzija ispitnih zadataka te organizacije ispitivanja. S druge strane, razvijeni model standardizacije ispita pruža više informacija o ispitu, ispitnim zadatcima, ali i o učenicima i obrazovnome sustavu te omogućuje us-poredbu rezultata i praćenje postignuća učenika ili različitih podgrupa populacije unutar jedne godine (različito vrijeme i/ili mjesto polaganja ispita) ili kroz više godina tijekom obrazovanja.


10


Između 2011. i 2015. godine provedene su brojne aktivnosti koje su rezultirale razvojem i provedbom standardiziranih ispita iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike. Nakon provedenoga glavnog ispitivanja ispiti su analizirani prema Teoriji odgovora na zadatak i Klasičnoj teoriji testova te su proci-jenjene razine znanja učenika osmih razreda iz četiri predmeta. Stoga su ciljevi Projekta u potpunosti ostvareni.

Ostvareni ciljevi Projekta:

• Razvijen je novi model ispitivanja znanja prema suvremenim pristupima ispitivanju znanja u obli-ku standardiziranih završnih ispita.

• Unaprijeđen je sustav vanjskoga vrednovanja obrazovnih postignuća učenika uvođenjem suvre-menih metoda u planiranju, konstrukciji, analizama ispita i interpretaciji rezultata.

• Unaprijeđen je sustav osiguranja kvalitete u izradi ispitnoga materijala (izrada zadataka prema ishodima učenja i kriterijima kvalitete, trostruka recenzija zadataka, izrada i provjera paralelnih ispitnih inačica, probno ispitivanje zadataka).

• Unaprijeđen je sustav osiguranja valjanih, pouzdanih i objektivnih ispitnih rezultata za svakoga pojedinog učenika (korištenje Teorije odgovora na zadatak, izbacivanje nefunkcionalnih zadataka iz rezultata, rezultati učenika koji su pisali različite inačice ispita su međusobno usporedivi).

• Razvijeni su i primijenjeni standardizirani završni ispiti uporabom Teorije odgovora na zadatak iz četiri predmeta (Hrvatski i Engleski jezik, Povijest i Fizika).

• Provedeno je ispitivanje i procijenjeno znanje učenika osmih razreda iz četiri predmeta.

• Po prvi puta u Centru su u razvoju standardiziranih ispita korištene mrežne aplikacije za narudž-bu, izradu i recenzije ispitnih zadataka te za formiranje ispitnih inačica, čime je unaprijeđena procedura u razvoju ispita (sinergija s projektom Razvoj banke zadataka).

• Psihometrijski stručnjaci su kroz Projekt osposobljeni za rad na novome modelu ispitivanja zna-nja.

• Predmetni stručnjaci su kroz Projekt unaprijedili vještine vezane uz izradu ispitnih specifikacija te izradu i recenzije ispitnih zadataka.

• Pripremljeni su priručnici, upute i procedure vezane uz razvoj standardiziranih ispita.

U Projektu su primijenjene nove procedure:

• u razvoju potpuno standardiziranih završnih ispita

• u radu sa skupinama i drugim vanjskim suradnicima (npr. razdvajanje uloga skupina za razvoj ispita i autora ispitnih zadataka)

• u radu predmetnih i psihometrijskih stručnjaka iz Centra (sudjelovanje u razvoju ispita, izrada ispitnih inačica).


11


Razvoj standardiziranih ispita iz četiri predmeta podrazumijevao je:

• izradu detaljnih specifikacija ispita prema Nastavnome planu i programu te izradu zadataka te-meljem ishoda učenja definiranih u ispitnim specifikacijama

• uporabu mrežnih aplikacija u razvoju ispita: za narudžbu, izradu i recenzije zadataka te za formi-ranje ispitnih inačica

• određivanje pragova za razine postignuća prije probnoga ispitivanja, uz korekcije nakon probno-ga ispitivanja

• probno ispitivanje zadataka kako bi se primijenili ispiti sa zadatcima kvalitetnih mjernih karakte-ristika

• provedbu opsežnih psihometrijskih analiza prema suvremenim teorijama ispitivanja znanja (Teo-rija odgovora na zadatak) uz korištenje i pojedinih analiza Klasične teorije testova

• primjenu potpuno ujednačenih i povezanih ispitnih inačica u ispitivanju s unaprijed poznatim metrijskim karakteristikama (dobivenim predispitivanjem)

• nivelaciju rezultata učenika koji su pisali različite inačice ispita na istu skalu te prikaz rezultata učenika na skali postignuća čime je omogućena usporedba rezultata učenika koji su pisali različi-te inačice ispita na istim ili različitim rokovima

• zaštitu ispitnih zadataka i ispita kako bi se osigurala standardiziranost ispita u daljnjim primjena-ma

• izvještavanje učenika i roditelja/skrbnika o uspjehu učenika na ispitu kroz razumljiva i informa-tivna izvješća.

Sve navedene promjene bile su organizacijske, sadržajne/stručne i tehničke prirode, s glavnim ciljem osiguranja valjanih, pouzdanih i objektivnih ispitnih rezultata za svakoga pojedinog učenika. Jedan od ključnih doprinosa ovoga Projekta jest primjenjivost procedura i metodologije razvoja ispita u drugim poslovima i projektima Centra.

Osim ostvarivanja svih postavljenih ciljeva, tijekom Projekta stečeno je opsežno iskustvo u otkrivanju i rješavanju problema implementacije nove metodologije te njihove prilagodbe uvjetima primjene unu-tar hrvatskoga obrazovnog sustava.

1.1.3. SURADNICI NA PROJEKTU

U Projektu su sudjelovali sadržajni i psihometrijski stručnjaci Centra, konzultant Projekta, nastavnici okupljeni u skupinama za razvoj ispita, autori ispitnih zadataka, stručni recenzenti ispitnih zadataka, nastavnici koji su sudjelovali u proceduri određivanja pragova postignuća učenika te drugi vanjski su-radnici Centra. U aktivnostima Projekta sudjelovalo je oko 250 osoba.


12


Tablica 1.1. Popis suradnika na Projektu

IME I PREZIME FUNKCIJA / POSLOVI

VODITELJSKI TIM PROJEKTA

Natalija Gjeri Robić voditeljica Projekta

Zoran Žitnik koordinator Projekta

Jasmina Muraja (2011. – 2013.), Goran Sirovatka (2011. – 2013.)

ideja i pokretanje Projekta, nadzor provedbe Projekta

Alenka Buntić Rogić (2013. – 2014.), Maja Jukić (2014. – 2015.)

nadzor provedbe Projekta

PREDMETNI KOORDINATORI

Petra Chudy (od svibnja 2012.)Tea Vidović (do svibnja 2012.)

predmetne koordinatorice za Hrvatski jezik

Marijana Vučić, Vanda Petanjek,Martina Prpić (rujan 2012. – rujan 2013.)

predmetne koordinatorice za Engleski jezik

Mario Peranić, Irena Matoic, Tajana Crnobrnja Miljković (ožujak 2012. – prosinac 2013.)

predmetni koordinatori za Povijest

Zlatko Zadelj, Valentina Kapraljević (siječanj 2012. – prosinac 2013.)

predmetni koordinatori za Fiziku

PSIHOMETRIJSKI KOORDINATORI

Ira Tretinjak psihometrijska koordinatorica za Hrvatski jezik

Natalija Ćurković (rujan 2011. – lipanj 2012.; od siječnja 2014.), Tajana Lankaš (lipanj 2012. – siječanj 2014.)

psihometrijske koordinatorice za Engleski jezik

Josip Šabić psihometrijski koordinator za Povijest

Zoran Žitnik psihometrijski koordinator za Fiziku

PRIPREMA I ORGANIZACIJA ISPITIVANJA U ŠKOLAMA

Natalija Gjeri Robić voditeljica pripreme i organizacije ispitivanja u školama

Zoran Žitnik koordinator na pripremi i organizaciji ispitivanja u školama; priprema uzorka škola i učenika

Jelena Pajić (od veljače 2013.), Marija Babić (studeni – prosinac 2012.)

poslovi komunikacije sa školama

Anđa Fofić, Boris Skorić Arambašić logistika; voditelji pakiranja ispitnih materijala i njihove otpreme u škole te prihvata i razvrstavanja ispitnoga materijala i njihova skeniranja


13


IME I PREZIME FUNKCIJA / POSLOVI

ADMINISTRATIVNA POMOĆ NA PROJEKTU

Jelena Pajić (od veljače 2013.), Antonia Grga Vergles, Sandra Sečak (prosinac 2011. – travanj 2012.)

administrativna pomoć na Projektu

GRAFIČKA PRIPREMA ISPITNIH MATERIJALA

Zlata Babić lektura

Josip Žagar prijelom

Katarina Cvijanović korektura

INFORMATIČKA-APLIKACIJSKA/BAZNA PODRŠKA

Martina Golubić bazna podrška

Goran Pecikoza informatička podrška (aplikacije)

Nives Bučić informatička podrška (aplikacije)

Ostali vanjski suradnici na Projektu

Projekt je osmišljen u suradnji s g. Eduardom Cascallarom, direktorom Assessment Group International (Brisel, Belgija). G. Cascallar sudjelovao je na Projektu kao konzultant u razvoju standardiziranih ispita od 2011. do kraja 2013. godine te je održao niz predavanja i radionica u vezi razvoja ispita prema Teoriji odgovora na zadatak, te u vezi psihometrijskih analiza ispita u računalnome programu Parscale. Održani sastanci i edukacije prikazani su u poglavlju 1.2. U provedbi radionica postavljanja pragova za razine postignuća učenika 2012. godine konzultantu je pomagala i suradnica Assessment Group International, gđa Eva Kyndt.

Skupine za razvoj ispita iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike sudjelovale su u razvoju ispita iz pojedinoga predmeta od studenoga 2011. godine do prosinca 2014. godine. U radu skupina za razvoj ispita sudjelovalo je ukupno 19 nastavnika. Ispitne zadatke izrađivala su 152 nastavnika iz svih dijelova Republike Hrvatske, a završnu, stručnu (sadržajnu) recenziju zadataka napravila su po dva stručna re-cenzenta po predmetu. U postavljanju pragova za razine postignuća 2012. godine sudjelovao je ukupno 31 nastavnik za četiri predmeta. Popis članova skupina za razvoj ispita, autora ispitnih zadataka, struč-nih recenzenata te nastavnika koji su sudjelovali u postavljanju pragova za razine postignuća nalazi se u poglavljima o razvoju ispita za svaki predmet, zajedno s opisom njihovih zadaća (poglavlja 2 – 5).


14


1.1.4. SINERGIJA S PROJEKTOM RAZVOJ BANKE ZADATAKA

Projekt Razvoj banke zadataka započeo je u siječnju 2012. godine s ciljem izrade aplikacijskoga i ba-znoga sustava podrške cjelokupnome procesu ispitivanja. To je prvi Projekt Centra kroz koji je razvijan funkcionalni sustav prikupljanja i upravljanja zadatcima elektroničkim putem, a koji je primijenjen u projektu Razvoj završnih ispita. U oba su projekta aktivno sudjelovali Zoran Žitnik, koordinator projekta Razvoj banke zadataka i projekta Razvoja završnih ispita i Natalija Gjeri Robić, voditeljica projekta Razvoj završnih ispita.

U prvoj fazi Projekta uveden je sustav naručivanja, izrade i prikupljanja zadataka putem mrežne aplika-cije prema specifikacijama projekta Razvoj završnih ispita. Zatim je uveden sustav trostruke recenzije zadataka putem mrežne aplikacije, njihove dorade te je uveden sustav praćenja zadataka i rada svih korisnika aplikacije. Kroz aplikacijski sustav vršila se i finalizacija zadataka i ispitnih inačica za probno ispitivanje (lektura, dorada slika, izrada ispitnih inačica). Sve navedene aplikacije pospješile su i unapri-jedile proces ispitivanja znanja unutar projekta Razvoj završnih ispita. Aplikacija se pokazala iznimno uspješnom u brzome prikupljanju velike količine zadataka i pratećih podataka (težina, složenost zadata-ka, vrijeme potrebno za rješavanje zadataka) od velikoga broja autora preko internet pristupa. Iznimno su ubrzane i faze dorade i recenzije zadataka koje se rade unutar Centra te je dobivena i jedinstvenost izgleda zadataka (lektura, korektura i ujednačavanje za tisak). Osim napretka u vremenu potrebnome za prikupljanje i recenzije zadataka te uključivanje širega kruga predmetnih stručnjaka bez obzira na prostornu udaljenost, ostvarena je i financijska ušteda te transparentnost praćenja otkupa zadataka od strane autora i Centra.

U sklopu projekta Razvoj banke zadataka napravljena je i aplikacija za komunikaciju sa školama (KOM) tijekom pripreme za ispitivanje i tijekom samoga ispitivanja. Ta je aplikacija također primijenjena i za projekt Razvoj završnih ispita, čime je osigurana efikasna komunikacija s velikim brojem škola. Škole su kroz aplikaciju provjeravale i ažurirale podatke o školi i učenicima, bile vođene kroz organizaciju ispiti-vanja te zaprimale sve potrebne dokumente vezane uz pripremu i provedbu ispitivanja.

Osim dviju navedenih aplikacija, u projektu Razvoj banke zadataka osmišljen je i modul Ocjenjivanje, kodiranje i unos (OKU) koji se koristio i u projektu Razvoj završnih ispita. Nakon skeniranja i očitanja (OCR) rezultata ispitivanja u projektu Razvoj završnih ispita u 2013. i 2014. godini vršila se algoritamska provjera matrice očitanja nakon čega su sva upitna očitanja vizualno provjeravana i korigirana. Prikaz zadatka (ispita) koji je bilo potrebno vizualno provjeriti vršio se preko OKU modula u kojega je postav-ljen skenirani digitalni prikaz ispita i definicije zadataka koje je bilo potrebno provjeriti (učenik, stranica na kojoj se zadatak nalazi) te su ponuđene opcije za korekciju.

Projekt Razvoj banke zadataka i primjena aplikacija u sklopu projekta Razvoj završnih ispita predstav-ljeni su na Regionalnome dijalogu zemalja srednje i jugoistočne Europe koji se održao 11. i 12. ožujka 2013. godine u Zagrebu, u organizaciji Centra. Na konferenciji su sudjelovali predstavnici ispitnih cen-tara iz Hrvatske, Bosne i Hercegovine, Srbije, Crne Gore, Slovenije i Austrije. Kao gosti u Regionalnome dijalogu sudjelovali su i predstavnici ispitnoga centra Cito iz Nizozemske, a konferenciji su nazočili i predstavnici MZOS-a. Natalija Gjeri Robić i Zoran Žitnik održali su 12. 3. 2013. prezentaciju pod nazivom Razvoj banke zadataka: proces, iskustva, faze, napredak u kojoj je predstavljen razvoj projekta banke zadataka, primjenjivost izrađenih aplikacija u različitim projektima Centra te planovi za nastavak Projek-


15


ta. Za tehnička rješenja vladao je veliki interes od strane sudionika, s obzirom na činjenicu da je razvoj ovakvoga aplikacijskog sustava preduvjet uspješnoga funkcioniranja svih ispitnih centara.

1.1.5. JAVNA VIDLJIVOST PROJEKTA

S obzirom na značaj koji Projekt ima za škole i obrazovanje općenito Centar je osigurao vidljivost Projek-ta izradom brošure i mrežne stranice Projekta te kroz predstavljanje Projekta na različitim sastancima i skupovima. Osim toga, Projekt i aktivnosti Projekta neposredno su predstavljeni kroz izravan rad s velikim brojem vanjskih suradnika koji su zaposleni u obrazovnim institucijama te školama u kojima se provodilo ispitivanje. Učenici i roditelji/skrbnici bili su upoznati s Projektom preko škola, direktno u dopisu traženja njihove suglasnosti za sudjelovanje u ispitivanju, kao i nakon ispitivanja kroz osobne izvještaje o rezultatima učenika na ispitima.

Prva aktivnost vezana uz vidljivost Projekta bila je izrada brošure. U listopadu 2011. godine izrađena je brošura Projekta koja sadrži opis pozadine Projekta, ciljeve i projektne aktivnosti. Brošura Projekta podijeljena je vanjskim suradnicima Projekta, školama u kojima je provedeno probno i glavno ispiti-vanje i ostalim dionicima. Brošure Projekta osobno su bile podijeljene ravnateljima osnovnih škola na stručnome skupu održanome u Vodicama u veljači 2012. godine. Brošura Projekta dostupna je u elek-troničkome obliku na mrežnoj stranici Projekta.4

Na mrežnim stranicama Centra izrađena je podstranica Projekta pod nazivom Razvoj završnih ispita na kojoj su bile dostupne informacije o aktivnostima Projekta te su objavljeni dokumenti Projekta5. Na stranici su za vrijeme trajanja Projekta bile objavljivane obavijesti, popisi provedenih aktivnosti Projekta te Javni pozivi. Također je bila otvorena službena e-adresa Projekta. U različitim fazama Projekta bile su otvarane i dodatne e-adrese, primjerice za škole koje su sudjelovale u probnome ili glavnome ispitiva-nju ili pak za autore ispitnih zadataka za pojedini predmet.

Od 2011. do 2015. godine aktivnosti Projekta bile su predstavljene na različitim sastancima i skupovima u organizaciji Centra te na stručnim skupovima u organizaciji Agencije za odgoj i obrazovanje. Projekt je odmah nakon početka aktivnosti predstavljen i na sjednici Vijeća za nacionalni i okvirni kurikulum (22. 11. 2011.). Projekt je isto tako predstavljen na 14. međunarodnoj konferenciji Association for Edu-cational Assessment – Europe koja se održala u Parizu u studenome 2013. godine. Na konferenciji je održano izlaganje pod naslovom Possibilities of implementing concepts and methods used in national and international surveys in the development of final examinations in Croatia (Gjeri Robić i Muraja, 2013.). U izlaganju je naglašena važnost primjene suvremenih pristupa u razvoju ispita kako bi rezultati mjerenja bili što valjaniji, pouzdaniji i objektivniji. Na kraju prezentacije razmotrene su mogućnosti vezane uz promjene u načinu razvoja završnih ispita te nužni elementi potrebni za promjene u sustavu vanjskoga vrednovanja znanja.

Sudjelovanjem niza vanjskih suradnika u raznim fazama izrade ispitnih materijala i ispita kako nastavni-cima u osnovnim i srednjim školama tako i fakultetima, dodatno je proširena vidljivost i utjecaj Projekta.

4 Vidjeti: http://dokumenti.ncvvo.hr/Razvoj_ispita/Dokumenti/brosura.pdf 5 Vidjeti: http://www.ncvvo.hr/drzavnamatura/web/public/rzi


16


1.2. OPIS PROVEDENIH AKTIVNOSTI I OSTVARENIH CILJEVA PROJEKTA OD 2011. DO 2015. GODINE

1.2.1. UVOD: PRIKAZ PROVEDENIH AKTIVNOSTI I EDUKACIJA U SKLOPU PROJEKTA

Početni plan i program Projekta usuglašen je do srpnja 2011. godine te je Projekt predstavljen djelat-nicima Centra (13. 7. 2011.). U rujnu i listopadu 2011. godine poduzete su sve pripremne aktivnosti za početak Projekta. Održani su sastanci sa svim djelatnicima Centra koji sudjeluju u Projektu te se početni plan Projekta revidirao s obzirom na radno opterećenje djelatnika tijekom pojedinih razdoblja u godini. U listopadu 2011. godine počele su pripreme za početak aktivnosti Projekta: odabrane su skupine za razvoj ispita, pripremljene su skice ispitnih specifikacija te su organizirani sastanci i edukacije s Asses-sment Group International.

Od 2011. do 2015. godine u sklopu Projekta održano je oko 200 sastanaka djelatnika Centra s vanjskim suradnicima na Projektu, a isto je tako provedeno 18 tematskih konzultantskih sastanaka i edukacija (ukupno 95 radnih dana). Popis provedenih aktivnosti Projekta nalazi se u Tablici 1.2., a provedenih edukacija u Tablici 1.3.

Tablica 1.2. Provedene aktivnosti Projekta od 2011. do 2015. godine

GLAVNE AKTIVNOSTI RAZVOJA STANDARDIZIRANIH ISPITA VRIJEME

PRIPREMA I PROVEDBA PROBNOGA ISPITIVANJA: OD IZRADE SPECIFIKACIJE ISPITA DO REZULTATA ANALIZE ISPITA

rujan 2011. – rujan 2013.

Priprema za početak aktivnosti Projekta rujan – listopad 2011.

Izrada ispitnih specifikacija – sadržajnih struktura i nacrta ispita listopad 2011. – veljača 2012.

Narudžba, izrada i recenzije ispitnih zadataka ožujak – listopad 2012.

Postavljanje pragova za razine postignuća učenika listopad – studeni 2012.

Izrada ispitnih inačica za probno ispitivanje studeni – prosinac 2012.

Izrada uzorka škola i učenika te organizacija i priprema za probno ispitivanje

studeni 2012. – ožujak 2013.

Probno ispitivanje, psihometrijske analize i rezultati probnoga ispitivanja

ožujak – rujan 2013.

PRIPREMA I PROVEDBA GLAVNOGA ISPITIVANJA: OD IZRADE STANDARDIZIRANIH ISPITA DO PRIKAZA REZULTATA ISPITIVANJA

rujan 2013. – svibanj 2015.

Izrada standardiziranih ispitnih formi/inačica rujan – studeni 2013.

Izrada uzorka škola i učenika te organizacija i priprema za glavno ispitivanje

listopad 2013. – ožujak 2014.

Glavno ispitivanje, psihometrijske analize i rezultati glavnoga ispitivanja ožujak – prosinac 2014.


17


GLAVNE AKTIVNOSTI RAZVOJA STANDARDIZIRANIH ISPITA VRIJEME

Prikaz postignuća učenika na ispitu s obzirom na neke demografske i školske pokazatelje

listopad – prosinac 2014.

Priprema Projektnoga izvješća i procedura razvoja ispita; tisak izvješća listopad 2014. – svibanj 2015.

U Projektu je od 2011. do kraja 2013. godine provedeno niz sastanaka i edukacija vezanih uz razvoj standardiziranih ispita, uporabu Teorije odgovora na zadatak u razvoju i analizi ispita, uz postavljanje pragova postignuća te analizu ispita i ispitnih zadataka u računalnome programu Parscale. Sastanci i edukacije organizirani su i provedeni u suradnji s konzultantom Projekta.

Cilj konzultantskih sastanaka i edukacija bio je pružiti podršku djelatnicima Centra u razvoju standar-diziranih ispita, unaprijediti postojeća znanja vezana uz izradu ispita i ispitnih zadataka te osposobi-ti djelatnike Centra za primjenu novoga modela razvoja ispita prema Teoriji odgovora na zadatak. U edukacijama su sudjelovali i djelatnici Centra koji nisu aktivno sudjelovali u Projektnim aktivnostima. Provedeni sastanci i edukacije prikazani su u Tablici 1.3.

Tablica 1.3. Popis organiziranih i provedenih konzultantskih sastanaka i cjelodnevnih edukacija u suradnji s Assessment Group International

DATUMI SASTANCI/PREDAVANJA/RADIONICE BROJ RADNIH DANA

2011. GODINA

2. – 5. 11. 2011. Predstavljanje Projekta i predavanje o razvoju ispita 4

7. – 12. 11. 2011. Izrada sadržajnih struktura i nacrta ispita 6

5. – 15. 12. 2011. Izrada proširenih nacrta ispita 9

2012. GODINA

25. – 30. 1. 2012. Završavanje nacrta ispita 5

31. 1. – 3. 2. 2012. Edukacija o izradi i procjeni zadataka 4

5. 3. – 6. 3. 2012., 9. 3. 2012.

Predavanja o razvoju i provedbi ispita unutar Teorije odgovora na zadatak

3

29. – 31. 3. 2012. Predavanja o razvoju sadržajnih i izvedbenih standarda i izrada opisivača razina postignuća učenika

3

2. – 5. 4. 2012. Psihometrijska edukacija Jednačenje i vertikalno skaliranje ispita

4

10. – 13. 9. 2012. Sastanci – provjera parametara izrađenih i recenziranih zadataka

4


18


DATUMI SASTANCI/PREDAVANJA/RADIONICE BROJ RADNIH DANA

29. 10. – 9. 11. 2012. Radionica određivanja pragova za razine postignuća na ispitu 16

12. – 13. 11. 2012. Sastanci – izrada ispitnih inačica za probno ispitivanje 2

3. – 7. 12. 2012. Vježbe na primjerima u računalnome programu Parscale 5

2013. GODINA

4. – 8. 2. 2013. Analize prema Teoriji odgovora na zadatak 5

6. – 10. 5. 2013. Analiza probno ispitanih zadataka u računalnome programu Parscale

5

10. – 14. 6. 2013. Analiza probno ispitanih zadataka u računalnome programu Parscale

5

9. – 13. 9. 2013. Izrada ispitnih formi/inačica za glavno ispitivanje 5

21. – 25. 10. 2013. Validacija izrađenih ispitnih formi/inačica 5

2. – 6. 12. 2013. Izvještavanje o rezultatima nakon provedbe ispitivanja 5

Ukupno 18 tematskih radionica/sastanaka 95

Psihometrijski stručnjaci Centra su kroz Projekt te sastanke i edukacije osposobljeni za rad na novome modelu ispitivanja znanja: u konstrukciji i standardizaciji različitih inačica ispita, u analizama podataka te interpretaciji rezultata. Isto tako, predmetni i psihometrijski stručnjaci Centra su kroz Projekt unapri-jedili vještine vezane uz razvoj standardiziranih ispita, izradu ispitnih specifikacija te izradu i recenzije ispitnih zadataka.


19


1.2.2. PREDSTAVLJANJE PROJEKTA I PREDAVANJA O RAZVOJU ISPITA

Projekt je službeno započeo sastancima predmetnih i psihometrijskih koordinatora te voditeljice i kon-zultanta Projekta sa skupinama za razvoj ispita iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike. Sa-stanci su održani između 2. i 5. 11. 2011. godine.

Tablica 1.4. Organizacija prvih sastanaka za skupine za razvoj ispita

Datum Skupina/predmet

2. 11. 2011. Hrvatski jezik

3. 11. 2011. Engleski jezik

4. 11. 2011. Povijest

5. 11. 2011. Fizika

Nakon uvodnoga predstavljanja Projekta, Projektnih aktivnosti te zadaća skupine za razvoj ispita od strane voditeljice Projekta, konzultant je održao predavanje o osnovama Teorije odgovora na zadatak. Na kraju predavanja raspravljalo se o konstrukciji ispita: o sadržaju ispita, vrstama zadataka koje će biti korištene u ispitu, broju zadataka te vremenu predviđenome za rješavanje ispita. Zaključci navedene rasprave poslužili su kao temelj za izradu ispitnih specifikacija iz pojedinoga predmeta.

1.2.3. IZRADA ISPITNIH SPECIFIKACIJA – SADRŽAJNIH STRUKTURA I NACRTA ISPITA

Detaljne specifikacije ispita predstavljaju temelj za standardizaciju ispita/ispitnih inačica te je prva ak-tivnost razvoja ispita bila izrada ispitnih specifikacija – sadržajnih struktura ispita i nacrta ispita. Sa-držajna struktura ispita predstavlja detaljan opis sadržaja ispitivanja, a izrađena je prema sadržajima i ishodima Nastavnoga plana i programa za osnovne škole za pojedini predmet (2006.). Nacrt ispita predstavlja specifikaciju načina na koji će se ispitivati sadržaji i ishodi definirani sadržajnom strukturom ispita (vrste i broj zadataka itd.).

Izrada skica ispitnih specifikacija započela je u listopadu 2011. godine, a rad na izradi specifikacija na-stavljen je na trodnevnim radionicama organiziranima za svaki predmet. Radionice su provedene od 7. do 12. 11. 2011. (Tablica 1.5.), a u njima su sudjelovali skupina za razvoj ispita, predmetni i psihome-trijski koordinatori. Pod vodstvom konzultanta napravljena je prva verzija sadržajne strukture ispita za svaki predmet, a napravljen je i nacrt ispita kojim se specificirala zastupljenost svakoga područja i pod-područja u ispitu, vrste i broj zadataka koji će se ispitati u svakome području i podpodručju te vrijeme potrebno za rješavanje zadataka pojedinoga područja/podpodručja.


20


Tablica 1.5. Radionice izrade sadržajne strukture i nacrta ispita

Datumi Skupina/predmet

7. – 9. 11. 2011. Engleski jezik

8. – 10. 11. 2011. Hrvatski jezik

9. – 11. 11. 2011. Fizika

10. – 12. 11. 2011. Povijest

Sadržajne strukture i nacrti ispita iz svih predmeta dovršeni su početkom prosinca 2011. godine.

U prosincu 2011. i siječnju 2012. godine izrađen je prošireni nacrt ispita s većim brojem zadataka koje je potrebno naručiti iz svakoga podpodručja, odnosno područja, s obzirom na postojeći nacrt ispita. Ti su zadatci zatim raspoređeni prema tri razine težine i tri razine složenosti misaonoga procesa koji je potreban za rješavanje pojedinoga zadatka. Prošireni nacrti ispita za pojedini predmet izrađivani su na sastancima s konzultantom od 5. do 15. 12. 2011., a na sastancima su sudjelovali predmetni i psihome-trijski koordinatori, predstavnici skupine za razvoj ispita te voditeljica Projekta (Tablica 1.6.).

Tablica 1.6. Radionice izrade proširenoga nacrta ispita

Datumi Skupina/predmet

5. 12. 2011. Sastanci s predmetnim i psihometrijskim koordinatorima

6. – 7. 12. 2011. Fizika

8. – 9. 12. 2011. Povijest

12. – 13. 12. 2011. Engleski jezik

14. – 15. 12. 2011. Hrvatski jezik

Na sastancima predmetnih i psihometrijskih koordinatora sa skupinama za razvoj ispita između 18. i 23. siječnja 2012. godine početni nacrti ispita revidirani su zajedno s proširenim nacrtima ispita. Prošireni nacrti ispita prošli su zadnju recenziju na sastanku koordinatora i skupine za razvoj ispita s konzultan-tom i voditeljicom Projekta između 25. i 30. 1. 2012. (Tablica 1.7.).


21


Tablica 1.7. Organizacija sastanaka finalne recenzije i dorade proširenoga nacrta ispita

Datum Skupina/predmet

25. 1. 2012. Sastanci s predmetnim i psihometrijskim koordinatorima

26. 1. 2012. Hrvatski jezik

27. 1. 2012. Povijest

28. 1. 2012. Engleski jezik

30. 1. 2012. Fizika

Prema proširenome nacrtu ispita, od autora ispitnih zadataka bilo je potrebno naručiti najmanje 600 zadataka prema ishodima učenja pojedinih podpodručja za pojedini predmet. Razlog narudžbe tako velikoga broja zadataka bila je pretpostavka da neće svi zadatci dobiti pozitivnu recenziju, a za probno ispitivanje bilo je potrebno imati oko 300 zadataka koji se trebaju rasporediti u veći broj ispitnih inačica.

Temeljem proširenih nacrta ispita, od siječnja do ožujka 2012. godine radilo se na pripremi za narudžbu ispitnih zadataka putem mrežne aplikacije, a putem koje je u ožujku 2012. godine započela narudžba i izrada ispitnih zadataka.

1.2.4. NARUDŽBA, IZRADA I RECENZIJE ISPITNIH ZADATAKA

U sklopu razvoja standardiziranih ispita bilo je nužno provesti probno ispitivanje zadataka. Cilj probno-ga ispitivanja jest dobiti mjerne karakteristike zadataka temeljem kojih se izrađuju standardizirane is-pitne inačice najviše moguće kvalitete te poznatih karakteristika. Iz toga je razloga bilo potrebno izraditi veliki broj zadataka, a s obzirom na visoku mogućnost odbacivanja zadataka nakon probnoga ispitivanja zbog nezadovoljavajućih mjernih karakteristika.

Budući da je bilo potrebno izraditi veliki broj zadataka, javila se potreba i za većim brojem osoba koje bi izrađivale zadatke za pojedini predmet. Stoga su za izradu zadataka odabrani nastavnici – autori ispitnih zadataka koji nisu bili organizirani kao skupina koja zajedno radi i izrađuje zadatke, nego su izrađivali i slali zadatke putem mrežne aplikacije. Ovakvim pristupom u izradi zadataka za ispite mogao je sudjelo-vati veliki broj autora koji su u vlastitome domu mogli pisati i slati zadatke elektroničkim putem, prema naputcima i kriterijima koje je propisao Centar. Autori ispitnih zadataka bili su odabrani putem Javnoga poziva za izbor osoba koje će sudjelovati u izradi ispitnih zadataka.

S obzirom na to da su izrada i recenzije zadataka bitni koraci u osiguranju kvalitete razvoja ispita, or-ganizirane su i održane edukacije na kojima su sudionici unaprijedili znanje o teoretskim aspektima izrade ispita i zadataka višestrukoga izbora. Edukacije su održane između 31. 1. i 3. 2. 2012. (Tablica 1.8.), a izlaganje i radionicu o izradi zadataka održao je konzultant Projekta. Sudionici edukacije bili su predmetni koordinatori zajedno sa skupinama za razvoj ispita iz četiri predmeta, psihometrijski koordi-natori, voditeljica Projekta te drugi djelatnici Centra.


22


Tablica 1.8. Provedene edukacije o izradi zadataka

Datumi Skupine/predmet

31. 1. i 1. 2. 2012. Hrvatski i Engleski jezik

2. i 3. 2. 2012. Povijest i Fizika

Od siječnja do ožujka 2012. godine izrađeni su priručnici za izradu i recenzije zadataka višestrukoga izbora za sva četiri predmeta. Priručnici su sadržavali opis i način izrade zadataka višestrukoga izbora te kriterije za izradu i recenzije kvalitete zadataka. Priručnici su također sadržavali primjere zadataka različitih težina i razina složenosti koje su izradile skupine za razvoj ispita zajedno s predmetnim i psi-hometrijskim koordinatorima. Priručnike su koristili autori ispitnih zadataka prilikom izrade zadataka te skupine za razvoj ispita koje su zajedno s predmetnim koordinatorima recenzirale izrađene zadatke.

Narudžba i izrada zadataka provođena je putem mrežne aplikacije između ožujka i listopada 2012. godine. Do svibnja 2012. godine prikupljeno je 2161 zadatak iz četiri predmeta nakon čega su slijedile recenzije i nove narudžbe te izrade zadataka. Autori ispitnih zadataka izrađivali su zadatke prema za-danim kriterijima za izradu i recenzije zadataka te prema sadržajnome području i ishodu učenja, težini zadatka i razini složenosti misaonih procesa. Za autore su, osim priručnika izrađene i Upute za izradu i slanje zadataka putem mrežne aplikacije. Autorima je kroz cijelo vrijeme izrade zadataka bila pružena tehnička i stručna podrška pa su za te potrebe izrađeni i dokumenti Pogreške u izradi zadataka i daljnje upute i Često postavljena pitanja. Administratori aplikacije su kroz aplikaciju pratili statuse ispitnih za-dataka i uspješnost autora, s obzirom na ishod recenzija ispitnih zadataka.

Od autora je ukupno prikupljeno 2894 ispitnih zadataka (Tablica 1.9.), a mrežna aplikacija pokazala se iznimno uspješnom u narudžbi, izradi i prikupljanju velikoga broja zadataka od većega broja autora u vrlo kratkome vremenskom razdoblju (152 autora iz četiri predmeta6).

Od svibnja do kraja listopada 2012. godine odvijali su se paralelni procesi izrade i recenzije zadataka. Zadatci su nakon zaprimanja prošli tri recenzije: sadržajnu, metodološku i završnu sadržajnu recenziju. Zadatci su bili prihvaćeni ili odbijeni, ovisno o tome jesu li zadovoljili sadržajne i metodološke kriterije kvalitete. Prvu sadržajnu recenziju zadataka napravile su skupine za razvoj ispita zajedno s predmet-nim koordinatorima. Za drugu metodološku recenziju bili su zaduženi psihometrijski koordinatori, a za treću, završnu stručnu recenziju dva sadržajna stručnjaka po predmetu. Ovakvim sustavom trostruke recenzije zadataka osiguravala se visoka kvaliteta ispitnih zadataka.

U Tablici 1.9. vidljivi su konačni podatci vezani uz proces izrade i recenzija zadataka.

6 Zadatke iz Hrvatskoga jezika izrađivalo je 50 autora, iz Engleskoga jezika 37 autora, iz Povijesti 33 autora, a iz Fizike 32 autora.


23


Tablica 1.9. Broj naručenih, izrađenih i recenziranih zadataka

PredmetBroj

naručenih zadataka

Broj izrađenih zadataka

Broj zadataka

recenziranih u prvoj

recenziji

Broj zadataka

recenziranih u drugoj recenziji

Broj zadataka

recenziranih u trećoj recenziji

Broj prihvaćenih

zadataka nakon treće

recenzije

Hrvatski jezik 707 706 706 382 366 365

Engleski jezik 676 676 676 379 362 358

Povijest 691 690 690 559 539 426

Fizika 823 822 822 436 425 383

Ukupno 2897 2894 2894 1756 1692 1532

Od ožujka do listopada 2012. godine bilo je naručeno 2897 zadataka iz četiri predmeta, a gotovo su svi zadatci izrađeni te prošli prvu, sadržajnu recenziju. Drugu metodološku recenziju prošli su oni zadatci prihvaćeni u prvoj recenziji (1756 zadataka), a treću recenziju prošli su oni zadatci koji su bili prihvaćeni u drugoj recenziji (1692 zadatka). Svi zadatci koji su u trećoj recenziji dobili komentare od recenzena-ta dorađeni su prema uputama ili su bili odbačeni (ako se nisu mogli doraditi), tako da je za sva četiri predmeta ukupan broj prihvaćenih zadataka 1532. Otpad zadataka od početne narudžbe do finalnoga prihvaćanja kretao se od 47% do 62% za pojedine predmete čime je potvrđena početna procjena o potrebnome opsegu inicijalne narudžbe zadataka.

U rujnu 2012. organizirani su i sastanci s konzultantom Projekta. Na sastancima koji su održani između 10. i 13. 9. 2012. predmetni i psihometrijski koordinatori predstavili su dobivene parametre vezane uz izradu i recenzije zadataka nakon čega se moglo pristupiti određivanju pragova za razine postignuća učenika.

1.2.5. POSTAVLJANJE PRAGOVA ZA RAZINE POSTIGNUĆA UČENIKA

U projektu Razvoj završnih ispita razvijani su standardizirani ispiti te su korištene suvremene teorije testova u razvoju ispita. Nakon provedenih psihometrijskih analiza prema Teoriji odgovora na zadatak, rezultati učenika prikazuju se na skali postignuća7. Ako se učenike želi klasificirati u određene kategorije prema uspjehu odnosno postignuću, nužno je definirati razine postignuća te odrediti pragove za razine postignuća učenika (eng. standard setting).

7 U Projektu je za prikaz rezultata korištena skala od 100 do 400 bodova. Za daljnje informacije vidjeti poglavlja s rezultatima pojedinoga predmeta.


24


U Projektu su korištene tri razine postignuća učenika za koje je trebalo odrediti pragove prolaznosti:

• osnovna

• srednja

• napredna.

Opsežno postavljanje pragova za razine postignuća prije probnoga ispitivanja po prvi je puta provedeno u Centru te je konzultant Projekta pružio edukaciju djelatnicima Centra. Između 29. i 31. 3. 2012. orga-nizirana je i provedena edukacija o sadržajnim i izvedbenim standardima. U sklopu edukacije započela je izrada opisivača razina postignuća učenika koji obuhvaćaju opis onoga što učenici mogu učiniti na svakoj od navedenih razina postignuća. Konzultant Projekta vodio je i nadzirao proces izrade opisivača, a opisivači su dovršeni na sastancima koordinatora sa skupinama za razvoj ispita u travnju 2012. godine.

Nakon završnih recenzija zadataka moglo se pristupiti i samoj provedbi radionice određivanja pragova za razine postignuća učenika. Određivanje pragova provedeno je na četverodnevnim radionicama za svaki predmet između 29. 10. i 9. 11. 2012. godine (Tablica 1.10.). U postavljanju pragova pojedinoga predmeta sudjelovali su nastavnici odabrani putem Javnoga poziva u listopadu 2012. godine.

Tablica 1.10. Provedba radionica na kojima su postavljani pragovi za razine postignuća učenika

Datumi Predmet Broj nastavnika

29. 10. – 2. 11. 2012. (1. 11. neradno)

Fizika 6

30. 10. – 3. 11. 2012. (1. 11. neradno)

Engleski jezik 9

5. – 8. 11. 2012. Povijest 10

6. – 9. 11. 2012. Hrvatski jezik 6

4 dana po predmetu 4 predmeta 31

Radionice za predmete Povijest i Fizika vodio je konzultant projekta, a za predmete Hrvatski i Engleski jezik suradnica konzultanta. Radionice su vođene uz stručnu i tehničku pomoć psihometrijskih koordi-natora i voditeljice Projekta, a radionici su prisustvovali i predmetni koordinatori. Na radionicama su revidirani opisivači razina postignuća učenika, procijenjene su težine svakoga zadatka za tri razine posti-gnuća te su u dva kruga određeni preliminarni pragovi prolaznosti za svaku razinu. Procijenjene težine zadataka koristile su se u izradi paralelnih ispitnih inačica za probno ispitivanje, a dobiveni pragovi za razine postignuća revidirani su temeljem psihometrijske analize nakon probnoga ispitivanja zadataka 2013. godine (vidjeti poglavlja s rezultatima pojedinoga predmeta).


25


1.2.6. IZRADA ISPITNIH INAČICA ZA PROBNO ISPITIVANJE

O nacrtu i formiranju većega broja ispitnih inačica za probno ispitivanje raspravljalo se na nizu sastana-ka psihometrijskih koordinatora i voditeljice Projekta s konzultantom, od studenoga 2011. godine pa do studenoga 2012. godine kada je finaliziran nacrt ispitnih inačica. Radna verzija nacrta napravljena je u travnju 2012. te dorađena na sastancima u rujnu 2012. godine. Na sastancima je usuglašeno da će se ispitne inačice za probno ispitivanje izrađivati prema sadržajnoj strukturi ispita (prve dvije razine) i paralelno prema parametru težine koja se dobiva nakon radionica postavljanja pragova prolaznosti za razine postignuća učenika. Ispitne inačice međusobno se povezuju blokovima zadataka i zadatcima koji su zajednički svim inačicama (tzv. sidrišni zadatci). S obzirom na to da su članovi skupine za razvoj ispita prilikom recenzije zadataka upisivali i procjenu vremena potrebnoga za rješavanje svakoga zadatka, i taj je podatak uzet u obzir prilikom sastavljanja i ujednačavanja ispitnih inačica.

Na sastancima psihometrijskih koordinatora i voditeljice Projekta s konzultantom koji su održani 12. i 13. 11. 2012. raspravljalo se o korištenju parametra težine koji je uz sadržaj ključan u niveliranju ispit-nih inačica. Temeljem zaključaka sa sastanaka, od 19. do 23. 11. 2012. izrađene su specifikacije ispitnih inačica, prema nacrtu ispitnih inačica iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike.

Za probno ispitivanje izrađeno je 16 ispitnih inačica za predmete Hrvatski jezik, Engleski jezik i Fizika te 15 ispitnih inačica za ispitivanje znanja iz nastavnoga predmeta Povijest. Inačice su bile paralelne s obzirom na sadržaj i nacrt ispita, na procijenjene težine zadataka te na procijenjeno vrijeme koje je potrebno za njihovo rješavanje. Inačice su izrađene prema blok-nacrtu što znači da se dio zadataka preklapao u ispitnim inačicama. Ispitne su inačice također sadržavale tzv. sidrišne zadatke koji su bili podjednaki u svim ispitnim inačicama. Ispitne su inačice složene pomoću aplikacije (iz banke zadataka), a prema specifikacijama inačica iz svakoga predmeta.

Krajem studenoga i početkom prosinca 2012. godine izrađene ispitne inačice prošle su dvije sadržajne provjere, odnosno provjere preklapanja sadržaja zadataka unutar svake inačice. Nakon prve provjere od strane predmetnih koordinatora slijedila je korekcija ispitnih inačica od strane psihometrijskih koor-dinatora. Skupine za razvoj ispita su, zajedno s predmetnim koordinatorima napravile završnu sadržajnu provjeru ispitnih inačica. Nakon te provjere i unesenih korekcija započela je priprema ispitnih inačica za tisak i probno ispitivanje. Priprema ispitnih materijala za tisak uključivala je prijelom ispitnih materijala, dvije korekture ispitnih materijala, pregled korektura ispitnih materijala, unos korektura u bazu i u pri-jelom. U siječnju i veljači 2013. godine ispitni materijali pripremljeni su za tisak.

Materijali su tiskani između 15. i 28. 2. 2013. godine, nakon čega je slijedilo njihovo pakiranje i otprema u škole.


26


1.2.7. ORGANIZACIJA I PRIPREMA PROBNOGA ISPITIVANJA

Organizacija i priprema probnoga ispitivanja od studenoga 2012. godine do ožujka 2013. godine uklju-čivala je:

• izradu uzorka škola i učenika

• organizaciju i pripremu provedbe probnoga ispitivanja u školama.

Prema nacrtu ispita za probno ispitivanje bilo je odabrano oko 300 zadataka iz pojedinoga predmeta koji su raspoređeni u 15-16 povezanih ispitnih inačica. Kako bi bili zadovoljeni statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt ispita, svaku ispitnu inačicu treba rješavati najmanje 300 učenika što znači da ispit treba pisati najmanje 4500-4800 učenika (ovisno o predmetu). U skladu s navedenim uzorak je rađen s obzirom na nacrt ispita te na potrebe psihometrijskih analiza unutar modela Teorije odgovora na zadatak.

Kompleksnost uzorkovanja četiri paralelna ispitivanja u Projektu uvjetovala je dodatne parametre uzor-kovanja. U pojedinoj školi nisu provedeni ispiti iz sva četiri predmeta nego je provedeno ispitivanje iz jedne od dvije kombinacije predmeta. Prva kombinacija je ispitivanje iz Povijesti i/ili Fizike, a druga kombinacija ispitivanje iz Hrvatskoga i/ili Engleskoga jezika. Svaki učenik u uzorku pisao je ispit iz samo jednoga predmeta.

U uzorak su bile odabrane isključivo matične škole. Ispitivanjem su bili obuhvaćeni učenici osmih razre-da koji pohađaju nastavu na hrvatskome jeziku i latiničnome pismu te koji se školuju prema redovnome programu (bez prilagodbi u nastavi i/ili nastave po posebnome programu8). Time je dobiven ciljani uzorak koji je obuhvaćao preko 90% ukupne populacije osmih razreda osnovnih škola.9

U skladu s navedenim parametrima u studenome 2012. godine napravljen je dvoetapni stratificirani uzorak škola i učenika za sudjelovanje u probnome ispitivanju (za sva četiri predmeta). Uzorak je rađen uzimajući u obzir provedbu ostalih projekata Centra u osnovnim školama u 2013. godini10, kako bi se u najvećoj mogućoj mjeri umanjila opterećenost škola od strane Centra.

Stratifikacija uzorka napravljena je na dvije razine (dvoetapni stratificirani uzorak).

1. Škole su bile stratificirane prema:

• županijama.

8 Završna standardizacija ispita podrazumijeva uključenje svih izostavljenih skupina te prilagodbu ispitne tehnologije po potrebi uz kontrolu i rekalibraciju standardizacije.

9 Izvor podataka za potrebe uzorkovanja bila je E-matica MZOS-a.10 Radi se o projektima Nacionalni ispiti u osnovnim školama – Matematika (NI-OŠ-MAT) te o projektu Međunarodno

istraživanje računalne i informacijske pismenosti (ICILS).


27


2. Učenici su bili stratificirani prema:

• spolu

• općem uspjehu

• uspjehu iz ispitivanoga predmeta.

Ovakvom stratifikacijom uzorka škola i učenika nastojala se postići i održati reprezentativnost za po-dručje Republike Hrvatske.

Početkom prosinca 2012. godine škole koje su ušle u uzorak za ispitivanje obaviještene su o sudjelova-nju u Projektu. Za škole su pripremljeni pristupni podatci za aplikaciju, obavijesti o Projektu te upute za pripremu provedbe ispitivanja. Cjelokupna organizacija ispitivanja u školama odvijala se putem mrežne aplikacije za komunikaciju sa školama (KOM) koja je napravljena u sklopu projekta Razvoj banke zada-taka. Unutar aplikacije provjeravana je točnost podataka o školi i podatci o učenicima koji su odabrani za probno ispitivanje.

Faze pripreme provedbe probnoga ispitivanja bile su:

• provjera točnosti podataka o školi od strane ravnatelja i voditelja ispitivanja u školi

• provjera točnosti podataka učenika u preliminarnome uzorku od strane ravnatelja i voditelja is-pitivanja u školi

• postavljanje popisa učenika za traženje suglasnosti roditelja/skrbnika u Centru

• prikupljanje i bilježenje suglasnosti roditelja/skrbnika od strane voditelja ispitivanja u školi

• finalizacija uzorka škola i uzorka učenika u Centru

• postavljanje obrasca početne organizacije ispitivanja u aplikaciju te ispunjavanje obrasca od stra-ne ravnatelja i voditelja ispitivanja u školi

• postavljanje konačnoga popisa učenika u aplikaciju u Centru.

Organizacija i priprema provedbe probnoga ispitivanja uključivala je:

• planiranje i praćenje unesenih podataka od strane škola vezano uz sve faze pripreme ispitivanja

• komunikaciju sa školama (voditelji ispitivanja u školi, ravnatelji): slanje e-pošta, obavijesti, uputa

• odgovaranje na e-poštu škola vezano uz provjeru i unos podataka

• odgovaranje na telefonske upite škola

• komunikaciju sa školama u vezi pristupa aplikaciji/ispravka podataka

• pisanje i slanje uputa školama za pripremu i provedbu ispitivanja.


28


Iako je u početnome planu uzorkovanja bilo planirano da se u školi pišu oba predmeta iz odabrane kom-binacije (Povijest-Fizika ili Hrvatski-Engleski jezik), dobivene suglasnosti roditelja/skrbnika za sudjelo-vanje učenika u ispitivanju dovele su do odmaka od planiranoga. Stoga nisu sve škole u kombinacijama predmeta imale ispitivanje iz obje kombinacije predmeta, već se u ponekim školama pisao ispit iz samo jednoga predmeta iz kombinacije.

Ukupan broj škola koje su pisale neki od ispita iz kombinacije ili kombinaciju ispita Povijest-Fizika bio je 296 škola, dok je za kombinaciju ispita Engleski-Hrvatski jezik iznosio 301 školu. Ukupno je u probnome ispitivanju sudjelovalo 597 škola. U konačnome uzorku učenika (nakon dobivene suglasnosti roditelja/skrbnika i ostalih korekcija) nalazilo se 22699 učenika: 5772 za ispit iz Hrvatskoga jezika, 5964 za ispit iz Engleskoga jezika, 5476 za ispit iz Povijesti i 5487 za ispit iz Fizike.

1.2.8. PROVEDBA PROBNOGA ISPITIVANJA, PSIHOMETRIJSKE ANALIZE I REZULTATI PROBNOGA ISPITIVANJA

Između 4. i 8. ožujka 2013. godine uspješno je provedeno probno ispitivanje zadataka iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike. Ispitivanje je provedeno u 597 osnovnih škola, a u svakoj školi provedeno je ispitivanje iz jedne od dvije kombinacije predmeta. Prva kombinacija bila je ispitivanje iz Povijesti i/ili Fizike, a druga kombinacija ispitivanje iz Hrvatskoga i/ili Engleskoga jezika. Svaki učenik u uzorku pisao je ispit iz samo jednoga predmeta.

Ispitne kutije su nakon ispitivanja zaprimljene u Centru, provjerena je njihova potpunost te sadržaj zapisnika ispitivanja, nakon čega su ispiti razvrstani i pripremljeni za skeniranje. Nakon skeniranja, OCR obrade podataka te zaprimanja obrađenih podataka, izvršena je kontrola zaprimljenih podataka i očita-nja. Sva očitanja ispod 5% i sva sporna očitanja (dva ili više očitanja za jedan zadatak) prošla su provjeru i korekciju. Provjera spornih očitanja radila se u aplikaciji nastaloj u sklopu modula Ocjenjivanje, kodira-nje i unos (OKU modul projekta Razvoj banke zadataka). Podatci su zatim bili spremni za daljnje obrade u računalnim programima Parscale i TiaPlus.

Nakon provjere podataka iz zapisnika škola te nakon čišćenja podataka prilikom statističke obrade usta-novljeno je da je ispite pisalo ukupno 21176 učenika (Tablica 1.11.).

Tablica 1.11. Broj škola i učenika koji su sudjelovali u probnome ispitivanju

PredmetBroj učenika koji su

pisali ispiteŠkole koje su sudjelovale

u probnom ispitivanju

Hrvatski jezik 5367301

Engleski jezik 5549

Povijest 5130296

Fizika 5130

Ukupno 21176 597


29


S obzirom na primjenu novih vrsta analiza te na uporabu novoga računalnog programa za analiziranje (Parscale), konzultant Projekta pružio je potporu psihometrijskim koordinatorima u analizi podataka. Sastanci psihometrijskih koordinatora s konzultantom održani su između 6. i 10. 5. 2013. Tijekom ovih sastanaka psihometrijski koordinatori su prošli postupak konkurentne kalibracije zadataka na rezulta-tima iz Engleskoga jezika koji su dobiveni na probnome ispitivanju. Kalibracija se provodila korištenjem Parscale programa u okviru Teorije odgovora na zadatak. Na temelju dogovorenoga postupka provede-ne su analize ispita iz svih predmeta.

Nakon finalizacije preliminarne analize sve ispitne inačice su međusobno nivelirane na zajedničku skalu od 100 do 400 bodova s aritmetičkom sredinom od 250 i standardnom devijacijom od 50. Na skali su prikazane razine znanja učenika te rezultat svakoga učenika koji je pristupio ispitivanju. Rezultati za po-jedinoga učenika bili su pripremljeni krajem svibnja 2013. godine, nakon čega se moglo pristupiti izradi izvješća za učenike. Izvješća za 21176 učenika iz 597 škola iz četiri predmeta tiskana su i spakirana u omotnice početkom lipnja 2013. godine, a paketi s izvješćima poslani su školama sredinom lipnja 2013. godine.11

Za daljnje analize, odnosno za daljnji odabir zadataka korišteni su stroži kriteriji težine i diskriminativ-nosti zadataka kako bi se odabrali najkvalitetniji zadatci za izradu ispitnih inačica za glavno ispitivanje. Stručnu potporu psihometrijskim koordinatorima u daljnjim analizama ponovno je pružio konzultant na radionicama koje su se održale između 10. i 14. 6. 2013. Radionice su započele s predstavljanjem preliminarnih analiza i rezultata dobivenih za izvještavanje učenika. Nakon svake prezentacije rasprav-ljalo se o dobivenim rezultatima te o planu za daljnje analize. Do kraja radionice psihometrijski koordi-natori prošli su postupak daljnje psihometrijske analize ispita prema strožim kriterijima u računalnim programima Parscale i TiaPlus. Dogovorena je i procedura određivanja finalnih pragova za razine posti-gnuća učenika.

U listopadu 2013. godine organizirano je predstavljanje rezultata probnoga ispitivanja. Rezultate su predstavili psihometrijski koordinatori, a prezentaciji su prisustvovali članovi skupine za razvoj ispita, predmetni koordinatori, voditeljica Projekta te načelnica Odjela za promicanje kvalitete obrazovanja. U prezentaciji su prikazane značajke provedenih ispita i uzorka učenika te su predstavljene informacije o davanju povratnih informacija učenicima. Dane su i informacije o provedenim analizama i kriterijima za odabir zadataka koji ulaze u analizu te su prikazani rezultati probnoga ispitivanja i rezultati određivanja pragova prolaznosti. U prezentaciji su prikazani i primjeri zadataka različitih metrijskih karakteristika.

11 Povratne informacije bile su namijenjene isključivo učenicima i njihovim roditeljima/skrbnicima, a podijeljene su im u školama u zapečaćenim kuvertama.


30


1.2.9. IZRADA STANDARDIZIRANIH ISPITNIH FORMI/INAČICA ZA GLAVNO ISPITIVANJE

Nakon provedenih preliminarnih analiza ispita, isključivanja zadataka sa slabim metrijskim karakteristi-kama, finalizacije psihometrijskih analiza i određivanja pragova za razine postignuća, pristupilo se izradi ispitnih formi odnosno inačica za glavno ispitivanje. Nacrt ispitnih inačica za glavno ispitivanje rađen je uzimajući u obzir broj preostalih zadataka s dobrim metrijskim karakteristikama u pojedinim područji-ma/podpodručjima prema sadržajnoj strukturi i nacrtu ispita, za svaki predmet.

Između 9. i 13. 9. 2013. održani su sastanci psihometrijskih koordinatora svih predmeta i voditeljice projekta s konzultantom kako bi se finalizirao nacrt ispitnih inačica za glavno ispitivanje. Psihometrijski su koordinatori predstavili način provedbe analiza ispita i rezultate provedenih analiza. Nakon toga je provedena rasprava i dogovor o nacrtu ispitnih inačica na temelju rezultata provedenih analiza.

Dogovorena je izrada dvije paralelne forme ispita za svaki predmet prema unaprijed definiranoj de-taljnoj sadržajnoj strukturi i nacrtu ispita te prema metrijskim karakteristikama zadataka. Svaka forma sadržavala je određen broj sidrišnih zadataka koji su bili zajednički u obje forme te zadatke koji su bili jedinstveni u svakoj ispitnoj formi. Svaka je forma dodatno podijeljena u tri inačice kako bi se u sklopu ispitivanja mogli probno ispitati novi zadatci (nisu uzimani u obzir kod izračuna rezultata učenika na-kon ispitivanja). Za svaki su predmet bile pripremljene dvije forme, odnosno šest inačica ispita koje su međusobno povezane i paralelne te koje su imale dodatne zadatke za probno ispitivanje. Za Hrvatski i Engleski jezik dodatno su bile pripremljene dvije inačice kratkoga sastavka (u svakoj inačici nalazio se jedan zadatak za ispitivanje vještine pisanja kratkoga sastavka).

Kriteriji za odabir zadataka u forme i njihovo jednačenje bili su sadržajno područje/podpodručje za-datka prema nacrtu ispita, informativnost zadatka i težina, odnosno „regija“ u kojoj se zadatak nalazi (položaj zadatka na bodovnoj skali prema određenim pragovima). Forme ispita tim su postupkom u potpunosti paralelne prema sadržajnoj strukturi i nacrtu ispita, ali i prema metrijskim parametrima.

Psihometrijski koordinatori su konzultantu na sastancima održanima između 21. i 25. 10. 2013. pred-stavili izrađene forme ispita te pripadajuće statističke i psihometrijske parametre. Konzultant je iskazao zadovoljstvo provedenim analizama i ujednačavanjem formi ispita. Zaključak provedenih konzultacija bio je da su forme ispita za sva četiri predmeta standardizirane, odnosno ujednačene prema sadržaju, težini i informativnosti te spremne za glavno ispitivanje.

Izrađene ispitne inačice prošle su dvije sadržajne provjere potencijalnoga preklapanja sadržaja. U li-stopadu 2013. godine predmetni su koordinatori napravili prvu provjeru ispitnih inačica nakon čega je slijedila njihova korekcija od strane psihometrijskih koordinatora. Skupine za razvoj ispita su, zajedno s predmetnim koordinatorima, napravile završnu sadržajnu provjeru ispitnih inačica. Nakon te provjere i unesenih korekcija ispitne su inačice pripremljene za tisak. Priprema ispitnih materijala za tisak zapo-čela je u studenome 2013. godine i uključivala je prijelom ispitnih materijala, dvije korekture ispitnih materijala, pregled korektura, unos korektura u bazu i u prijelom te finalni pregled materijala. Ispitni su materijali tiskani između 28. 1. i 12. 2. 2014. godine, nakon čega su spakirani u kutije i otpremljeni u škole.


31


1.2.10. ORGANIZACIJA I PRIPREMA GLAVNOGA ISPITIVANJA

Organizacija i priprema glavnoga ispitivanja od studenoga 2013. godine do ožujka 2014. godine uklju-čivala je:

• izradu uzorka škola i učenika

• organizaciju i pripremu provedbe glavnoga ispitivanja u školama.

Kako bi se zadovoljili statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt inačica, svaku ispitnu inačicu trebalo je rješavati najmanje 600 učenika, što znači da je ispite trebalo pisati najmanje oko 3600 učenika.

Kompleksnost uzorkovanja četiri paralelna ispitivanja uvjetovala je dodatne parametre uzorkovanja. U svakoj školi provedeno je ispitivanje iz jedne od dvije kombinacije predmeta. Prva kombinacija je ispi-tivanje iz Povijesti i/ili Fizike, a druga kombinacija ispitivanje iz Hrvatskoga i/ili Engleskoga jezika. Svaki učenik u uzorku pisao je ispit iz samo jednoga predmeta.

U uzorak su bile odabrane isključivo matične škole. U ispitivanje su bili uključeni učenici osmih razreda koji pohađaju nastavu na hrvatskome jeziku i latiničnome pismu te koji se školuju prema redovnome programu (bez prilagodbi u nastavi i/ili nastave po posebnome programu).12 Time je dobiven ciljani uzorak koji je obuhvaćao preko 90% ukupne populacije osmih razreda osnovnih škola.13

U skladu s navedenim parametrima u studenome 2013. godine napravljen je dvoetapni stratificirani uzorak škola i učenika za sudjelovanje u glavnome ispitivanju (za sva četiri predmeta). Uzorak je rađen uzimajući u obzir provedbu ostalih projekata Centra u osnovnim školama u 2014. godini14, kako bi se u najvećoj mogućoj mjeri umanjila opterećenost škola od strane Centra.

Stratifikacija uzorka napravljena je na dvije razine (dvoetapni stratificirani uzorak).

1. Škole su stratificirane prema:

• županijama.

2. Učenici su stratificirani prema:

• spolu

• općem uspjehu

• uspjehu iz ispitivanoga predmeta.

12 Završna standardizacija ispita podrazumijeva uključenje svih izostavljenih skupina te prilagodbu ispitne tehnologije po potrebi uz kontrolu i rekalibraciju standardizacije.

13 Izvor podataka za potrebe uzorkovanja bila je E-matica MZOS-a.14 Radi se o projektima Nacionalni ispiti u osnovnim školama – Matematika (NI-OŠ-MAT), o projektu Međunarodno

istraživanje računalne i informacijske pismenosti (ICILS) te projektu Zdravstveni odgoj (ZO).


32


Ovakvom stratifikacijom uzorka škola i učenika nastojala se postići i održati reprezentativnost za po-dručje Republike Hrvatske.

U studenome 2013. godine škole koje su ušle u uzorak za ispitivanje obaviještene su o sudjelovanju u Projektu. Cjelokupna organizacija ispitivanja u školama odvijala se putem mrežne aplikacije za komuni-kaciju sa školama koja je napravljena u sklopu projekta Razvoj banke zadataka. Za škole su pripremljeni pristupni podatci za aplikaciju, obavijesti o Projektu te upute za pripremu provedbe ispitivanja. Unutar aplikacije provjeravana je točnost podataka o školi i podatci o učenicima koji su odabrani za sudjelova-nje u glavnome ispitivanju.

Faze pripreme provedbe glavnoga ispitivanja bile su:

• provjera točnosti podataka o školi od strane ravnatelja i voditelja ispitivanja u školi

• provjera točnosti podataka učenika u preliminarnome uzorku od strane ravnatelja i voditelja is-pitivanja u školi

• postavljanje popisa učenika za traženje suglasnosti roditelja/skrbnika u Centru

• prikupljanje i bilježenje suglasnosti roditelja/skrbnika od strane voditelja ispitivanja u školi

• finalizacija uzorka škola i uzorka učenika u Centru

• postavljanje obrasca početne organizacije ispitivanja u aplikaciju te ispunjavanje obrasca od stra-ne ravnatelja i voditelja ispitivanja u školi

• postavljanje konačnoga popisa učenika u aplikaciju u Centru.

Organizacija i priprema provedbe glavnoga ispitivanja uključivala je:

• planiranje i praćenje unesenih podataka od strane škola vezano uz sve faze pripreme ispitivanja

• komunikaciju sa školama (voditelji ispitivanja, ravnatelji): slanje e-pošta, obavijesti, uputa

• odgovaranje na e-poštu škola vezano uz provjeru i unos podataka

• odgovaranje na telefonske upite škola

• komunikaciju sa školama u vezi pristupa aplikaciji/ispravka podataka

• pisanje i slanje uputa školama za pripremu i provedbu ispitivanja.

U konačnome uzorku škola nalazilo se 426 škola, a u konačnome uzorku učenika (nakon dobivene sugla-snosti roditelja/skrbnika i ostalih korekcija) nalazilo se 15999 učenika: 4000 za ispit iz Hrvatskoga jezika, 4010 za ispit iz Engleskoga jezika, 4004 za ispit iz Povijesti i 3985 za ispit iz Fizike.


33


1.2.11. PROVEDBA GLAVNOGA ISPITIVANJA, PSIHOMETRIJSKE ANALIZE I REZULTATI GLAVNOGA ISPITIVANJA

Glavno ispitivanje provedeno je između 17. i 21. ožujka 2014. godine. Ispitivanje je provedeno u 426 osnovnih škola, a u svakoj školi provedeno je ispitivanje iz jedne od dvije kombinacije predmeta. Prva kombinacija bila je ispitivanje iz Povijesti i/ili Fizike, a druga kombinacija ispitivanje iz Hrvatskoga i/ili Engleskoga jezika. Svaki učenik u uzorku pisao je ispit iz samo jednoga predmeta.

Nakon provedbe ispitivanja i povrata ispitnih kutija iz škola, ispitni su materijali raspakirani i razvrstani te su pregledani zapisnici ispitivanja iz svih ispitnih prostorija. Ispiti su u travnju i svibnju 2014. godine pripremani za psihometrijske analize. Ti su poslovi uključivali pripremu materijala za skeniranje (sla-ganje u pakete i rezanje), skeniranje ispita, OCR obradu podataka, preuzimanje i kontrolu očitanja, pripremu aplikacije/podataka te provjeru spornih očitanja. Podatci o ispitima pripremljeni su za psiho-metrijske analize krajem svibnja 2014. godine.

Nakon provjere podataka iz zapisnika škola te nakon čišćenja podataka prilikom statističke obrade usta-novljeno je da je ispite pisalo 15209 učenika (Tablica 1.12.).

Tablica 1.12. Broj škola i učenika koji su sudjelovali u glavnome ispitivanju

PredmetBroj učenika koji su pisali

ispiteŠkole koje su sudjelovale u

glavnome ispitivanju

Engleski jezik 3823206

Hrvatski jezik 3815

Povijest 3795220

Fizika 3776

Ukupno 15209 426

Psihometrijski koordinatori napravili su preliminarnu analizu ispitnih inačica kako bi učenici i njihovi roditelji/skrbnici mogli dobiti povratnu informaciju o uspjehu učenika na ispitu. Rezultati su analizirani i inačice kalibrirane u okviru Teorije odgovora na zadataka u računalnome programu Parscale. U ovoj analizi nisu korišteni zadatci koji su u glavnome ispitivanju probno ispitani. Analiza je provedena na sidrišnim i jedinstvenim zadatcima pojedine inačice.

Nakon finalizacije preliminarne analize sve ispitne inačice su međusobno nivelirane na zajedničku skalu od 100 do 400 bodova s aritmetičkom sredinom od 250 i standardnom devijacijom od 50 na kojoj su prikazane razine znanja učenika. Rezultati za pojedinoga učenika bili su pripremljeni krajem svibnja i početkom lipnja 2014. godine, a prema analiziranim podatcima napravljena su individualna izvješća za svakoga učenika koji je pristupio ispitivanju. Izvješća za 15209 učenika iz 426 škola iz četiri predmeta


34


tiskana su i spakirana u omotnice početkom lipnja 2014. godine, a paketi su poslani školama 16. 6. 2014.15

Nakon toga su provedene dodatne psihometrijske analize. Dodatna provjera parametara zadataka ra-đena je u računalnome programu TiaPlus kako bi se ispitala diskriminativnost i težina zadataka te pro-vela analiza ometača (netočnih odgovora). Temeljem završnih analiza rezultati učenika prikazani su na skali postignuća. Skala postignuća podijeljena je u četiri razine postignuća prema unaprijed određenim pragovima, a koji su izrađeni nakon probnoga ispitivanja. Postignuća učenika dodatno su prikazana s obzirom na neke demografske i školske pokazatelje.

S obzirom na to da se ispitom iz Hrvatskoga i Engleskoga jezika ispitivala i vještina pisanja kratkoga sastavka na dvije zadane teme, kratki sastavci drugoga dijela ispita zahtijevali su ocjenjivanje od strane nastavnika prema razrađenoj ljestvici za ocjenjivanje. Stoga je u listopadu i studenome 2014. godine organizirano i provedeno ocjenjivanje uzorka kratkih sastavaka iz oba predmeta.

* * *

Rezultati na ispitu znanja iz sva četiri predmeta te rezultati ispitivanja vještine pisanja kratkoga sastavka iz Hrvatskoga i Engleskoga jezika prikazani su u poglavljima pojedinoga predmeta u ovome Izvješću.



35


1.3. POSTUPCI ZA OSIGURANJE KVALITETE U RAZVOJU ISPITA

U tijeku Projekta, a u razvoju standardiziranih ispita slijeđeni su različiti postupci za osiguravanje kvali-tete:

• Edukacija i praćenje od strane konzultantske kuće Assessment Group International. U Projektu je održano niz edukacija koje je održao konzultant iz Assessment Group International kroz koje su osobe uključene u Projekt unaprijedile znanje i vještine vezane uz razvoj ispita. Održan je niz konzultantskih sastanaka vezanih uz praćenje razvoja standardiziranih ispita.

• Izrada i recenzije ispitnih zadataka. Ispitni zadatci izrađeni su i recenzirani od predmetnih i psi-hometrijskih stručnjaka prema unaprijed definiranim kriterijima. Uporaba mrežnih aplikacija u procesu izrade ispita omogućila je bolje praćenje te veću efikasnost i ekonomičnost u procesu razvoja ispita.

• Probno ispitivanje. Ispitni su zadatci probno ispitani kako bi se utvrdila njihova valjanost za glav-no ispitivanje. Zadatci za glavno ispitivanje odabrani su prema utvrđenim kriterijima u okviru Teorije odgovora na zadatak i Klasične teorije testa.

• Optičko čitanje i provjera rezultata. Nakon optičkoga čitanja provjerena su sva upitna očitanja.

• Psihometrijske analize ispita. Ispitni zadatci/ispiti analizirani su nakon probnoga i glavnoga ispi-tivanja prema standardima Teorije odgovora na zadatak i Klasične teorije testa.

• Standardiziranost ispita. Za glavno ispitivanje napravljene su standardizirane ispitne forme te po prvi puta postoji dokaz o međusobnoj ujednačenosti ispitnih formi ne samo prema sadržaju nego i prema metrijskim pokazateljima informativnosti i težine. Ovime je uspostavljena i moguć-nost ujednačavanja te usporedbe rezultata među generacijama učenika u narednim razdobljima primjene standardiziranoga ispita.

• Standardizirani postupci pripreme i provedbe ispitivanja. Ispitivanje je pripremljeno i provede-no u svim školama prema utvrđenim pravilima definiranim u uputama.

• Standardizirani postupci tijekom ispitivanja. Tijek ispitivanja odvijao se prema uputama iz Cen-tra: svi su učenici pisali ispite prema istim uvjetima.

• Izvještavanje rezultata. Svi su učenici i njihovi roditelji/skrbnici dobili povratnu informaciju o uspjehu učenika na ispitu u obliku razumljivoga te normiranoga izvještaja.

• Izvješće Projekta. Izrada detaljnoga i transparentnoga izvješća Projekta u kojemu su opisani svi ključni koraci u izradi i provedbi ispita te metrijskim karakteristikama i dobivenim rezultatima.


36


1.4. ZAKLJUČAK

Publikacijom ovoga Izvješća završavaju aktivnosti Projekta i rada na razvoju standardiziranih ispita iz Hrvatskoga i Engleskoga jezika, Povijesti i Fizike, prema suvremenim teorijama izrade testova. Razvijeni model standardizacije ispita, unaprjeđenje procedura i sustava osiguranja kvalitete u izradi ispitnoga materijala te uporaba mrežnih aplikacija u različitim fazama razvoja ispita, najvažniji su rezultati Pro-jekta. Sve razvijene procedure, metodologija i iskustva razvoja ispita u sklopu projekta Razvoj završnih ispita trebale bi poslužiti u razvoju ispita u drugim projektima i poslovima Centra. Na taj način osigurala bi se održivost znanja stečenih na Projektu, a u cilju osiguranja valjanih, pouzdanih i objektivnih ispitnih rezultata za svakoga pojedinog učenika, kao i dugoročno te usporedivo praćenje generacija učenika.

Razvijeni ispiti, odnosno razvijena metodologija predstavlja osnovu za početak kontinuiranoga praćenja uspješnosti učenika i škola kao i verifikaciju dosadašnjih nastavnih planova i programa te nadzor učinka budućih reformi. Valjana usporedivost rezultata obrazovnoga procesa kroz niz godina i generacija je-dina je garancija napretka obrazovnoga procesa te njegova uspješnog usmjeravanja. Bez pouzdanoga uvida u uspješnost obrazovnoga procesa nisu moguće kvalitetne i smislene intervencije u smjeru nje-gova poboljšanja.

Kroz postignut napredak u standardizaciji, korištenju novih metoda i sredstava možemo reći da je u Hrvatsku uvedena suvremena metodologija ispitivanja znanja koja se primjenjuje u zemljama s dugogo-dišnjom praksom u tome području. Time je učinjen prvi korak osuvremenjivanja praćenja obrazovanja iza kojega nužno mora slijediti kontinuiranost u daljnjemu razvoju praćenja i vanjskoga vrednovanja obrazovanja.


2. RAZVOJ STANDARDIZIRANIH ISPITA IZ HRVATSKOGA JEZIKA TE REZULTATI ISPITIVANJA

Ira Tretinjak, Natalija Gjeri Robić, Zoran Žitnik


38


2.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ HRVATSKOGA JEZIKA IZMEĐU 2011. I 2015. GODINE

Cilj projekta Razvoj završnih ispita bio je razviti model i postupke testiranja prema suvremenim pristu-pima ispitivanju znanja, odnosno izraditi i analizirati ispite prema modelu Teorije odgovora na zadatak (eng. Item Response Theory16). Kako bi se ostvario navedeni cilj, ključna aktivnost Projekta bila je razvoj i provedba ispita prema međunarodnim standardima ispitivanja znanja učenika. Jedan od četiri ispita koji se razvijao i proveo u sklopu Projekta bio je ispit iz nastavnoga predmeta Hrvatski jezik. S obzirom na raspoložive resurse Projekta i Centra, odlučeno je da će se ispitivanja provesti na uzorku učenika osmih razreda u uzorkovanim osnovnim školama iz čitave Hrvatske.

Cilj ispita iz Hrvatskoga jezika bio je procijeniti razine usvojenih znanja odnosno postignuća učenika osmih razreda osnovnih škola. Iz tog se razloga ispit temeljio na sadržajima i ishodima Nastavnoga pla-na i programa za osnovnu školu za predmet Hrvatski jezik (2006.).

Između 2011. i 2015. godine provedene su brojne aktivnosti vezane uz razvoj ispita iz Hrvatskoga jezika koje su rezultirale razvojem i provedbom standardiziranih ispita iz Hrvatskoga jezika temeljem metodo-logije suvremene teorije testova (Tablica 2.1.). Nakon provedenoga ispitivanja ispiti su analizirani i pro-cijenjene su razine znanja učenika osmih razreda iz Hrvatskoga jezika. Stoga su ciljevi Projekta vezani uz razvoj ispita iz Hrvatskoga jezika u potpunosti ostvareni.

Tablica 2.1. Aktivnosti razvoja standardiziranoga ispita iz Hrvatskoga jezika od listopada 2011. do kraja 2014. godine

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ HRVATSKOGA JEZIKA VRIJEME


listopad 2011. – rujan 2013.


Narudžba, izrada i recenzije ispitnih zadataka ožujak – rujan 2012.



Izrada uzorka škola i učenika i priprema za probno ispitivanje studeni 2012. – ožujak 2013.




rujan 2013. – prosinac 2014.

Izrada standardiziranih ispitnih formi/inačica rujan – listopad 2013.



39

RAZVOJ STANDARDIZIRANIH ISPITA IZ HRVATSKOGA JEZIKA TE REZULTATI ISPITIVANJA

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ HRVATSKOGA JEZIKA VRIJEME

Izrada uzorka škola i učenika i priprema za glavno ispitivanje listopad 2013. – ožujak 2014.




Provedba ocjenjivanja uzorka kratkih sastavaka i prikaz rezultata ispitivanja vještine pisanja kratkoga sastavka



40


2.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ HRVATSKOGA JEZIKA

U razvoju ispita iz Hrvatskoga jezika sudjelovali su sadržajni i psihometrijski stručnjaci iz Centra, kon-zultant Projekta, nastavnici Hrvatskoga jezika okupljeni u skupini za razvoj ispita iz Hrvatskoga jezika, autori ispitnih zadataka, stručni recenzenti ispitnih zadataka te skupina koja je sudjelovala u proceduri određivanja pragova postignuća učenika. U različitim aktivnostima razvoja ispita iz Hrvatskoga jezika sudjelovalo je oko 70 osoba.

Djelatnici/vanjski suradnici Centra koji su sudjelovali u razvoju ispita iz Hrvatskoga jezika od 2011. do 2015. godine:

• Petra Chudy (od svibnja 2012.) – predmetna koordinatorica: koordinacija rada skupine za razvoj ispita, vodstvo skupine u sadržajnim recenzijama i doradama ispitnih zadataka; sadržajne provje-re ispitnih inačica za probno i glavno ispitivanje, provjere probnih otisaka ispita, unos lekture i korekture ispita/zadataka, sudjelovanje u pripremi ljestvica za ocjenjivanje zadataka otvorenoga tipa, sudjelovanje u pripremi edukacije za ocjenjivače, sudjelovanje u edukacijama/sastancima s konzultantom.

• Ira Tretinjak – psihometrijska koordinatorica: sudjelovanje u razvoju ispitnih specifikacija, me-todološka recenzija ispitnih zadataka, izrada ispitnih inačica za probno i glavno ispitivanje, psi-hometrijske analize ispita nakon probnoga i glavnoga ispitivanja, prikaz i interpretacija rezultata probnoga i glavnoga ispitivanja, obrada i prikaz rezultata ispitivanja kratkih sastavaka, sudjelova-nje u edukacijama/sastancima s konzultantom.

• Zoran Žitnik – koordinator Projekta: priprema tablice proširenoga nacrta ispita, izrada uzorka škola i učenika za probno i glavno ispitivanje, priprema podataka za psihometrijske analize ispita, priprema izvješća za učenike prema dobivenim rezultatima, unos lekture i korekture ispita/za-dataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, priprema programa za niveliranje ispitnih ina-čica, priprema uzorka kratkih sastavaka za ocjenjivanje, sudjelovanje u edukacijama/sastancima s konzultantom.

• Natalija Gjeri Robić – voditeljica Projekta: definiranje kriterija za izradu i recenzije zadataka, pri-prema priručnika, procedura i uputa vezanih za razvoj ispita te za korištenje mrežnih aplikacija za narudžbu, izradu i recenzije zadataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka; nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, organizacija i provedba ocjenjivanja kratkih sastavaka, organizacija edukacija/sastanaka s konzultantom.

• Tea Vidović (od listopada 2011. do svibnja 2012.) – predmetna koordinatorica: koordinacija rada skupine za razvoj ispita, vodstvo skupine u razvoju ispitnih specifikacija te u izradi opisivača razi-na postignuća učenika, sudjelovanje u edukacijama/sastancima s konzultantom.


41


Konzultant Projekta

U razvoju standardiziranih ispita iz Hrvatskoga jezika sudjelovao je konzultant projekta g. Eduardo Cas-callar koji je održao niz predavanja i radionica u vezi razvoja ispita prema Teoriji odgovora na zadatak te u vezi psihometrijskih analiza ispita. U provedbi radionica postavljanja pragova za razine postignuća učenika 2012. godine, konzultantu je pomagala i suradnica Assessment Group International, gđa Eva Kyndt. Održani sastanci i edukacije prikazani su u poglavlju 1.2.1.

Skupina za razvoj ispita iz Hrvatskoga jezika

Skupina za razvoj ispita sudjelovala je u razvoju ispita iz Hrvatskoga jezika od studenoga 2011. godine do prosinca 2014. godine. Članice skupine bile su nastavnice Hrvatskoga jezika: Iverka Kraševac (OŠ Au-gusta Harambašića, Zagreb), Mirjana Jukić (OŠ Rudeš, Zagreb), Tina Kirin (SŠ Jelkovec, Sesvete), Natalija Blažević (od studenoga 2011. do travnja 2012., OŠ Antuna Augustinčića, Zaprešić).

Zadaće članica skupine za razvoj ispita iz Hrvatskoga jezika bile su: izrada ispitnih specifikacija, sadržajne recenzije i dorade ispitnih zadataka, sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, izrada opisivača razina postignuća učenika, izrada primjera zadataka za priručnik, izrada zadataka otvo-renoga tipa te ljestvica za ocjenjivanje zadataka otvorenoga tipa, priprema edukacije za ocjenjivače, sudjelovanje u ocjenjivanju uzorka kratkih sastavaka. Članice skupine sudjelovale su u edukacijama koje su bile organizirane u sklopu Projekta.

Autori ispitnih zadataka

Autori ispitnih zadataka izrađivali su tijekom 2012. godine ispitne zadatke prema sadržajnoj strukturi i nacrtu ispita (putem mrežne aplikacije), a prema propisanim uputama i kriterijima za izradu zadataka.

Ispitne zadatke iz Hrvatskoga jezika izrađivalo je 50 nastavnika iz svih dijelova Republike Hrvatske: Se-nija Badić (OŠ Jabukovac, Zagreb), Daniela Bakar (OŠ „Ljudevit Gaj“, Mihovljan), Darija Begedin (OŠ Grabrik, Karlovac), Ksenija Budija (OŠ Frana Krste Frankopana, Osijek), Ines Čeko (OŠ Veliko Trgovišće), Olivera Čolić (OŠ „Stjepan Radić“, Božjakovina), Helena De Karina (OŠ „Kozala“, Rijeka), Ana Derenči-nović (OŠ Frana Krste Frankopana, Brod na Kupi), Matija Dreven (OŠ „Braća Seljan“, Karlovac), Drin-ka Dujmović (Poljoprivredna, prehrambena i veterinarska škola Stanka Ožanića, Zadar), Ljupka Đurić (OŠ Stari Jankovci, Stari Jankovci), Meri Farac Jemrić (OŠ Rudeš, Zagreb), Diana Greblički-Miculinić (OŠ Špansko Oranice, Zagreb), Gordana Hobor Nikolić (Ekonomska i trgovačka škola Čakovec, Čakovec), Melita Horvatek Forjan (OŠ Marije Jurić Zagorke, Zagreb), Željka Jerman (Tehnička škola Sisak, Sisak), Isabela Jeromela-Brlek (OŠ Ivana Cankara, Zagreb), Višnja Jukić (Ženska opća gimnazija Družbe sestara milosrdnica s pravom javnosti, Zagreb), Zrinka Jurčević (OŠ „August Harambašić“, Donji Miholjac; OŠ „Davorin Trstenjak“, Čađavica), Nataša Jurić Stanković (OŠ Petra Krešimira IV., Šibenik), Senija Komić (OŠ Ilača-Banovci, Ilača), Snježana Kos (II. osnovna škola Bjelovar, Bjelovar), Živana Kriška (SŠ Čazma, Čazma), Sunčica Križan-Kadi (OŠ Novi Marof, Novi Marof), Marica Kurtak, Blanka Ljubenkov (OŠ „Bol“, Split), Nada Marguš (OŠ Miroslava Krleže, Čepin), Dolores Maršanić (OŠ „Čavle“, Čavle), Krasnodor Mik-ša (SŠ Bedekovčina, Bedekovčina), Marija Milas (Gimnazija Ivana Zakmardija Dijankovečkoga, Križevci), Petar Milas (Gimnazija Ivana Zakmardija Dijankovečkoga, Križevci), Dalia Mirt (OŠ Milke Trnine, Križ), Ida Petto (OŠ Frana Krste Frankopana, Osijek), Nives Poljak (OŠ „Marjan“, Split), Vesna Prepelić-Đu-ričković (SŠ Čakovec, Čakovec), Danijela Primorac (Srednja poljoprivredna i tehnička škola, Opuzen),


42


Lucija Puljak (OŠ Pučišća, Pučišća), Marija Roško (OŠ Mate Lovraka, Kutina), Suzana Ruško (OŠ Šestine, Zagreb), Nataša Sedlar (OŠ Ludbreg, Ludbreg), Đurđica Stuhlreiter (OŠ Julija Benešića, Ilok; OŠ Josipa Kozarca, Vinkovci), Sandra Sušanj (Gospodarska škola Buje, Buje), Bosiljka Šarić (Gimnazija Gospić, Gos-pić), Karmen Šimudvarac (Srednja škola Bedekovčina, Bedekovčina), Marija Tkalec (SŠ Čazma, Čazma), Helena Voda (Srednja strukovna škola Vinkovci, Vinkovci), Dijana Vranješ (OŠ Špansko Oranice, Zagreb), Vesna Vujić (OŠ Trpinja, Trpinja), Marina Zorić (OŠ Vukovina, Vukovina), Marta Žiger (SŠ Bedekovčina, Bedekovčina).

Stručni recenzenti ispitnih zadataka

U lipnju/srpnju 2012. godine odabrani su stručnjaci za sadržaj iz Hrvatskoga jezika sa zadatkom da na-prave završnu, stručnu (sadržajnu) recenziju zadataka prema propisanim kriterijima. Recenzenti zada-taka iz Hrvatskoga jezika bili su dr. sc. Jasna Novak Milić (Filozofski fakultet, Zagreb) i dr. sc. Srećko Listeš (Agencija za odgoj i obrazovanje, podružnica Split).

Nastavnici Hrvatskoga jezika koji su sudjelovali u postavljanju pragova za razine postignuća

U postavljanju pragova za razine postignuća 2012. godine sudjelovalo je šest nastavnika Hrvatskoga jezika: Barbara Beronja Manojlović (OŠ Antuna Mihanovića, Klanjec), Renata Čeč (OŠ Tenja, Tenja), Kri-stina Jug (OŠ „Petar Zrinski“, Jalžabet), Marijo Malkoč, Goran Marjanović (SŠ Petrinja, Petrinja), Dejan Ristić (OŠ „Josip Kozarac“, Soljani).

Njihove zadaće bile su: revizija opisivača razina postignuća učenika te procjena težina zadataka za prob-no ispitivanje za svaku opisanu razinu postignuća učenika.


43


2.3. PRIPREMA I PROVEDBA PROBNOGA ISPITIVANJA: OD IZRADE SPECIFIKACIJE ISPITA DO REZULTATA ANALIZE ISPITA


Prva aktivnost razvoja ispita iz Hrvatskoga jezika bila je izrada ispitnih specifikacija koje su izrađene kao temelj za standardizaciju ispita iz Hrvatskoga jezika. Ispitne specifikacije izrađuju se u odnosu na cilj ispita te definiraju sadržaj ispitivanja te način ispitivanja toga sadržaja.

Ispitna specifikacija sastoji se:

• od sadržajne strukture ispita koja predstavlja detaljan opis sadržaja ispitivanja i ishoda učenja

• od nacrta ispita koji specificira način ispitivanja sadržaja odnosno ishoda učenja definiranih sadr-žajnom strukturom ispita

• od proširenoga nacrta ispita kojim se specificira raspodjela ishoda učenja prema težini i razinama misaonoga procesa radi narudžbe ispitnih zadataka.

S obzirom na to da je cilj ispita iz Hrvatskoga jezika bio procijeniti razine znanja učenika osmih razreda iz Hrvatskoga jezika, sadržajna struktura ispita izrađena je prema sadržajima i ishodima Nastavnoga plana i programa za osnovne škole za predmet Hrvatski jezik. S obzirom na činjenicu da su ispitivanja planirana za mjesec ožujak, te na činjenicu da nije bilo moguće odrediti granicu sadržaja koji su obrađe-ni u nastavi do mjeseca ožujka, u ispitnu specifikaciju nisu ušli sadržaji osmoga razreda nego sadržaji i ishodi programa od petoga do kraja sedmoga razreda. U sadržajnoj strukturi ispita nastavni su sadržaji razrađeni u četiri razine specifičnosti: područje, podpodručje, sadržaj podpodručja, zaključno s isho-dom učenja.

U listopadu 2011. godine napravljena je skica sadržajne strukture ispita temeljem koje je skupina za razvoj ispita nastavila rad na izradi struktura ispita. Održana je trodnevna radionica u kojoj su sudjelo-vali skupina za razvoj ispita, predmetna i psihometrijska koordinatorica te je pod vodstvom konzultanta napravljena prva verzija sadržajne strukture ispita. Radionice su provedene od 8. do 10. 11. 2011., a za-dnji je dan napravljen i nacrt ispita kojim se specificirala zastupljenost svakoga područja i podpodručja u ispitu, vrste i broj zadataka koji će se ispitati u svakome području i podpodručju te vrijeme potrebno za rješavanje pojedinoga područja/podpodručja.

Sadržajna struktura ispita dovršena je tijekom sastanaka koordinatorica sa skupinom za razvoj ispita u drugoj polovini studenoga 2011. godine. U idućih nekoliko mjeseci napravljene su manje preinake strukture ispita, a konačna inačica područja koja su ispitivana ispitom prikazana je u Tablici 2.2.

Ispit iz Hrvatskoga jezika sastojao se od dva dijela: prvim se dijelom ispitivalo znanje iz područja Jezik, Književnost, Jezično izražavanje i Medijska kultura te vještina čitanja s razumijevanjem. Drugim se dije-lom ispita ispitivala vještina pisanja kratkoga sastavka. Sadržaj područja prvoga dijela ispita dodatno je razrađen u 13 podpodručja.


44


Tablica 2.2. Sadržajna područja i podpodručja koja su ispitana prvim dijelom ispita iz Hrvatskoga jezika

PODRUČJE PODPODRUČJE

1. JEZIK

1.1. GLASOVNI SUSTAV

1.2. RIJEČI

1.3. REČENICA

1.4. POVIJEST JEZIKA

2. KNJIŽEVNOST

2.1. LIRIKA

2.1.1. Čitanje: Lirika

2.2. EPIKA

2.2.1. Čitanje: Epika

2.3. DRAMA

3. JEZIČNO IZRAŽAVANJE3.1. PRIPOVIJEDANJE, OPISIVANJE, RASPRAVLJANJE

3.2. PRAVOPIS

4. MEDIJSKA KULTURA4.1. TISKANI I ELEKTRONIČKI MEDIJI

4.2. FILM I KAZALIŠTE

Za svaki je predmet bilo potrebno naručiti veći broj zadataka koji su predviđeni nacrtom ispita kako bi se probno ispitao što veći broj zadataka. Cilj koji je trebalo postići bio je da u glavnome ispitivanju preo-stane dovoljan broj zadataka dobrih metrijskih karakteristika za dvije forme ispita, a to se moglo vidjeti tek nakon psihometrijskih analiza rezultata probnoga ispitivanja. U glavnome ispitivanju se trebaju kori-stiti probno ispitani zadatci najboljih metrijskih karakteristika. Stoga je napravljen prošireni nacrt ispita s većim brojem zadataka koji će se naručiti iz svakoga podpodručja, odnosno područja, s obzirom na postojeći nacrt ispita. Ti su zadatci zatim raspoređeni prema tri razine težine i tri razine složenosti mi-saonoga procesa koji je potreban za rješavanje pojedinoga zadatka. Prošireni nacrt ispita iz Hrvatskoga jezika izrađivan je na sastancima s konzultantom 14. i 15. 12. 2011., a u njemu su sudjelovali predmetni i psihometrijski koordinatori, predstavnica skupine za razvoj ispita te voditeljica Projekta.

Početni nacrti ispita revidirani su zajedno s proširenim nacrtima ispita na sastancima predmetne i psi-hometrijskie koordinatorice sa skupinom za razvoj ispita u siječnju 2012. godine. Prošireni nacrt ispita prošao je zadnju recenziju na sastanku koordinatora i skupine za razvoj ispita s konzultantom i vodite-ljicom Projekta 26. 1. 2012. godine. Nacrtom je definirano da prvi dio ispita iz Hrvatskoga jezika sadrži 44 zadatka višestrukoga izbora17 raspoređenih u sadržajna područja i podpodručja. Svaki zadatak kojim

17 U prvome dijelu ispita iz Hrvatskoga jezika unutar Projekta korišteni su isključivo zadatci višestrukoga izbora. Uzimajući u obzir povratni utjecaj koji ispiti imaju na nastavu, u budućim (sustavnim) ispitivanjima preporuča se uporaba i određenoga broja zadataka otvorenoga tipa.


45


se ispitivala vještina čitanja s razumijevanjem sastojao se od tri zadatka vezana uz isti polazni tekst, stoga je ukupan broj čestica u ispitu 48. Osim zadataka zatvorenoga tipa, ispit također sadrži zadatak otvorenoga tipa za ispitivanje vještine pisanja kratkoga sastavka. Prema broju i zahtjevnosti zadataka, određeno je vrijeme trajanja prvoga dijela ispita od 60 minuta te još dodatnih 20 minuta za pisanje kratkoga sastavka.

Prema proširenome nacrtu ispita od autora ispitnih zadataka bilo je potrebno naručiti najmanje 600 zadataka prema ishodima učenja pojedinih podpodručja. Razlog narudžbe tako velikoga broja zadataka bila je pretpostavka da neće svi zadatci dobiti pozitivnu recenziju, a za probno ispitivanje je bilo potreb-no imati oko 300 zadataka koji se trebaju rasporediti u veći broj ispitnih inačica.

* * *

Temeljem proširenih nacrta ispita u ožujku 2012. godine pristupilo se narudžbi i izradi ispitnih zadataka, a nakon recenzija zadataka i procedure određivanja pragova postignuća učenika u studenome 2012. godine pristupilo se formiranju paralelnih ispitnih inačica za probno ispitivanje.


Narudžba i izrada zadataka

Broj zadataka koji se trebaju naručiti iz svakoga područja i podpodručja po ishodima učenja definiran je proširenim nacrtom ispita. Procijenjena je potreba za narudžbom i izradom najmanje 600 zadataka. S obzirom na veliki broj zadataka koji se trebao naručiti i izraditi u kratkome vremenu, te s obzirom na složen sustav provjere kvalitete i dorade zadataka putem recenzija, bilo je potrebno napraviti aplikaciju koja bi podržala te aktivnosti. Stoga je sinergijom projekata Razvoj banke zadataka i Razvoj završnih ispita od siječnja do ožujka 2012. razvijena aplikacija za narudžbu, izradu i recenzije zadataka. U bazu/aplikaciju inkorporirani su prošireni nacrti ispita iz Hrvatskoga jezika, odnosno sadržaji i ishodi prema kojima će se zadatci naručivati. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje apli-kacije u ožujku 2012. nakon čega je započela narudžba i izrada zadataka.

Narudžba zadataka odvijala se u dva kruga: između ožujka i lipnja 2012. godine naručena je većina zadataka (572), a nakon što su zadatci izrađeni i prošli prve dvije recenzije, od srpnja 2012. godine na-ručen je dodatni broj zadataka (135) koji je bio potreban s obzirom na sadržajnu strukturu/nacrt ispita.

Autori su putem mrežne aplikacije zaprimali narudžbu za izradu zadataka, unosili i slali zadatke te imali uvid u status recenzije zadataka koje su poslali. Za autore je u ožujku 2012. pripremljen Priručnik za izradu i recenziju zadataka višestrukoga izbora iz Hrvatskoga jezika. Priručnik obuhvaća opis i način izra-de zadataka višestrukoga izbora, kriterije za izradu i procjenu kvalitete zadataka te primjere zadataka različitih težina i razina složenosti misaonih procesa. Za autore su, osim Priručnika izrađene i Upute za izradu i slanje zadataka putem mrežne aplikacije. Autorima je kroz cijelo vrijeme izrade zadataka bila pružena tehnička i stručna podrška, a za te su potrebe bili izrađeni i dokumenti Pogreške u izradi zada-taka i daljnje upute i Često postavljena pitanja koji su poslani autorima.


46


Od autora je prikupljeno 706 ispitnih zadataka, a mrežna aplikacija pokazala se iznimno uspješnom u narudžbi, izradi i prikupljanju velikoga broja zadataka od većega broja autora u vrlo kratkome vremen-skom razdoblju.

Zadatci otvorenoga tipa kojima se ispitivala vještina pisanja kratkoga sastavka nisu bili naručeni od autora ispitnih zadataka nego su ih izradile članice skupine za razvoj ispita. Izrađeno je ukupno osam takvih zadataka za probno ispitivanje.

Recenzije ispitnih zadataka

Prikupljeni zadatci prošli su tri vrste recenzije:

• sadržajnu

• metodološku

• završnu sadržajnu recenziju.

Recenzije ispitnih zadataka rađene su prema kriterijima za recenzije ispitnih zadataka koje su defini-rane Priručnikom za izradu i recenzije ispitnih zadataka. S obzirom na veliki broj zadataka koje je bilo potrebno recenzirati te na složene postupke recenzija bilo je potrebno napraviti i mrežnu aplikaciju za recenziju zadataka. Stoga se nakon narudžbe zadataka u travnju 2012. nastavilo raditi na mrežnoj apli-kaciji za recenzije zadataka te su procedure i kriteriji za recenzije postale sastavni dio mrežne aplikacije. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje aplikacije u svibnju 2012. godine nakon čega su započele recenzije zadataka. Osim Priručnika, za potrebe recenzija zadataka napisane su Procedure i upute za recenzije zadataka.

Sadržajne recenzije zadataka započele su 21. 5. 2012., a za njih je bila odgovorna predmetna koordi-natorica zajedno sa skupinom za razvoj ispita. Od svibnja do kraja rujna 2012. održano je 17 sastanaka predmetne koordinatorice s članicama skupine za razvoj ispita na kojima su zadatci recenzirani te pre-ma potrebi dorađivani. Zadatci koji su dobili negativnu recenziju vraćeni su putem aplikacije autorima ispitnih zadataka uz obrazloženje odbijanja.

Od svibnja do kraja listopada 2012. godine odvijali su se paralelni procesi izrade zadataka, sadržajne i metodološke recenzije i završne sadržajne recenzije zadataka. Metodološke recenzije zadataka zapo-čele su 25. 5. 2012. nakon pozitivne sadržajne recenzije, a zadatci su također mogli biti prihvaćeni ili odbijeni. U srpnju 2012. održani su sastanci predmetne i psihometrijske koordinatorice na kojima su revidirani zadatci koji su se zbog stručnih i metodoloških razloga smatrali upitnima. U srpnju 2012. godine naručena su dodatna 135 zadatka kako bi se osigurao dovoljan broj zadataka u svim dijelovima sadržajne strukture ispita (s obzirom na broj zadataka koji su dobili negativnu recenziju). Novi zadatci također su prošli sadržajnu i metodološku recenziju.

Od srpnja do sredine listopada 2012. trajale su završne recenzije zadataka koje su neovisno napravila dva sadržajna stručnjaka što znači da je svaki zadatak prošao dodatnu dvostruku provjeru. Recenzije zadataka vršile su se unutar mrežne aplikacije prema Uputama za završnu recenziju zadataka. Recen-


47


zenti su u srpnju 2012. dobili pristupne podatke za rad u aplikaciji čime su mogli započeti s recenzijama. Recenzentima je tijekom recenzija zadataka bila pružena tehnička i stručna podrška. Oni zadatci koji su dobili negativnu recenziju ili prijedlog za doradom od jednoga ili oba recenzenta bili su još jednom pre-gledani od koordinatora. Takvi zadatci mogli su biti dorađeni prema uputama recenzenata ili odbijeni.

U listopadu 2012. godine završen je proces recenzija zadataka. Tada je prikupljen dovoljan broj kvalitet-nih zadataka za probno ispitivanje, a prema specifikacijama u sadržajnim strukturama i nacrtima ispita. Broj prihvaćenih zadataka nakon treće recenzije bio je 365. U Tablici 2.3. vidljivi su konačni podatci vezani uz proces izrade i recenzije zadataka.

Tablica 2.3. Podatci o broju naručenih, izrađenih i recenziranih zadataka iz Hrvatskoga jezika

PredmetBroj

naručenih zadataka


Broj zadataka recenziranih u prvoj recenziji

Broj zadataka recenziranih u

drugoj recenziji

Broj zadataka recenziranih u trećoj recenziji

Broj prihvaćenih


recenzije

Hrvatski jezik

707 706 706 382 366 365


Nakon završnih recenzija svih zadataka moglo se pristupiti i samoj provedbi radionice određivanja pra-gova za razine postignuća učenika. U Projektu su korištene tri razine postignuća učenika za koje je tre-balo odrediti pragove prolaznosti. To su osnovna, srednja i napredna razina postignuća učenika.

Postavljanje pragova za ispite iz Hrvatskoga jezika provedeno je na četverodnevnim radionicama izme-đu 6. i 9. 11. 2012. godine, a u postavljanju pragova sudjelovala je skupina od šest nastavnika Hrvat-skoga jezika odabrana putem Javnoga poziva u listopadu 2012. godine. Radionicu je vodila asistentica konzultanta Projekta uz pomoć konzultanta, psihometrijske koordinatorice i voditeljice Projekta, a radi-onici je prisustvovala i predmetna koordinatorica.

Na radionicama su prvo revidirani opisivači razina postignuća učenika koje je u ožujku/travnju 2012. godine izradila skupina za razvoj ispita. Zatim su procijenjene težine svakoga zadatka za tri razine posti-gnuća te su u dva kruga određeni preliminarni pragovi prolaznosti za svaku razinu. Procijenjene težine zadataka korištene su u izradi paralelnih ispitnih inačica za probno ispitivanje, a dobiveni pragovi za razine postignuća revidirani su temeljem psihometrijske analize nakon probnoga ispitivanja zadataka 2013. godine (vidjeti poglavlje 2.3.6.).


48



Ispitne inačice izrađene su prema nacrtu ispitnih inačica. Prema nacrtu ispit je podijeljen u 16 ispitnih inačica u kojima je prema sadržajnoj strukturi/nacrtu ispita te težini zadataka bilo podjednako raspo-ređeno 296 ispitnih zadataka. Svaka inačica sadržavala je po 44 zadataka. Svi su zadatci višestrukoga izbora s time da zadatci čitanja predstavljaju grozdove od tri zadatka vezana za polazni sadržaj. Zadatak kojim se ispituje vještina pisanja kratkoga sastavka bio je izdvojen u zasebnu ispitnu knjižicu.

Svaka ispitna inačica sastoji se od pet blokova zadataka. Prvi i zadnji blok sadržavali su 17 pitanja vi-šestrukoga izbora iz svih podpodručja prema nacrtu ispita. Unaprijed je određeno koliko zadataka iz pojedinoga podpodručja treba biti zastupljeno u jednome bloku prema postocima zastupljenosti poje-dinoga podpodručja u nacrtu. Prvi i peti blok nevezano se ponavljaju u po dvije ispitne inačice što znači da je svaka inačica povezana s još dvije inačice pomoću blokova od 18 zadataka. Treći blok čini osam zadataka koji su zajednički kroz sve ispitne inačice. To su tzv. sidrišni zadatci. To znači da je svaka ispitna inačica dodatno povezana sa svim ostalim inačicama pomoću osam zajedničkih zadataka. Drugi i četvrti blok sastoje se od zadataka kojima se ispituje čitanje: jedan blok čini zadatak iz područja lirike, a drugi blok iz područja epike. Sve inačice i svaki blok u najvećoj su mogućoj mjeri reprezenti nacrta ispita, od-nosno opterećenja područja sadržajne strukture predmeta Hrvatski jezik u osnovnoj školi.

Učenici su uz ispitnu inačicu dobili i jedan zadatak kojim se ispitivala vještina pisanja kratkoga sastavka. Isti se zadatak (tema) nalazio u dvije ispitne inačice te je takvim načinom probno ispitano osam zada-taka otvorenoga tipa.

Za potrebe slaganja i niveliranja ispitnih inačica preko dodjele zadataka u blokove izrađena je Excel bazirana aplikacija. Putem nje je omogućena jednostavna kontrola niveliranja početnih verzija inačica prema nizu parametara dobivenih na radionicama postavljanja pragova te prema nacrtu ispita, kao i promjene i redefiniranje blokova nakon sadržajnih provjera. Unificirani izlazni set podatka prilagođen je za jednostavnu komunikaciju između ove aplikacije i sistema u kojemu su pohranjeni zadatci18 putem kojega su se prema izlaznim parametrima aplikacije za slaganje ispitnih inačica raspoređivali zadatci u finalne verzije ispitnih inačica.

Krajem studenoga 2012. definirano je 16 ispitnih inačica od strane psihometrijske koordinatorice koje su generirane pomoću aplikacije, a prema gore opisanim specifikacijama. Izrađene ispitne inačice proš-le su dvije sadržajne provjere, odnosno provjere preklapanja sadržaja zadataka unutar svake inačice. Nakon prve provjere od strane predmetne koordinatorice slijedila je korekcija ispitnih inačica od strane psihometrijske koordinatorice. Članice skupine za razvoj ispita su, zajedno s predmetnom koordina-toricom napravile završnu sadržajnu provjeru ispitnih inačica. Nakon te provjere i unesenih korekcija, početkom prosinca 2012. ispitne su inačice pripremljene za grafičko oblikovanje.

18 Detaljnije o uzorkovanju u sklopu Projekta vidjeti u poglavlju 1.2.7.


49


2.3.5. UZORAK ŠKOLA I UČENIKA ZA PROBNO ISPITIVANJE

Prema nacrtu ispita, za probno ispitivanje bilo je odabrano 296 zadataka iz Hrvatskoga jezika koji su raspoređeni u 16 povezanih ispitnih inačica. Kako bi bili zadovoljeni statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata najmanje 600 učeni-ka mora rješavati svaki zadatak. S obzirom na nacrt ispita svaku ispitnu inačicu treba rješavati najmanje 300 učenika što znači da ispite treba pisati najmanje 4800 učenika. U skladu s navedenim, uzorak je rađen s obzirom na nacrt ispita te na potrebe psihometrijskih analiza unutar modela Teorije odgovora na zadatak.19

Za sudjelovanje u probnome ispitivanju preliminarno su odabrane 302 škole i 7399 učenika za pisa-nje ispita iz Hrvatskoga jezika. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja suglasnosti roditelja/skrbnika ispit je trebalo pisati 5772 učenika iz 298 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Hrvatskoga jezika na probnome ispitivanju bio je 5367 učenika, što je bio dovoljan broj učenika za potrebe planiranih psihometrijskih analiza.

2.3.6. PROBNO ISPITIVANJE, PSIHOMETRIJSKE ANALIZE I REZULTATI PROBNOGA ISPITIVANJA

Probno ispitivanje provedeno je između 4. i 8. ožujka 2013. godine. Nakon povrata ispitnih materijala iz škola i provjere podataka ustanovljeno je da je ispite iz Hrvatskoga jezika pisalo je 5367 učenika u 298 osnovnih škola.

Nakon skeniranja ispita i optičkoga čitanja odgovora učenika slijedile su psihometrijske analize ispita. S obzirom na novi način analiziranja, potporu psihometrijskim koordinatorima u analizama pružio je konzultant na sastancima koji su se održali između 6. i 10. 5. 2013. godine. Tijekom ove radionice psiho-metrijski koordinatori su prošli postupak konkurentne kalibracije zadataka na rezultatima iz Engleskoga jezika koji su dobiveni na probnome ispitivanju. Kalibracija se provodila korištenjem Parscale programa u okviru Teorije odgovora na zadatak. Na temelju dogovorenoga postupka provedene su analize iz svih predmeta pa tako i iz Hrvatskoga jezika.

Prvo je napravljena preliminarna psihometrijska analiza ispita kako bi učenici koji su sudjelovali u ispiti-vanju mogli dobiti povratnu informaciju o svome uspjehu na ispitu. U prvome koraku dobiveni rezultati analizirani su u okviru Klasične teorije testova uz pomoć programa TiaPlus kako bi se dobili podatci o diskriminativnosti i funkcioniranju ometača (distraktora/netočnih odgovora) svakoga pojedinog za-datka. Zadatci koji su imali negativnu diskriminativnost i/ili nefunkcionalne ometače su izostavljeni iz daljnjih analiza. U sljedećemu koraku provedena je konkurentna kalibracija zadataka u sklopu Teorije odgovora na zadatak za ispit u cjelini. Temeljem dobivenih rezultata analize iz daljnje obrade su isklju-čeni zadatci koji nisu zadovoljavali osnovne kriterije diskriminativnosti i težine. Sljedeći korak je bio na-praviti skaliranje rezultata po pojedinim ispitnim inačicama kako bi se dobili precizniji podatci o uspjehu za svakoga učenika.

19 Detaljnije o uzorkovanju u sklopu Projekta vidjeti u poglavlju 1.2.7.


50


Nakon finalizacije preliminarne analize sve ispitne inačice su međusobno nivelirane na zajedničku skalu od 100 do 400 bodova s aritmetičkom sredinom od 250 i standardnom devijacijom od 50. Na skali su prikazane razine znanja te rezultat svakoga učenika koji je pristupio ispitivanju. Rezultati za pojedinoga učenika bili su pripremljeni krajem svibnja 2013. godine, nakon čega se moglo pristupiti izradi izvješća za učenike. Izvješća s povratnim informacijama učenicima koji su pisali ispit iz Hrvatskoga jezika poslana su školama u lipnju 2013. godine.20

Za daljnje analize, odnosno za daljnji odabir zadataka korišteni su stroži kriteriji težine i diskriminativ-nosti zadataka kako bi se odabrali najkvalitetniji zadatci za izradu ispitnih inačica za glavno ispitivanje. Stručnu potporu psihometrijskim koordinatorima u daljnjim analizama ponovno je pružio konzultant na radionici koja se održala između 10. i 14. 6. 2013. godine. Radionice su započele predstavljanjem preliminarnih analiza i rezultata dobivenih za izvještavanje učenika. Nakon svake prezentacije rasprav-ljalo se o dobivenim rezultatima te o planu za daljnje analize. Do kraja radionice psihometrijski koordi-natori prošli su postupak daljnje psihometrijske analize ispita prema strožim kriterijima u računalnim programima Parscale i TiaPlus. Dogovorena je i procedura određivanja finalnih pragova za razine posti-gnuća učenika.

Nakon radionice napravljene su podrobne psihometrijske analize ispita i ispitnih zadataka iz Hrvatskoga jezika te su određeni pragovi za razine postignuća. Kriteriji za analizu i selekciju zadataka za glavno ispi-tivanje bili su stupanj diskriminativnosti zadatka, težina zadatka te funkcionalnost ometača kao dodatni kriterij. Prelagani i/ili preteški zadatci, zadatci koji nisu dovoljno diskriminativni te zadatci s nefunkcio-nalnim ometačima isključeni su iz daljnjih analiza. Tako je nakon primjene strožega kriterija za analizu u programu Parscale i nakon analize ometača, preostalo 145 kvalitetnih zadatka, tj. oko 50% od ukupnoga broja probno ispitanih zadataka.

Nakon provedenih analiza, moglo se pristupiti određivanju finalnih pragova za razine postignuća uče-nika. Pri određivanju pragova korišteni su rezultati postavljanja pragova za razine postignuća koje je provedeno na radionici u studenome 2012. godine te rezultati dobiveni nakon psihometrijske analize probnoga ispitivanja. Kako bi u sklopu trećega kruga procedure određivanja pragova procjenjivači pro-cjenjivali samo one zadatke koji su preostali nakon postupka eliminacije temeljem prethodno opisanih kriterija, iz procedure su isključeni svi zadatci koji nisu bili probno ispitani, kao i oni izostavljeni nakon analiza. Uzimajući u obzir i Beukovu korekciju, dobiven je podatak o postotku riješenosti ispita koji su nastavnici Hrvatskoga jezika na radionicama odredili za ulazak u pojedinu kategoriju prema znanju iz Hrvatskoga jezika. Tako su za ulazak u kategoriju „osnovna razina postignuća“ odredili 36,77% točno riješenih zadataka, za kategoriju „srednja razina postignuća“ 60,00% te za kategoriju „napredna razina postignuća“ 79,35%.

Kako bi uz mišljenje odnosno rezultat skupine nastavnika Hrvatskoga jezika na radionici postavljanja pragova u obzir bila uzeta i teorijska raspodjela, učinjena je korekcija. Najprije je izračunata razlika između postignuća potrebnih za pojedini prag (eng. cut-point) određenih na temelju rezultata postav-ljanja pragova na radionici i onih teorijski utemeljenih na pretpostavci normalne raspodjele. Zatim je procjena dobivena na radionici postavljanja pragova pomaknuta za polovicu te razlike. Tako dobiveni pragovi za razine postignuća, kao i pogreške mjerenja, prikazane su u Tablici 2.4.



51


Tablica 2.4. Pragovi za pojedine razine postignuća učenika i pogreška mjerenja na pojedinome pragu

Razine postignuća učenika

Prag postignuća učenika (radionice

postavljanja pragova)

Prag postignuća učenika (teorijski)

Prag postignuća učenika

(nakon korekcije)Pogreška mjerenja

1. osnovna razina 210,31 175 192,655 19,53

2. srednja razina 280 250 265 21,86

3. napredna razina 338,05 325 331,525 32,99

Psihometrijski koordinatori predstavili su preliminarne rezultate ispita probnoga ispitivanja predmet-nim koordinatorima na zajedničkome sastanku s konzultantom održanome 13. 6. 2013. Na sastanku s konzultantom također je predstavljen daljnji plan analiza ispita i izrade inačica za glavno ispitivanje.


52


2.4. PRIPREMA I PROVEDBA GLAVNOGA ISPITIVANJA: OD IZRADE STANDARDIZIRANIH ISPITA DO PRIKAZA REZULTATA ISPITIVANJA

2.4.1. IZRADA STANDARDIZIRANIH ISPITNIH FORMI/INAČICA

Nakon provedenih preliminarnih psihometrijskih analiza ispita, eliminacije zadataka sa slabim metrij-skim karakteristikama, finalizacije analize ispita i određivanja pragova prolaznosti, pristupilo se izradi ispitnih formi odnosno inačica. Nacrt ispitnih inačica za glavno ispitivanje određivao se s obzirom na broj preostalih zadataka s dobrim metrijskim karakteristikama u pojedinim područjima/podpodručji-ma prema sadržajnoj strukturi i nacrtu ispita. Kao što je prikazano u prethodnome poglavlju, nakon probnoga ispitivanja preostalo je 145 kvalitetnih zadataka koji sadržajno pokrivaju sva područja prema početnome nacrtu ispita te zadovoljavaju ostale kvantitativne kriterije.

Između 9. i 13. 9. 2013. godine održani su sastanci psihometrijskih koordinatora svih predmeta i vodi-teljice Projekta s konzultantom kako bi se definirao nacrt ispitnih inačica za glavno ispitivanje. Psiho-metrijski su koordinatori predstavili način provedbe analiza ispita i rezultate provedenih analiza, nakon čega je provedena rasprava i dogovor o nacrtu ispitnih inačica na temelju rezultata provedenih analiza.

Dogovoreno je da će u glavnome ispitivanju zadatci biti raspodijeljeni u dvije osnovne ispitne forme (forma A i B), a zadovoljavajući strukturu predviđenu nacrtom ispita. Svaka forma sadržava zajedničke sidrišne zadatke (21 zadatak) te za formu jedinstvene zadatke (23 zadataka). Stoga je broj zadataka u jednoj formi ostao 44, zadovoljavajući strukturu predviđenu nacrtom ispita.

Prilikom odabira zadataka za glavno ispitivanje vodilo se računa o sadržajnom području koje zadatak pokriva, o informativnosti zadataka, težini zadataka i „regiji“ u kojoj se zadatak nalazi (položaj zadatka na bodovnoj skali). Ovim načinom odabira zadataka osim sadržajne pokrivenosti dobivene su visoko međusobno usklađene forme ispita, odnosno komplementarne forme ispita prema krivuljama infor-mativnosti na bodovnoj skali postignuća.

Osim broja zadataka u pojedinome sadržajnom području i regiji, to se posebno odnosi na ujednačenost sumi i aritmetičkih sredina informativnosti zadataka koji su ušli u formu A i formu B (Tablica 2.5.).

Tablica 2.5. Usporedba formi A i B prema informativnosti zadataka

Forma A Forma B Razlika

Suma informativnosti zadataka 16,2124 16,9621 0,7497

Aritmetička sredina informativnosti zadataka

0,3684 0,3855 0,171


53


Na sastancima s konzultantom raspravljena je mogućnost probnoga ispitivanja novih zadataka unutar glavnoga ispitivanja, kako bi se „banka zadataka“ mogla puniti zadatcima provjerenih metrijskih karak-teristika. Odlučeno je unutar glavnoga ispitivanja probno ispitati i određeni broj zadataka koji se ne bi bodovali u konačnome rezultatu. Preostalo je 64 zadatka koji se nisu ispitali u probnome ispitivanju te su između njih za probno ispitivanje odabrani svi oni koji se nisu preklapali prema ishodima učenja sa zadatcima koji su već odabrani za glavno ispitivanje. Na taj je način odabrano 48 zadataka za probno ispitivanje koji su bili raspodijeljeni kroz 6 inačica (3 inačice koje će se uklopiti u formu A i 3 koje će se uklopiti u formu B). Dakle, svaku inačicu čini 44 zadataka za glavno ispitivanje i 8 zadataka za probno ispitivanje što ukupno iznosi 52 zadatka po inačici. Zadatci za probno ispitivanje nisu predviđeni za izračun rezultata učenika odnosno sume ispita te time ne utječu na raspodjelu prema sadržajnim po-dručjima kao niti na krivulje informativnosti.

Grafički prikaz 2.1. Struktura 6 inačica ispita s obzirom na raspored blokova, sidrišnih zadataka i zadataka za probno ispitivanje

Forma A – inačica 1



Forma B – inačica 1



Sidrišni zadatci (21)

Jedinstveni zadatci forme A (23) Jedinstveni zadatci forme B (23)

Jedinstveni zadatci za

probno ispitivanje (8)











52 52 52 52 52 52

Budući da zbog organizacijskih i tehničkih razloga nije bilo moguće provesti ocjenjivanje zadataka otvo-renoga tipa (kratki sastavci) nakon probnoga ispitivanja, nisu dobiveni parametri tih zadataka nužni za odabir glavnoga ispitivanja. Odlučeno je da će u glavnome ispitivanju biti ispitivana dva zadatka, odno-sno dvije teme (jedna za svaku formu) koje skupina za razvoj ispita procijeni kao najbolje, vodeći pritom računa o ujednačenosti zahtjeva u tim zadatcima. Kako ne postoje parametri za te zadatke iz probnoga ispitivanja, ti se zadatci neće koristiti u formiranju konačnoga rezultata na glavnome ispitivanju, već će se ponovno tretirati kao probni ispit. Na probnome ispitivanju pokazalo se da je učenicima bilo potreb-no više vremena za pisanje kratkoga sastavka te je iz toga razloga vrijeme za pisanje kratkoga sastavka povećano na 30 minuta.

Psihometrijski koordinatori su konzultantu na sastancima održanima između 21. i 25. 10. 2013. pred-stavili izrađene forme ispita te pripadajuće statističke i psihometrijske parametre. Konzultant je iskazao zadovoljstvo provedenim analizama i ujednačavanjem formi ispita. Zaključak provedenih konzultacija bio je da su forme ispita iz Hrvatskoga jezika standardizirane, odnosno ujednačene prema sadržaju, težini i informativnosti te spremne za glavno ispitivanje.


54


2.4.2. UZORAK ŠKOLA I UČENIKA ZA GLAVNO ISPITIVANJE

Prema nacrtu ispita, svaka od dvije forme ispita sastojala se od 21 zadatka koji su zajednički svakoj ina-čici te od 23 jedinstvena zadatka. S obzirom na potrebu za probnim ispitivanjem novih zadataka, svaka je forma podijeljena u tri verzije kojima se dodaju jedinstveni zadatci za probno ispitivanje. Time je dobiveno šest inačica ispita koje sadrže jedinstvene zadatke za probno ispitivanje. Kako bi se zadovoljili statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt inačica svaku ispitnu inačicu treba rješavati najmanje 600 učenika što znači da ispite treba pisati najmanje 3600 uče-nika. Stoga je uzorak rađen s obzirom na nacrt ispita te na potrebe za psihometrijskim analizama unutar modela Teorije odgovora na zadatak.21

Za sudjelovanje u glavnome ispitivanju preliminarno je odabrano 208 škola i 5269 učenika za pisanje ispita iz Hrvatskoga jezika. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja su-glasnosti roditelja/skrbnika ispit je trebalo pisati 4000 učenika iz 206 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Hrvatskoga jezika bio je 3815 učenika, što je bio dovoljan broj učenika za potrebe planiranih psihometrijskih analiza.

2.4.3. GLAVNO ISPITIVANJE, PSIHOMETRIJSKE ANALIZE I REZULTATI GLAVNOGA ISPITIVANJA

Glavno ispitivanje provedeno je između 17. i 21. ožujka 2014. godine. Nakon povrata ispitnoga materi-jala, njegova skeniranja i optičkoga čitanja odgovora učenika slijedile su detaljne psihometrijske anali-ze.

Ispit iz Hrvatskoga jezika pisalo je 3815 učenika, od čega je 1905 učenika rješavalo formu A, a 1910 for-mu B. U Tablici 2.6. prikazan je broj učenika koji su pisali pojedine forme i inačice ispita.

Tablica 2.6. Broj učenika koji su pisali pojedine forme i inačice ispita iz Hrvatskoga jezika

A1 A2 A3Ukupno

AB1 B2 B3

Ukupno B

Sveukupno

Broj učenika

637 635 633 1905 635 637 638 1910 3815

Postotak učenika

16,7% 16,6% 16,6% 49,9% 16,6% 16,7% 16,7% 50,1%

Konkurentna analiza u okviru Teorije odgovora na zadatak provedena je u računalnome programu Pars-cale. U analizi nisu korišteni zadatci koji su u glavnome ispitivanju probno ispitani. Analiza je provedena

21 Detaljnije informacije o uzorkovanju u sklopu Projekta vidjeti u poglavlju 1.2.10.


55


na svim preostalim zadatcima (44 unutar inačice: 21 sidrišni zadatak te 23 jedinstvena zadatka po ina-čici).

Rezultati su također obrađeni u programu TiaPlus kako bi se ispitala valjanost zadataka, tj. njihova diskriminativnost i težina te provela analiza ometača. Dobiveni rezultati nisu ukazivali na postojanje za-dataka kojima su znatnije narušeni navedeni parametri te koji bi se zbog neudovoljavanja postavljenim kriterijima trebali isključiti iz ukupnoga rezultata ili koje bi u budućnosti trebali izbjegavati. Korigirani koeficijent pouzdanosti Alpha za obje inačice iznosi 0,85 što je nešto niže od minimalne poželjne pouz-danosti (0,90). Prosječna diskriminativnost zadataka je srednje visoka (0,39, tj. 0,38). Možemo zaključiti kako su inačice međusobno ujednačene i prema parametrima pouzdanosti i diskriminativnosti.

Grafički prikaz 2.2. Distribucija rezultata na ispitu iz Hrvatskoga jezika

Distribucija rezultata prati oblik tzv. normalne distribucije i tek je neznatno pomaknuta prema nižim vrijednostima što znači da je ispit bio nešto lakši za učenike, tj. uspješno su ga rješavali i oni učenici s nešto nižim znanjem Hrvatskoga jezika (Grafički prikaz 2.2.).

Grafički prikaz 2.3. Informativnost ispita iz Hrvatskoga jezika


56


Iz Grafičkoga prikaza 2.3. je vidljivo da je informativnost ispita najviša u intervalu između -3 i 0.5, a u tom intervalu se nalazi i većina učeničkih rezultata. Krivulja ukazuje na to da je ispit bio zadovoljavajuće informativnosti za učenike s nižim znanjem Hrvatskoga jezika dok za učenike s boljim znanjem ovaj ispit nije dovoljno informativan. Za uspješne učenike (čija je sposobnost veća od +1) pogreška mjerenja je vrlo velika što znači da se ne može s preciznošću utvrditi u kojoj se od kategorija pragova nalaze rezul-tati učenika s boljim rezultatom na ispitu. Možemo zaključiti kako u ispitu nedostaje teških zadataka s odgovarajućom informativnosti kako bismo točnije kategorizirali uspješnije učenike prema njihovom znanju Hrvatskoga jezika.

Individualni rezultati učenika prikazani su na skali od 100 do 400 bodova koja je imala aritmetičku sre-dinu 250 i standardnu devijaciju 50. Pragovi prolaznosti korišteni na glavnome ispitivanju određeni su nakon probnoga ispitivanja zadataka te su oni prikazani u Tablici 2.7.

Tablica 2.7. Pragovi razina postignuća učenika i pogreška mjerenja u glavnome ispitivanju na pojedinome pragu

Razina postignuća učenika Prag razine postignuća učenika Pogreška mjerenja

1. osnovna razina 192,655 19,53

2. srednja razina 265 21,86

3. napredna razina 331,525 32,99

Na temelju tih pragova postignuća izračunat je i postotak učenika koji su pripali pojedinoj kategoriji prema pokazanome znanju iz Hrvatskoga jezika, što je prikazano u Tablici 2.8.

Tablica 2.8. Postotak učenika u pojedinoj kategoriji prolaznosti određenoj na temelju određenih pragova postignuća

Razina postignuća učenika Broj učenika Postotak učenika

Ispod osnovne razine postignuća 508 13,32%

Osnovna razina postignuća 1892 49,60%

Srednja razina postignuća 1186 31,10%

Napredna razina postignuća 229 6,01%

Iz Tablice 2.8. razvidno je kako se većina učenika nalazi na „osnovnoj“ ili „srednjoj razini postignuća“. Manji se postotak učenika nalazi u „naprednoj razini postignuća“ (6,01%), dok se „ispod osnovne razine postignuća“ nalazi 13,32% učenika.


57


2.4.4. PRIKAZ POSTIGNUĆA UČENIKA NA ISPITU S OBZIROM NA NEKE DEMOGRAFSKE I ŠKOLSKE POKAZATELJE

Kako bi se karakteristike uspjeha učenika na ispitu iz Hrvatskoga jezika dodatno ispitale, provedene su analize koje daju odgovore na pitanja vezana uz razlike među učenicima s obzirom na neke demograf-ske i školske pokazatelje.

Razlike u uspješnosti s obzirom na spol

U kontekstu dodatnih prikaza uspjeha na ispitu iz Hrvatskoga jezika testirane su razlike između učeni-ka i učenica u uspjehu na ispitu iz Hrvatskoga jezika, odnosno u dobivenoj procjeni postignuća u obje skupine. U Tablici 2.9. prikazani su prosječni rezultati učenika i učenica na ispitu iz Hrvatskoga jezika.

Tablica 2.9. Razlike u uspješnosti s obzirom na spol u rezultatima na ispitu iz Hrvatskoga jezika – prosječni rezultat na ispitu i značajnost razlike

Broj učenika (N)

Postotak (%)

Aritmetička sredina (M)

Standardna devijacija (SD)

t-test

Učenice 2010 52,7 260,29 49,111 t=-13,733df=3813p<0,01

Učenici 1805 47,3 238,55 48,495

UKUPNO 3815 100

Iz tablice je razvidno kako je utvrđena statistički značajna razlika između učenika i učenica u rezultatima na ispitu iz Hrvatskoga jezika, pri čemu su učenice postigle u prosjeku više rezultate od učenika. Prosječ-ni rezultati i učenika i učenica nalaze se u kategoriji „osnovne razine postignuća“ učenika.

Razlike u uspješnosti s obzirom na regiju

S obzirom na regionalni položaj škole koju učenici pohađaju analizirani su njihovi rezultati odnosno procijenjene sposobnosti. U Tablici 2.10. nalaze se prosječni rezultati učenika na ispitu iz Hrvatskoga jezika u Sjeverozapadnoj Hrvatskoj, Središnjoj i Istočnoj (Panonskoj) Hrvatskoj te Jadranskoj Hrvatskoj.22

22 Regije su definirane prema Nacionalnoj klasifikaciji prostornih jedinica za statistiku (NKPJS), Narodne novine, br. 35/2007, zbog veće adekvatnosti za analize.


58


Tablica 2.10. Razlike u uspješnosti s obzirom na regiju u rezultatima na ispitu iz Hrvatskoga jezika – prosječni rezultat na ispitu i značajnost razlike

Broj učenika (N)

Postotak (%)



ANOVA

1Sjeverozapadna Hrvatska

1386 36,3 258,72 49,232F=50,518,

p<0,05,(Scheffe 1≠2,

1≠ 3, 2≠3)

2Središnja i Istočna (Panonska) Hrvatska

1217 31,9 239,27 47,720

3 Jadranska Hrvatska 1212 31,8 250,80 51,124

UKUPNO 3815 100

Iz tablice je vidljivo kako postoje statistički značajne razlike u uspjehu učenika s obzirom na regiju iz koje dolaze. Učenici iz Sjeverozapadne Hrvatske postigli su statistički značajno više rezultate na ispitu iz Hrvatskoga jezika od učenika iz Središnje i Istočne (Panonske) Hrvatske kao i iz Jadranske Hrvatske. Učenici iz Jadranske Hrvatske postigli su statistički značajno više rezultate na ispitu iz Hrvatskoga jezika od učenika iz Središnje i Istočne (Panonske) Hrvatske. Prosječni rezultati učenika iz svih triju regija se nalaze u kategoriji „osnovne razine postignuća“ učenika.

Odnos rezultata na ispitu iz Hrvatskoga jezika i općega uspjeha u 7. razredu

U Tablicama 2.11. i 2.12. prikazani su prosječni rezultati na ispitu iz Hrvatskoga jezika za učenike koji su imali različit opći uspjeh u 7. razredu te različite ocjene iz Hrvatskoga jezika u 7. razredu. Također, izračunate su i rang-korelacije rezultata učenika na ispitu s općim uspjehom i ocjenama iz Hrvatskoga jezika. Vrijednosti ovih rang-korelacija su srednje visoke te je rang-korelacija s ocjenom iz Hrvatskoga jezika neznatno viša od rang-korelacije s općim uspjehom.

Tablica 2.11. Prosječni rezultati na ispitu iz Hrvatskoga jezika i opći uspjeh u 7. razredu

Broj učenika (N)

Postotak (%)

Aritmetička sredina (M


Spearmanov ρ

Dovoljan (2) 27 0,7 179,11 25,92

,698p<0,01

Dobar (3) 923 24,2 203,35 32,23

Vrlo dobar (4) 1451 38,0 242,24 35,39

Odličan (5) 1412 37,0 289,93 39,96

UKUPNO 3813 99,9

Nedostaju podatci 2 0,1


59


Provedenom analizom među kategorijama ocjena općega uspjeha u 7. razredu s obzirom na postignut rezultat na ispitu dobivene su statistički značajne razlike među svim kategorijama. Iz rezultata je vidljivo da s porastom ocjene iz Hrvatskoga jezika raste i prosječan rezultat učenika što je dodatno potvrđeno korelacijskom analizom. Gledano prema kategorizaciji na osnovu predodređenih pragova prosječni re-zultat kategorije ocjene dovoljan nalazi se u kategoriji „ispod osnovne razine postignuća“, rezultat ka-tegorija dobar i vrlo dobar nalaze se u kategoriji „osnovne razine postignuća“, dok se prosječni rezultati kategorije ocjene odličan nalazi u kategoriji „srednje razine postignuća“.

Tablica 2.12. Prosječni rezultati na ispitu iz Hrvatskoga jezika i ocjene iz Hrvatskoga jezika u 7. razredu

Broj učenika (N)

Postotak (%)

Aritmetička sredina (M


Spearmanov ρ

Dovoljan (2) 678 17,8 198,77 30,661

,702p<0,01

Dobar (3) 990 26,0 228,74 34,914

Vrlo dobar (4) 1096 28,7 257,24 35,641

Odličan (5) 1040 27,3 296,74 40,344

UKUPNO 3815 99,7


Iz rezultata je vidljivo da s porastom ocjene iz Hrvatskoga jezika raste i prosječan rezultat učenika što je dodatno potvrđeno korelacijskom analizom. Učenici koji su iz Hrvatskoga jezika imali ocjenu dovoljan, dobar i vrlo dobar na ispitu su postigli rezultate koji se nalaze na „osnovnoj razini postignuća“. Učenici koji su imali ocjenu odličan iz Hrvatskoga jezika su na ispitu postigli rezultate koji su u kategoriji „srednje razine postignuća“.

2.4.5. REZULTATI ISPITIVANJA VJEŠTINE PISANJA KRATKOGA SASTAVKA

Ispit iz Hrvatskoga jezika sastojao se od dva dijela: prvim se dijelom ispitivalo znanje i vještina čitanja s razumijevanjem, a drugim se dijelom ispitivala vještina pisanja kratkoga sastavka na dvije zadane teme. Ispitne inačice prvoga dijela ispita prošle su OCR obradu, no kratki sastavci drugoga dijela ispita zahtije-vali su, prema razrađenoj ljestvici, ocjenjivanje od strane nastavnika.

Sastavke iz Hrvatskoga jezika pisalo je ukupno 3815 učenika. Otprilike pola tih sastavaka pripadali su jednoj temi, a pola drugoj temi. S obzirom na postojeće resurse Centra, odlučeno je da će se ocijeniti manji uzorak sastavka (oko 10% sastavaka svake teme) i da će sastavke ocijeniti članice skupine za raz-voj ispita.


60


Za ocjenjivanje kratkih sastavaka iz Hrvatskoga jezika odabran je slučajan uzorak od 400 sastavaka stra-tificiran prema županijskoj raspodjeli, odnosno 200 sastavaka za svaku od dvije zadane teme (dva ra-zličita zadatka). Uzorci 200 učenika čiji su sastavci odabrani u uzorak međusobno se ne razlikuju po uspješnosti na ostatku ispita (N1,2=194; M1=250,74;SD1=54,97; M2=249,49; SD2=52,81; t=0,228; df=386; p=,819).

Ocjenjivanje se provelo za svaku temu posebno prema rasporedu u Tablici 2.13.

Tablica 2.13. Ocjenjivanje kratkih sastavaka iz Hrvatskoga jezika

Tema OcjenjivanjeDatumi

Prva temaDvostruko ocjenjivanje 28. – 30. 10. 2014.

Treće ocjenjivanje 13. 11. 2014.

Druga temaDvostruko ocjenjivanje 13. i 14. 11. 2014.


Ocjenjivačice su prije ocjenjivanja sastavaka pojedine teme prošle edukaciju u kojoj su pregledavale zadatak, ljestvicu za ocjenjivanje i već ocijenjene sastavke.23 Ocjenjivačice su individualno ocijenile 16 sastavaka za svaku temu. Nakon ocjenjivanja svakoga sastavka prikazane su ocjene i obrazloženja ocje-na te se raspravljalo o razlozima za pojedinu ocjenu. Na takav su način usuglašavani kriteriji za ocjenji-vanje sastavaka.

Nakon edukacije započelo je ocjenjivanje uzorka kratkih sastavaka. Svaki sastavak je ocijenilo dvoje ocjenjivača prema unaprijed definiranim ljestvicama za ocjenjivanje. Ljestvice za ocjenjivanje bile su podijeljene u 4 kriterija: sadržaj, kompozicija, stil, gramatika i pravopis. Unutar svakoga kriterija dodje-ljivane su ocjene od 1 do 5 prema jasno definiranim opisivačima za svaku ocjenu, gdje je viša ocjena predstavljala i bolji rezultat. U slučajevima praznih listova za odgovore, promašene teme zadatka, vul-garnosti u tekstu, nevezanoga teksta ili nečitkoga rukopisa dodjeljivani su posebni kôdovi.

Nakon prva dva ocjenjivanja, a u slučaju neslaganja ocjenjivačica, sastavci su išli na treće ocjenjivanje. Kao kriterij neslaganja ocjenjivača za treće ocjenjivanje određena je razlika prosjeka svih ocjena do-mena veća od 1, različita procjena posebnih kôdova ili u slučaju da je jedan od ocjenjivača dodijelio poseban kôd dok je drugi ocijenio sastavak. Nakon trećega ocjenjivanja kao rezultat je uziman prosjek svih ocjenjivanja, dok je u slučaju da je u trećemu ocjenjivanju dodijeljen poseban kôd taj kôd uzet kao konačan rezultat sastavka.

U sastavcima teme 1 i teme 2 ocijenjeno je oko 95% sastavaka dok je za 5% sastavaka dodijeljen pose-ban kôd. Kategorije posebnog kôda unutar daljnjih analiza tretirale su se zasebno od ocjenjenih ispita

23 Članice skupine za razvoj ispita su zajedno s predmetnom koordinatoricom 2013. godine napravile materijale za edukaciju ocjenjivača, temeljem pregleda sastavaka koji su probno ispitani. Za potrebe edukacije ocijenjeni su kratki sastavci i napisana obrazloženja za svaku ocjenu (prema ljestvici za ocjenjivanje).


61


čime je omogućena dodatna usporedba tema. S obzirom na relativno mali uzorak nije se koristila ana-liza Teorije odgovora na zadatak.

Analiza zadataka kratkih sastavaka – usporedba tema

U analizama koje slijede teme će se uspoređivati kroz dvije grupe s obzirom jesu li sastavci ocijenjeni ili im je dodijeljen poseban kôd.

Zastupljenost pojedinih vrsta posebnih kôdova unutar pojedine teme prikazani su u Grafičkome prikazu 2.4. i Tablici 2.14.

Grafički prikaz 2.4. Postotak posebnih kôdova dodijeljenih sastavcima unutar pojedine teme

Tablica 2.14. Broj posebnih kôdova dodijeljenih sastavcima unutar pojedine teme

Prazan list Promašena

temaNečitko Vulgarnost

Nevezani tekst

Ukupno

Tema 1 2 3 3 1 1 10

Tema 2 0 5 1 1 1 8

U temi 2 među posebnim kôdovima najzastupljenija je promašena tema sastavka, dok je u temi 1 uz promašenu temu sastavka u jednakoj mjeri zastupljen i nečitak rukopis. Prazan list prisutan je samo kod teme 1, a ostali kôdovi sastavaka podjednaki su u obje teme. Zbog niske frekvencije zastupljenosti kôdova u sastavcima nisu rađene analize značajnosti razlika.


62


Raspodjele prosječnih ocjena ocijenjenih sastavaka unutar pojedine teme prikazane su u Grafičkome prikazu 2.5., dok su u Tablici 2.15. prikazane prosječne ocjene i test značajnosti razlika.

Grafički prikaz 2.5. Raspodjele prosječnih ocjena ocijenjenih sastavaka unutar pojedine teme

Tablica 2.15. Prosječne ocjene ocijenjenih sastavaka i značajnosti razlike među temama

Broj sastavaka (N)



t-test

Tema 1 184 3,76 0,746 t=2,121df=369p=,035Tema 2 186 3,57 0,900

Raspodjele prosječnih ocjena ocijenjenih sastavaka u obje teme su vrlo slične i pomaknute prema višim vrijednostima. Nisu nađene statistički značajne razlike među prosječnim ocjenama sastavaka među temama na razini značajnosti od 1%, ali je razlika prisutna na razini značajnosti od 5%. Iz prosječnih rezultata možemo vidjeti da su učenici nešto bolje pisali sastavak na temu 1.

Uspjeh učenika na ostatku testa s obzirom na temu sastavka koju su pisali prikazan je u Tablici 2.16. kao i značajnost njihovih razlika s obzirom na kategorije ocijenjenosti sastavka. Zbog niske frekvencije zastupljenosti kôdova u sastavcima nisu rađene analize značajnosti razlika u uspjehu na ostatku testa prema kôdovima. Prikazan je prosječan uspjeh na ostatku testa jedino za kôdove koji imaju frekvenciju veću ili jednaku od 2. Ostali rezultati nisu prikazani s obzirom da jedan rezultat nema nikakvu informa-tivnost za tu skupinu.


63


Tablica 2.16. Uspjeh učenika na ostatku testa s obzirom na kategorije ocijenjenosti sastavka i značajnosti razlike među temama

TemaBroj

sastavaka (N)



t-test

Ocijenjeni sastavciTema 1 184 251,47 54,440 t=,038

df=368p=,322Tema 2 186 251,26 51,873

Neo

cije

njen

i sa

stav

ci

Promašena tema

Tema 1 3 194,87 33,415

Tema 2 5 235,71 62,296

Prazan list Tema 1 2 238,56 76,099

NečitkoTema 1 3 308,61 54,195

Tema 2 1 141,72

Uspjeh na ostatku testa podjednak je u svim kategorijama ocijenjenosti sastavaka i među njima nisu nađene statistički značajne razlike. Kôdove prazan list i promašena tema imali su očekivano učenici koji imaju slabija postignuća na ostatku ispita dok su kôdom nečitko označena 3 sastavka teme 1 s vrlo visokim uspjehom na ostatku ispita.

Korelacijskom analizom dobivene su podjednake i relativno visoke korelacije između ocjene sastavka i postignuća koja kod sastavaka teme 1 iznosi 0,391 te 0,479 kod sastavaka teme 2 (Kendall’s Tau-b, p=,000).

Rezultat uspješnosti učenika na zadatcima kratkih sastavaka

U daljnjim analizama uspješnosti učenika na oba zadatka kratkih sastavaka posebni kôdovi prazan list, nevezani tekst, vulgarnost i promašena tema tretirani su kao neriješen zadatak te im je dodijeljena naj-niža ocjena dok se poseban kôd nečitko potpuno izostavio iz analize.

Raspodjele konačnih prosječnih ocjena sastavaka unutar pojedine teme prikazane su u Grafičkome pri-kazu 2.6., dok su u Tablici 2.17. prikazane konačne prosječne ocjene i test značajnosti razlika.


64


Grafički prikaz 2.6. Raspodjele konačnih prosječnih ocjena sastavaka unutar pojedine teme

Tablica 2.17. Konačne prosječne ocjene sastavaka i značajnosti razlike među temama

Broj sastavaka (N)



t-test

Tema 1 192 3,60 1,049 t=-1,408df=384p=,160Tema 2 194 3,45 1,108

Raspodjele konačnih prosječnih ocjena u obje teme su vrlo slične te nije nađena statistički značajna razlika među temama u rezultatima na sastavku.


* * *

S obzirom na napravljene zasebne analize ocijenjenih sastavaka i sastavaka s posebnim kôdovima može se ustvrditi da su zadatci obje teme podjednaki u pogledu težine i korelacije s postignućem na ostatku ispita.

Analizom posebnih kôdova dobili smo podjednake rezultate kod obje teme, tj. prazan list i promašenu temu kod oba tematski različita zadatka imali su očekivano učenici koji imaju slabija postignuća na ostatku ispita.


65


Iako je u rezultatima sastavaka postojala razlika kada su se odvojeno tretirali sastavci označeni poseb-nim kôdovima, u ukupnim rezultatima u kojima su se posebni kôdovi tretirali kao neriješen zadatak nije dobivena statistički značajna razlika među temama.

S obzirom na navedeno mogli bismo zaključiti da je u budućnosti tijekom ocjenjivanja sastavke s poseb-nim kôdovima potrebno tretirati kao sve ostale sastavke, tj. oni ne bi trebali biti isključeni iz analiza jer se time povećava valjanost ispitivanja.


66


2.5. ZAKLJUČAK

U sklopu projekta Razvoj završnih ispita od 2011. godine do 2015. godine razvijeni su i provedeni stan-dardizirani ispiti iz Hrvatskoga jezika temeljem suvremenih pristupa ispitivanju znanja učenika. Primije-njene su nove procedure u razvoju ispita, u radu sa skupinama i drugim vanjskim suradnicima te u radu predmetnih i psihometrijskih stručnjaka iz Centra. Navedene promjene unaprijedile su sustav osigura-nja kvalitete u izradi ispitnoga materijala, a poseban doprinos razvoju ispita bila je i uporaba mrežnih aplikacija u različitim fazama izrade ispitnoga materijala.

Što se tiče razvijenoga ispita iz Hrvatskoga jezika u sklopu Projekta, možemo zaključiti kako konačan is-pit zadovoljava visoke metrijske i sadržajne standarde. Takvim standardiziranim ispitom može se garan-tirati dugogodišnje zadržavanje kvalitete objektivnoga ispitivanja znanja. Važan čimbenik takvoga ispita je i mogućnost unapređenja koje neće ugroziti stabilnost standardizacije kao osnove za longitudinalno praćenje rezultata uspješnosti učenika i nastavnoga procesa. Budući razvoj nužno bi trebao sadržavati i proširenje prilagodbe ispita na skupine učenika koje nisu bile uključene u faze razvoja uz nužne kontrole i prilagodbe standardizacije u postupku proširenja.


3. RAZVOJ STANDARDIZIRANIH ISPITA IZ ENGLESKOGA JEZIKA TE REZULTATI ISPITIVANJA

Tajana Lankaš, Natalija Ćurković, Zoran Žitnik, Marijana Vučić, Vanda Petanjek, Natalija Gjeri Robić


68


3.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ ENGLESKOGA JEZIKA IZMEĐU 2011. I 2015. GODINE

Cilj projekta Razvoj završnih ispita bio je razviti model i postupke testiranja prema suvremenim pristu-pima ispitivanju znanja, odnosno izraditi i analizirati ispite prema modelu Teorije odgovora na zadatak (eng. Item Response Theory24). Kako bi se ostvario navedeni cilj, ključna aktivnost Projekta bila je razvoj i provedba ispita prema međunarodnim standardima ispitivanja znanja učenika. Jedan od četiri ispita koji se razvijao i proveo u sklopu Projekta bio je ispit iz nastavnoga predmeta Engleski jezik. S obzirom na raspoložive resurse Projekta i Centra, odlučeno je da će se ispitivanja provesti na uzorku učenika osmih razreda u uzorkovanim osnovnim školama iz čitave Hrvatske.

Cilj ispita iz Engleskoga jezika bio je procijeniti razine usvojenih znanja odnosno postignuća učenika osmih razreda osnovnih škola. Iz tog se razloga ispit temeljio na sadržajima i ishodima Nastavnoga plana i programa za osnovnu školu za predmet Engleski jezik (2006.). Između 2011. i 2015. godine provedene su brojne aktivnosti vezane uz razvoj ispita iz Engleskoga jezika koje su rezultirale razvojem i provedbom standardiziranih ispita iz Engleskoga jezika temeljem metodologije suvremene teorije te-stova (Tablica 3.1.). Nakon provedenoga ispitivanja ispiti su analizirani te su procijenjene razine znanja učenika osmih razreda iz Engleskoga jezika. Stoga su ciljevi Projekta vezani uz razvoj ispita iz Engleskoga jezika u potpunosti ostvareni.

Tablica 3.1. Aktivnosti razvoja standardiziranoga ispita iz Engleskoga jezika od listopada 2011. do kraja 2014. godine

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ ENGLESKOGA JEZIKA VRIJEME







Izrada uzorka škola i učenika te priprema za probno ispitivanje studeni 2012. – ožujak 2013.




rujan 2013.–prosinac 2014.


Izrada uzorka škola i učenika te priprema za glavno ispitivanje listopad 2013. – ožujak 2014.



69

RAZVOJ STANDARDIZIRANIH ISPITA IZ ENGLESKOGA JEZIKA TE REZULTATI ISPITIVANJA

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ ENGLESKOGA JEZIKA VRIJEME




Provedba ocjenjivanja uzorka kratkih sastavaka i prikaz rezultata ispitivanja vještine pisanja kratkoga sastavka



70


3.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ ENGLESKOGA JEZIKA

U razvoju ispita iz Engleskoga jezika sudjelovali su sadržajni i psihometrijski stručnjaci iz Centra, kon-zultant Projekta, nastavnici Engleskoga jezika okupljeni u skupini za razvoj ispita iz Engleskoga jezika, autori ispitnih zadataka, stručni recenzenti ispitnih zadataka te skupina koja je sudjelovala u proceduri određivanja pragova postignuća učenika. U različitim aktivnostima razvoja ispita iz Engleskoga jezika sudjelovalo je oko 60 osoba.

Djelatnici/vanjski suradnici Centra koji su sudjelovali u razvoju ispita iz Engleskoga jezika od 2011. do 2015. godine:

• Marijana Vučić, Vanda Petanjek – predmetne koordinatorice: koordinacija rada skupine za razvoj ispita, vodstvo skupine u razvoju ispitnih specifikacija, sadržajnim recenzijama i doradama ispit-nih zadataka, u izradi opisivača razina postignuća učenika, u izradi primjera zadataka za priručnik; sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, provjere probnih otisaka ispita, unos lekture i korekture ispita/zadataka, sudjelovanje u edukacijama/sastancima s konzultan-tom, sudjelovanje u pripremi ljestvica za ocjenjivanje zadataka otvorenoga tipa, sudjelovanje u pripremi edukacije za ocjenjivače.

• Tajana Lankaš (od lipnja 2012. do siječnja 2013.) – psihometrijska koordinatorica: sudjelovanje u razvoju ispitnih specifikacija, metodološka recenzija ispitnih zadataka, izrada ispitnih inačica za probno i glavno ispitivanje, psihometrijske analize ispita nakon probnoga ispitivanja, prikaz i interpretacija rezultata probnoga ispitivanja, sudjelovanje u pripremi ljestvica za ocjenjivanje zadataka otvorenoga tipa, sudjelovanje u edukacijama/sastancima s konzultantom.

• Martina Prpić (od rujna 2012. do rujna 2013.) – predmetna koordinatorica: sudjelovanje u koor-dinaciji rada skupine za razvoj ispita, u sadržajnim provjerama ispitnih inačica za probno ispiti-vanje, u provjeri probnih otisaka ispita; unos lekture i korekture ispita/zadataka, sudjelovanje u pripremi edukacije za ocjenjivače, sudjelovanje u edukacijama/sastancima s konzultantom.

• Natalija Ćurković (listopad 2011. – lipanj 2012.; od prosinca 2013.) – psihometrijska koordina-torica: sudjelovanje u razvoju ispitnih specifikacija, psihometrijske analize ispita nakon glavnoga ispitivanja, prikaz i interpretacija rezultata glavnoga ispitivanja, sudjelovanje u edukacijama/sa-stancima s konzultantom.

• Zoran Žitnik – koordinator Projekta: priprema tablice proširenoga nacrta ispita, izrada uzorka škola i učenika za probno i glavno ispitivanje, priprema podataka za psihometrijske analize ispita, priprema izvješća za učenike prema dobivenim rezultatima, unos lekture i korekture ispita/za-dataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, priprema programa za niveliranje ispitnih ina-čica, sudjelovanje u edukacijama/sastancima s konzultantom, priprema uzorka kratkih sastavaka za ocjenjivanje, obrada i prikaz rezultata ispitivanja kratkih sastavaka.

• Natalija Gjeri Robić – voditeljica Projekta: definiranje kriterija za izradu i recenzije zadataka, pri-prema priručnika, procedura i uputa vezano uz razvoj ispita te za korištenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka; nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, organizacija edukacija/sastanaka s konzultantom, organizacija i provedba ocjenjivanja kratkih sastavaka.


71


Konzultant Projekta

U razvoju standardiziranih ispita iz Engleskoga jezika sudjelovao je konzultant Projekta g. Eduardo Cas-callar koji je održao niz predavanja i radionica u vezi razvoja ispita prema Teoriji odgovora na zadatak te u vezi psihometrijskih analiza ispita. U provedbi radionica postavljanja pragova za razine postignuća učenika 2012. godine, konzultantu je pomagala i suradnica Assessment Group International, gđa Eva Kyndt. Održani sastanci i edukacije prikazani su u poglavlju 1.2.1.

Skupina za razvoj ispita iz Engleskoga jezika

Skupina za razvoj ispita sudjelovala je u razvoju ispita iz Engleskoga jezika od studenoga 2011. do pro-sinca 2014. godine. Članice skupine bile su osnovnoškolske nastavnice Engleskoga jezika: Suzana Anić Antić (OŠ Brezovica, Zagreb), Dubravka Despot (OŠ Vrbani, Zagreb), Ela Ivanić (OŠ Veliko Trgovišće, Veli-ko Trgovišće), Katarina Reicher (OŠ Špansko Oranice, Zagreb), Dajana Vukadin (OŠ Sveta Klara, Zagreb).

Zadaće članica skupine za razvoj ispita iz Engleskoga jezika bile su: izrada ispitnih specifikacija, sadržajne recenzije i dorade ispitnih zadataka, sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, izrada opisivača razina postignuća učenika, izrada primjera zadataka za priručnik, izrada zadataka otvo-renoga tipa te ljestvica za ocjenjivanje zadataka otvorenoga tipa, priprema edukacije za ocjenjivače, sudjelovanje u ocjenjivanju uzorka kratkih sastavaka. Članice skupine sudjelovale su u edukacijama koje su bile organizirane u sklopu Projekta.


Autori ispitnih zadataka izrađivali su tijekom 2012. godine ispitne zadatke prema sadržajnoj strukturi i nacrtu ispita (putem mrežne aplikacije), a prema propisanim uputama i kriterijima za izradu zadataka višestrukoga izbora.

Ispitne zadatke iz Engleskoga jezika izrađivalo je 37 autora iz svih dijelova Republike Hrvatske: Ajlin An-dreis Sarun (II. gimnazija, Split), Katarina Androlić (OŠ Vukovina, Vukovina), Zorka Bebić Tokić (OŠ Krune Krstića, Zadar), Lidija Branilović (OŠ dr. Ivana Novaka, Macinec), Anita Damjanović (OŠ Sesvetski Kra-ljevec, Sesvetski Kraljevec), Mirna Dejanović (OŠ Mate Lovraka, Petrinja), Silvije Devald (OŠ Vladimira Nazora, Daruvar), Milena Gilić (V. gimnazija, Zagreb), Marina Hadžiomerović (OŠ Medvedgrad, Zagreb), Anita Husnjak (OŠ grofa Janka Draškovića, Klenovnik), Nikolina Janc (OŠ „Šećerana“, Beli Manastir), Dragana Jukić (OŠ Stjepana Antolovića, Privlaka), Ljiljana Kolar Franješ (OŠ Čazma, Čazma), Jelena Korov Ježić (OŠ „Matija Gubec“, Magadenovac), Tamara Kramarić Maras (Ministarstvo obrane, Hrvatsko vojno učilište Petar Zrinski, Zagreb), Božica Krpes-Pregun (OŠ Grabrik, Karlovac), Anita Kuduz (Prva riječka hrvatska gimnazija, Rijeka), Vlatka Lelas (OŠ Ivana Cankara, Zagreb), Sandra Ljubljanović (OŠ Andrije Ka-čića Miošića, Donja Voća), Marijana Martinović (OŠ Brodarica, Brodarica), Marijana Matorić (OŠ „Antun Gustav Matoš“, Vinkovci), Doris Mazija (OŠ Supetar, Supetar), Ambretta Medelin (OŠ Bernardo Benussi, Rovinj), Irena Mičetić (OŠ „Vežica“, Rijeka), Alemka Mihalić Hubak (OŠ Marija Bistrica, Marija Bistrica), Maja Mlinarić (Gimnazija Petra Preradovića, Osijek), Ivanka Novak (II. osnovna škola Čakovec, Čakovec), Amela Ojdanić (OŠ Turnić, Rijeka), Snježana Pavić (OŠ Popovača), Denis Plavetić (OŠ Grabrik, Karlovac), Helena Popović (OŠ Josipa Kozarca, Slatina), Sanja Simić (OŠ Milana Šorga, Oprtalj), Lejla Skalnik (OŠ braće Radić, Pakrac), Alenka Taslak (OŠ Dore Pejačević Našice, Našice), Suzana Valentić (OŠ Stjepana Cvrkovića, Stari Mikanovci), Jasna Vidmar (OŠ „ Dr. Stjepan Ilijašević“, Oriovac), Sanja Ždralović (Gimna-zija Antuna Gustava Matoša, Zabok).


72



U lipnju/srpnju 2012. godine odabrani su stručnjaci za sadržaj iz Engleskoga jezika sa zadatkom da naprave završnu, stručnu (sadržajnu) recenziju zadataka prema propisanim kriterijima. Recenzentice zadataka iz Engleskoga jezika bile su dr. sc. Vesna Bagarić Medve (Filozofski fakultet, Osijek) i dr. sc. Vlatka Ivić (Filozofski fakultet, Osijek).

Nastavnici Engleskoga jezika koji su sudjelovali u postavljanju pragova za razine postignuća

U postavljanju pragova za razine postignuća 2012. godine sudjelovalo je devet nastavnica Engleskoga jezika: Marija Čubranić (OŠ Smokvica, Smokvica), Branka Lamza (II. osnovna škola Čakovec, Čakovec), Marina Mandić (OŠ Orebić, Orebić), Dunja Mijović (OŠ Popovača, Popovača), Ljerka Miletić (OŠ Brezovi-ca, Brezovica), Alenka Miljević (OŠ Braće Radić, Donji Muć), Jasenka Poljak (OŠ Prelog, Prelog), Danijela Šajtar (OŠ Čazma, Čazma), Vesna Tantegl (OŠ Bartola Kašića, Zagreb).

Njihove zadaće bile su: revizija opisivača razina postignuća učenika te procjena težina zadataka za prob-no ispitivanje za svaku opisanu razinu postignuća učenika.


73




Prva aktivnost razvoja ispita iz Engleskoga jezika bila je izrada ispitnih specifikacija koje su izrađene kao temelj za standardizaciju ispita iz Engleskoga jezika. Ispitne specifikacije izrađuju se u odnosu na cilj ispita te definiraju sadržaj ispitivanja te način ispitivanja toga sadržaja.




• od proširenoga nacrta ispita kojim se specificira raspodjela ishoda učenja prema težini i razinama misaonoga procesa radi narudžbe ispitnih zadataka.

S obzirom na to da je cilj ispita iz Engleskoga jezika bio procijeniti razine znanja učenika osmih razreda iz Engleskoga jezika, sadržajna struktura ispita izrađena je prema sadržajima i ishodima Nastavnoga plana i programa za osnovne škole za predmet Engleski jezik kao prvi strani jezik (2006.). S obzirom na činje-nicu da su ispitivanja planirana za mjesec ožujak, u ispitnu specifikaciju nisu ušli sadržaji drugoga polu-godišta osmoga razreda nego sadržaji i ishodi programa od petoga razreda do kraja prvoga polugodišta osmoga razreda. U sadržajnoj strukturi ispita nastavni su sadržaji razrađeni u četiri razine specifičnosti: područje, podpodručje, sadržaj podpodručja, zaključno s ishodom učenja.

U listopadu 2011. godine napravljena je skica sadržajne strukture ispita temeljem koje je skupina za razvoj ispita nastavila rad na izradi struktura ispita. Održana je trodnevna radionica u kojoj su sudjelo-vali skupina za razvoj ispita, predmetne i psihometrijske koordinatorice te je pod vodstvom konzultanta Projekta napravljena prva verzija sadržajne strukture ispita. Radionice su provedene od 7. do 9. 11. 2011., a zadnji je dan napravljen i nacrt ispita kojim se specificirala zastupljenost svakoga područja i podpodručja u ispitu, vrste i broj zadataka koji će se ispitati u svakome području i podpodručju te vrije-me potrebno za rješavanje pojedinoga područja/podpodručja.

Sadržajne strukture ispita dovršene su tijekom sastanaka koordinatora sa skupinom za razvoj ispita u drugoj polovini studenoga 2011. godine.

Ispit iz Engleskoga jezika sastojao se od dva dijela. Prvim se dijelom ispitivalo nastavno gradivo En-gleskoga jezika u tri područja: gramatika, vokabular i vještina čitanja s razumijevanjem, a drugim se dijelom ispitivala vještina pisanja kratkoga sastavka. Sadržaj područja prvoga dijela ispita dodatno je razrađen u 11 podpodručja (Tablica 3.2.).


74


Tablica 3.2. Sadržajna područja i podpodručja koja su ispitana prvim dijelom ispita iz Engleskoga jezika


1. Grammatical elements

1.1. Verbs

1.2. Adjectives and adverbs

1.3. Articles, nouns, pronouns and prepositions

1.4. Sentence structure and word formation

2. Vocabulary

2.1. Me, my family and friends

2.2. Free time

2.3. World around us

2.4. Being teen

2.5. Across cultures

3. Reading comprehension3.1. Reading for specific information

3.2. Reading for general information

Za svaki je predmet bilo potrebno naručiti veći broj zadataka koji su predviđeni nacrtom ispita kako bi se probno ispitao što veći broj zadataka. Cilj koji je trebalo postići je da u glavnome ispitivanju preosta-ne dovoljan broj zadataka dobrih metrijskih karakteristika za dvije forme ispita, a to se može vidjeti tek nakon psihometrijskih analiza rezultata probnoga ispitivanja. U glavnome ispitivanju trebaju se koristiti probno ispitani zadatci najboljih metrijskih karakteristika. Stoga je napravljen prošireni nacrt ispita s većim brojem zadataka za narudžbu iz svakoga podpodručja, odnosno područja, s obzirom na postojeći nacrt ispita. Ti su zadatci zatim raspoređeni prema tri razine težine i tri razine složenosti misaonoga procesa koji je potreban za rješavanje pojedinoga zadatka. Prošireni nacrt ispita iz Engleskoga jezika izrađivan je na sastancima s konzultantom 12. i 13. 12. 2011., a u njemu su sudjelovali predmetni i psi-hometrijski koordinatori, predstavnica skupine za razvoj ispita te voditeljica Projekta.

Početni nacrti ispita revidirani su zajedno s proširenim nacrtima ispita na sastancima predmetnih i psi-hometrijskih koordinatorica sa skupinom za razvoj ispita u siječnju 2012. godine. Prošireni nacrt ispita prošao je zadnju recenziju na sastanku koordinatora i skupine za razvoj ispita s konzultantom i voditelji-com Projekta 28. 1. 2012. godine. Nacrtom je definirano da prvi dio ispita iz Engleskoga jezika sadrži 42 zadatka višestrukoga izbora25 raspoređenih u sadržajna područja i podpodručja. Svaki zadatak kojim se ispitivala vještina čitanja s razumijevanjem sastojao se od tri zadatka vezana uz isti polazni tekst, stoga je ukupan broj zadataka u ispitu 46. Osim zadataka zatvorenoga tipa, ispit također sadrži zadatak otvo-

25 U prvome dijelu ispita iz Engleskoga jezika unutar Projekta korišteni su isključivo zadatci višestrukoga izbora. Isto tako, s obzirom na resurse Projekta, ispitom su ispitane samo dvije jezične vještine: čitanje i pisanje. Uzimajući u obzir povratni utjecaj koji ispiti imaju na nastavu, u budućim (sustavnim) ispitivanjima preporuča se uporaba i određenoga broja zadataka otvorenoga tipa te ispitivanje svih jezičnih vještina prema Zajedničkom europskom referentnom okviru za jezike.


75


renoga tipa kojim će se ispitati vještina pisanja kratkoga sastavka. Prema broju i zahtjevnosti zadataka, određeno je vrijeme trajanja prvoga dijela ispita od 60 minuta te još dodatnih 20 minuta za pisanje kratkoga sastavka u drugome dijelu ispita.

Prema proširenome nacrtu ispita od autora ispitnih zadataka bilo je potrebno naručiti najmanje 600 zadataka prema ishodima učenja pojedinih podpodručja. Razlog narudžbe tako velikoga broja zadataka bila je pretpostavka da neće svi zadatci dobiti pozitivnu recenziju, a za probno ispitivanje je bilo potreb-no imati oko 300 zadataka koji se trebaju rasporediti u veći broj ispitnih inačica.

* * *




Broj zadataka koji se trebao naručiti iz svakoga područja i podpodručja po ishodima učenja definiran je proširenim nacrtom ispita. Procijenjena je potreba za narudžbom i izradom najmanje 600 zadataka. S obzirom na veliki broj zadataka koji se trebao naručiti i izraditi u kratkome vremenu, te s obzirom na složen sustav provjere kvalitete i dorade zadataka putem recenzija, bilo je potrebno napraviti aplikaciju koja bi podržala te aktivnosti. Stoga je sinergijom projekata Razvoj banke zadataka i Razvoj završnih ispita od siječnja do ožujka 2012. razvijena aplikacija za narudžbu, izradu i recenzije zadataka. U bazu/aplikaciju inkorporirani su prošireni nacrti ispita iz Engleskoga jezika, odnosno sadržaji i ishodi prema kojima će se zadatci naručivati. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje apli-kacije u ožujku 2012. godine nakon čega je započela narudžba i izrada zadataka.


Autori su putem mrežne aplikacije zaprimali narudžbu za izradu zadataka, unosili i slali zadatke te imali uvid u status recenzije zadataka koje su poslali. Za autore je u ožujku 2012. godine pripremljen Priručnik za izradu i recenzije zadataka višestrukoga izbora iz Engleskoga jezika. Priručnik obuhvaća opis i način izrade zadataka višestrukoga izbora, kriterije za izradu i procjenu kvalitete zadataka te primjere zadata-ka različitih težina i razina složenosti misaonih procesa. Za autore su, osim Priručnika izrađene i Upute za izradu i slanje zadataka putem mrežne aplikacije. Autorima je kroz cijelo vrijeme izrade zadataka bila pružena tehnička i stručna podrška, a za te su potrebe bili izrađeni i dokumenti Pogreške u izradi zada-taka i daljnje upute i Često postavljena pitanja koji su poslani autorima.

Od autora je prikupljeno 676 ispitnih zadataka, a mrežna aplikacija pokazala se iznimno uspješnom u narudžbi, izradi i prikupljanju velikoga broja zadataka od većega broja autora u vrlo kratkome vremen-skom razdoblju. Zadatci otvorenoga tipa kojima se ispitivala vještina pisanja kratkoga sastavka nisu bili


76


naručeni od autora ispitnih zadataka, nego su ih izradile članice skupine za razvoj ispita. Izrađeno je ukupno osam takvih zadataka za probno ispitivanje.



• sadržajnu

• metodološku


Recenzije ispitnih zadataka rađene su prema kriterijima za recenzije ispitnih zadataka koje su defini-rane Priručnikom za izradu i recenzije ispitnih zadataka. S obzirom na veliki broj zadataka koje je bilo potrebno recenzirati te na složene postupke recenzija bilo je potrebno napraviti i mrežnu aplikaciju za recenziju zadataka. Stoga se nakon narudžbe zadataka, u travnju 2012. nastavilo raditi na mrežnoj aplikaciji za recenzije zadataka te su procedure i kriteriji za recenzije postale sastavni dio mrežne apli-kacije. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje aplikacije u svibnju 2012. nakon čega su započele recenzije zadataka. Osim Priručnika, za potrebe recenzija zadataka napisane su Procedure i upute za recenzije zadataka.

Sadržajne recenzije zadataka započele su 21. 5. 2012., a za sadržajnu recenziju zadataka bile su odgo-vorne predmetne koordinatorice zajedno sa skupinom za razvoj ispita. Od svibnja do kraja rujna 2012. održana su 22 sastanka predmetnih koordinatorica s članicama skupine na kojima su zadatci recenzirani te prema potrebi dorađivani. Zadatci koji su dobili negativnu recenziju vraćeni su putem aplikacije au-torima ispitnih zadataka uz obrazloženje odbijanja.

Od svibnja do kraja listopada 2012. godine odvijali su se paralelni procesi izrade zadataka, sadržajne i metodološke recenzije i završne sadržajne recenzije zadataka. Metodološke recenzije zadataka zapo-čele su 25. 5. 2012. nakon pozitivne sadržajne recenzije, a zadatci su također mogli biti prihvaćeni ili odbijeni. U srpnju 2012. održani su sastanci predmetnih koordinatorica i psihometrijske koordinatorice na kojima su revidirani zadatci koji su zbog stručnih i metodoloških razloga smatrani upitnima. U srpnju 2012. godine naručeno je dodatnih 130 zadataka kako bi se osigurao dovoljan broj zadataka u svim di-jelovima sadržajne strukture ispita (s obzirom na broj zadataka koji su dobili negativnu recenziju). Novi zadatci također su prošli sadržajnu i metodološku recenziju.

Od srpnja do sredine listopada 2012. trajale su završne recenzije zadataka koje su neovisno napravile dvije sadržajne stručnjakinje, što znači da je svaki zadatak prošao dodatnu dvostruku provjeru. Re-cenzije zadataka vršile su se unutar mrežne aplikacije prema Uputama za završnu recenziju zadataka. Recenzentice su u srpnju 2012. dobile pristupne podatke za rad u aplikaciji čime su mogle započeti s recenzijama. Recenzenticama je kroz cijelo vrijeme recenzija zadataka bila pružana tehnička i stručna podrška. Oni zadatci koji su dobili negativnu recenziju ili prijedlog za doradom od jedne ili obje recen-zentice bili su još jednom pregledani od koordinatora. Takvi zadatci mogli su biti dorađeni prema upu-tama recenzentica, ili odbijeni.


77


U listopadu 2012. završen je proces recenzija zadataka kada je prikupljen dovoljan broj kvalitetnih za-dataka za probno ispitivanje, a prema specifikacijama u sadržajnim strukturama i nacrtima ispita. Broj prihvaćenih zadataka nakon treće recenzije bio je 358. U sljedećoj tablici vidljivi su konačni podatci vezani uz proces izrade i recenzija zadataka.

Tablica 3.3. Podatci o broju naručenih, izrađenih i recenziranih zadataka

PredmetBroj

naručenih zadataka


Broj zadataka recenziranih

u prvoj recenziji


u drugoj recenziji


Broj prihvaćenih


recenzije

Engleski jezik

676 676 676 379 362 358


Nakon završnih recenzija zadataka, moglo se pristupiti i samoj provedbi radionice određivanja pragova za razine postignuća učenika. U Projektu su korištene tri razine postignuća učenika za koje je trebalo odrediti pragove prolaznosti. To su osnovna, srednja i napredna razina postignuća učenika.

Postavljanje pragova za ispite iz Engleskoga jezika provedeno je na četverodnevnim radionicama izme-đu 30. 10. i 3. 11. 2012. godine, a u postavljanju pragova je sudjelovala skupina od devet nastavnika Engleskoga jezika odabrana putem Javnoga poziva u listopadu 2012. godine. Radionicu je vodila asi-stentica konzultanta Projekta uz pomoć konzultanta, psihometrijskoga koordinatora i voditeljice Projek-ta, a radionici su prisustvovale i predmetne koordinatorice. Na radionicama su prvo revidirani opisivači razina postignuća učenika koje je u ožujku/travnju 2012. godine izradila skupina za razvoj ispita. Zatim su procijenjene težine svakoga zadatka za tri razine postignuća te su u dva kruga određeni preliminarni pragovi prolaznosti za svaku razinu.

Procijenjene težine zadataka korištene su u izradi paralelnih ispitnih inačica za probno ispitivanje, a dobiveni pragovi za razine postignuća revidirani su temeljem psihometrijske analize nakon probnoga ispitivanja zadataka 2013. godine (vidjeti poglavlje 3.3.6.).


78



Ispitne inačice izrađene su prema dogovorenome nacrtu ispitnih inačica. Prema nacrtu, ispit je podije-ljen u 16 ispitnih inačica u kojima je bilo podjednako raspoređeno 280 ispitnih zadataka, prema sadržaj-noj strukturi/nacrtu ispita te težini zadataka. Svaka inačica sadržavala je po 42 zadataka. Svi su zadatci višestrukoga izbora s time da zadatci koji ispituju čitanje s razumijevanjem predstavljaju grozdove od tri zadatka vezana za polazni sadržaj. Zadatak kojim se ispituje vještina pisanja kratkoga sastavka bio je izdvojen u zasebnu ispitnu knjižicu.

Svaka inačica sastavljena je od dva bloka zadataka (svaki blok ponavlja se u dvije ispitne inačice), od sidrišnih zadataka (koji se ponavljaju u svakoj ispitnoj inačici) te od dva zadatka kojima se ispituje čita-nje s razumijevanjem (isti zadatak pojavljuje se u dvije ispitne inačice). Kako se svaki blok nalazi u dvije ispitne inačice formirano je ukupno 16 blokova. Sve inačice i svaki blok u najvećoj su mogućoj mjeri reprezenti nacrta ispita, odnosno opterećenja područja sadržajne strukture predmeta Engleski jezik u osnovnoj školi. Učenici su uz svaku ispitnu inačicu dobili i jedan zadatak kojim se ispitivala vještina pisa-nja kratkoga sastavka. Isti se zadatak (tema) nalazio u dvije ispitne inačice te je takvim načinom probno ispitano osam zadataka otvorenoga tipa.

Za potrebe slaganja i niveliranja ispitnih inačica preko dodjele zadataka u blokove izrađena je Excel bazirana aplikacija. Putem nje je omogućena jednostavna kontrola niveliranja početnih verzija inačica prema nizu parametara dobivenih na radionicama postavljanja pragova za razine postignuća te prema nacrtu ispita, kao i promjene i redefiniranje blokova nakon sadržajnih provjera. Unificirani izlazni set podataka prilagođen je za jednostavnu komunikaciju između ove aplikacije i sistema u kojem su pohra-njeni zadatci26 putem kojega su se prema izlaznim parametrima aplikacije za slaganje ispitnih inačica raspoređivali zadatci u finalne verzije ispitnih inačica. Prilikom ujednačavanja ispitnih inačica vodila se briga i o ujednačenosti vremena koje je potrebno za rješavanje svake inačice.

Krajem studenoga 2012. napravljeno je 16 ispitnih inačica od strane psihometrijske koordinatorice koje su generirane pomoću aplikacije (iz banke zadataka), a prema gore opisanim specifikacijama. Izrađe-ne ispitne inačice prošle su dvije sadržajne provjere, odnosno provjere preklapanja sadržaja zadataka unutar svake inačice. Nakon prve provjere od strane predmetnih koordinatorica slijedila je korekcija ispitnih inačica od strane psihometrijske koordinatorice. Članice skupine za razvoj ispita su, zajedno s predmetnim koordinatoricama napravile završnu sadržajnu provjeru ispitnih inačica. Nakon te provjere i unesenih korekcija, početkom prosinca 2012. ispitne su inačice pripremljene za grafičko oblikovanje.


Prema nacrtu ispita, za probno ispitivanje bilo je odabrano 280 zadataka iz Engleskoga jezika koji su ras-poređeni u 16 povezanih ispitnih inačica. Kako bi bili zadovoljeni statistički preduvjeti za korištenje dvo-parametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt ispita, svaku ispitnu inačicu treba rješavati najmanje 300 učenika što znači da ispite treba pisati najmanje oko 4800 učenika. Stoga je uzorak rađen s obzirom na nacrt ispita te na potrebe psihometrijskih analiza unutar modela Teorije odgovora na zadatak.27

26 Aplikacija za izradu i recenzije zadataka.27 Detaljnije informacije o uzorkovanju u sklopu Projekta vidjeti u poglavlju 1.2.7.


79


Za sudjelovanje u probnome ispitivanju preliminarno su odabrane 302 škole i 7426 učenika za pisa-nje ispita iz Engleskoga jezika. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja suglasnosti roditelja/skrbnika ispit je trebalo pisati 5964 učenika iz 275 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Engleskoga jezika na probnome ispitivanju bio je 5549, što je bio dovoljan broj učenika za potrebe planiranih psihometrijskih analiza.


Probno ispitivanje provedeno je između 4. i 8. ožujka 2013. godine. Nakon povrata ispitnih materijala iz škola i provjere podataka ustanovljeno je da je ispite iz Engleskoga jezika pisalo ukupno 5549 učenika u 300 osnovnih škola.

Nakon skeniranja ispita i optičkoga čitanja odgovora učenika slijedile su psihometrijske analize ispita. S obzirom na novi način analiziranja, potporu u analizi i kriterijima pružio je konzultant na sastancima s psihometrijskim koordinatorima koji su se održali između 6. i 10. 5. 2013.

Tijekom ovih radionica psihometrijski koordinatori su prošli postupak konkurentne kalibracije zadataka na rezultatima iz Engleskoga jezika koji su dobiveni na probnome ispitivanju. Kalibracija se provodila ko-rištenjem Parscale programa u okviru Teorije odgovora na zadatak. Na temelju dogovorenoga postupka provedene su analize iz svih predmeta pa tako i iz Engleskoga jezika.

Prvo je napravljena preliminarna psihometrijska analiza ispita kako bi učenici koji su sudjelovali u ispiti-vanju mogli dobiti povratnu informaciju o svome uspjehu na ispitu. U prvome koraku dobiveni rezultati analizirani su u okviru Klasične teorije testova uz pomoć programa TiaPlus kako bi se dobili podatci o diskriminativnosti i funkcioniranju ometača (distraktora/netočnih odgovora) svakoga pojedinog zadat-ka. Zadatci koji su imali negativnu diskriminativnost i/ili nefunkcionalne ometače su izbačeni iz daljnjih analiza. U sljedećemu koraku provedena je konkurentna kalibracija zadataka u sklopu Teorije odgovora na zadatak za ispit u cjelini. Temeljem dobivenih rezultata analize iz daljnje obrade su isključeni zadatci koji nisu zadovoljavali osnovne kriterije diskriminativnosti i težine. Sljedeći korak je bio napraviti skali-ranje rezultata po pojedinim ispitnim inačicama kako bi se dobili precizniji podatci o uspjehu za svakoga učenika.

Nakon finalizacije preliminarne analize sve ispitne inačice su međusobno nivelirane na zajedničku skalu od 100 do 400 bodova, s aritmetičkom sredinom od 250 i standardnom devijacijom od 50. Na skali su prikazane razine znanja učenika te rezultat svakoga učenika koji je pristupio ispitivanju. Rezultati za po-jedinoga učenika bili su pripremljeni krajem svibnja 2013. godine, nakon čega se moglo pristupiti izradi izvješća za učenike. Izvješća s povratnim informacijama učenicima koji su pisali ispit iz Engleskoga jezika poslane su školama u lipnju 2013. godine.28

Za daljnje analize, odnosno za daljnji odabir zadataka korišteni su stroži kriteriji težine i diskriminativ-nosti zadataka kako bi se odabrali najkvalitetniji zadatci za izradu ispitnih inačica za glavno ispitivanje.



80


Stručnu potporu psihometrijskim koordinatorima u daljnjim analizama ponovno je pružio konzultant na radionici koja se održala između 10. i 14. 6. 2013. Radionice su započele s predstavljanjem prelimi-narnih analiza i rezultata dobivenih za izvještavanje učenika. Nakon svake prezentacije raspravljalo se o dobivenim rezultatima te o planu za daljnje analize. Do kraja radionice psihometrijski koordinatori proš-li su postupak daljnje psihometrijske analize ispita prema strožim kriterijima u računalnim programima Parscale i TiaPlus. Isto je tako dogovorena procedura određivanja finalnih pragova za razine postignuća učenika.

Nakon radionice napravljene su podrobne psihometrijske analize ispita i ispitnih zadataka iz Engleskoga jezika te su određeni pragovi za razine postignuća. Kriteriji za analizu i selekciju zadataka za glavno ispi-tivanje bili su stupanj diskriminativnosti zadatka, težina zadatka te funkcionalnost ometača kao dodatni kriterij. Prelagani i/ili preteški zadatci, zadatci koji nisu dovoljno diskriminativni te zadatci s nefunkcio-nalnim ometačima isključeni su iz daljnjih analiza. Tako je nakon primjene strožega kriterija za analizu u programu Parscale i nakon analize ometača, preostalo 205 kvalitetnih zadatka, tj. oko 73% od ukupnoga broja probno ispitanih zadataka.

Nakon provedenih analiza moglo se pristupiti određivanju finalnih pragova za razine postignuća učeni-ka. Pri određivanju finalnih pragova korišteni su rezultati postavljanja pragova za razine postignuća koje je provedeno na radionici u studenome 2012. godine te rezultati dobiveni nakon psihometrijske analize probnoga ispitivanja. Kako bi u sklopu trećega kruga procedure određivanja pragova procjenjivači pro-cjenjivali samo one zadatke koji su preostali nakon postupka eliminacije temeljem prethodno opisanih kriterija, iz procedure su isključeni svi zadatci koji nisu bili probno ispitani, kao i oni izbačeni nakon analiza. Uzimajući u obzir i Beukovu korekciju dobiven je podatak o postotku riješenosti ispita koji su nastavnici Engleskoga jezika na radionicama odredili za ulazak u pojedinu kategoriju prema znanju iz Engleskoga jezika. Tako su za ulazak u kategoriju „osnovna razina postignuća“ odredili 34,53% točno riješenih zadataka, za kategoriju „srednja razina postignuća“ 60,08% te za kategoriju „napredna razina postignuća“ 80,26%.

Kako bi uz mišljenje odnosno rezultat skupine nastavnika Engleskoga jezika na radionici postavljanja pragova u obzir bila uzeta i teorijska raspodjela, učinjena je korekcija. Najprije je izračunata razlika između postignuća potrebnih za pojedini prag (eng. cut-point) određenih na temelju rezultata postav-ljanja pragova na radionici i onih teorijski utemeljenih na pretpostavci normalne raspodjele. Zatim je procjena dobivena na radionici postavljanja pragova pomaknuta za polovicu te razlike. Tako dobiveni pragovi za razine postignuća, kao i pogreške mjerenja, prikazane su u Tablici 3.4.


81




Prag postignuća učenika (radionica




(nakon korekcije)Pogreška mjerenja

1. osnovna razina 203,59 175 189,29 11,85

2. srednja razina 280,24 250 265,12 14,68

3. napredna razina 340,78 325 332,89 27,52

Psihometrijski koordinatori predstavili su preliminarne rezultate probnoga ispitivanja predmetnim ko-ordinatorima na zajedničkome sastanku s konzultantom održanome 13. 6. 2013. na kojemu je također predstavljen daljnji plan analiza ispita i izrade inačica za glavno ispitivanje.


82




Nakon provedenih preliminarnih psihometrijskih analiza ispita, eliminacije zadataka sa slabim metrij-skim karakteristikama, finalizacije analize ispita i određivanja pragova prolaznosti, pristupilo se izradi ispitnih formi odnosno inačica. Nacrt ispitnih inačica za glavno ispitivanje određivao se s obzirom na broj preostalih zadataka s dobrim metrijskim karakteristikama u pojedinim područjima/podpodručjima prema sadržajnoj strukturi i nacrtu ispita. Kao što je prikazano u prethodnome poglavlju, preostalo je 205 zadataka koji sadržajno pokrivaju sva područja prema početnome nacrtu ispita te zadovoljavaju ostale kvantitativne kriterije.

Između 9. i 13. 9. 2013. održani su sastanci psihometrijskih koordinatora svih predmeta i voditeljice Projekta s konzultantom kako bi se definirao nacrt ispitnih inačica za glavno ispitivanje. Psihometrijski su koordinatori predstavili način provedbe analiza ispita i rezultate provedenih analiza. Nakon toga je započela rasprava i dogovor o nacrtu ispitnih inačica na temelju rezultata provedenih analiza. Dogovo-reno je da će u glavnome ispitivanju zadatci biti raspodijeljeni u dvije osnovne ispitne forme (forma A i B), a zadovoljavajući strukturu predviđenu nacrtom ispita. Kako je učenicima na probnome ispitivanju za rješavanje ispita trebalo znatno manje vremena za rješavanje ispita od predviđenoga, dobiven je prostor za povećanje broja zadataka u glavnome ispitivanju. Stoga je broj zadataka u jednoj inačici po-većan na 52, zadovoljavajući strukturu predviđenu ispitnom specifikacijom.

Temeljem broja preostalih zadataka konstruirane su dvije forme ispita: A i B. Svaka forma sadrži 20 sidrišnih zadataka koji se nalaze u obje forme te po 32 zadatka jedinstvenih u svakoj formi. Prilikom odabira zadataka za glavno ispitivanje vodilo se računa o sadržajnome području koji zadatak pokriva, diskriminativnosti zadataka, kvaliteti ometača te težini zadataka odnosno „regiji“ u kojoj se zadatak nalazi (položaj zadatka na bodovnoj skali). Ovim načinom odabira zadataka osim sadržajne pokrivenosti dobivene su visoko međusobno usklađene forme ispita, odnosno komplementarne forme ispita prema krivuljama informativnosti na bodovnoj skali postignuća (Tablica 3.5.).

Tablica 3.5. Usporedba formi A i B prema informativnosti zadataka


Suma informativnosti zadataka 70,244 70,242 0,002


1,351 1,351 0,000


83


Važno je istaknuti da se u probnome ispitivanju pokazalo da se većina zadataka nalazi u području veće-ga postignuća, odnosno da je većina zadataka lakša pa je na taj način za glavno ispitivanje bilo nemogu-će naći dovoljan broj teških zadataka kako bi ispit pokrivao cijeli raspon postignuća.

Na sastancima s konzultantom raspravljena je mogućnost probnoga ispitivanja novih zadataka unutar glavnoga ispitivanja kako bi se „banka zadataka“ mogla puniti zadatcima provjerenih metrijskih karak-teristika. Stoga je odlučeno unutar glavnoga ispitivanja probno ispitati i određeni broj zadataka koji se ne bi bodovali u konačnome rezultatu. Za probno ispitivanje je odabrano ukupno 48 novih zadataka koji su bili raspodijeljeni kroz 6 inačica (3 inačice koje su uklopljene u formu A i 3 koje su uklopljene u formu B). Dakle, svaku inačicu sačinjava 52 zadataka za glavno ispitivanje i 8 zadataka za probno ispitivanje (Grafički prikaz 3.1.). Novi zadatci birani su prema sadržajnome području, vodeći računa i o postotku „prolaska“ zadatka iz pojedinoga područja do finalne analize, te prema procijenjenoj težini na radioni-cama postavljanja pragova za razine postignuća, pri čemu su birani oni teži. Zadatci koji se probno ispi-tuju nisu predviđeni za izračun rezultata učenika odnosno sume ispita te time ne utječu na raspodjelu prema sadržajnim područjima kao niti na krivulje informativnosti.






















60 60 60 60 60 60

Budući da zbog organizacijskih i tehničkih razloga nije bilo moguće provesti ocjenjivanje zadataka otvo-renoga tipa (kratki sastavci) nakon probnoga ispitivanja, nisu dobiveni parametri tih zadataka nužni za odabir za glavno ispitivanje. Odlučeno je da će u glavnome ispitivanju biti ispitivana dva zadatka, odno-sno dvije teme (jedna za svaku formu) koje skupina za razvoj ispita procjeni kao najbolje, vodeći pritom računa o ujednačenosti zahtjeva u tim zadatcima. Kako ne postoje parametri za te zadatke iz probnoga ispitivanja, ti zadatci neće se koristiti u formiranju konačnoga rezultata na glavnome ispitivanju, već će se ponovno tretirati kao predtest. Na probnome ispitivanju pokazalo se da je učenicima potrebno više vremena za pisanje kratkoga sastavka te je iz toga razloga vrijeme za pisanje kratkoga sastavka poveća-no na 30 minuta.


84


Psihometrijski koordinatori su konzultantu na sastancima održanima između 21. i 25. 10. 2013. pred-stavili izrađene forme ispita te pripadajuće statističke i psihometrijske parametre. Konzultant je iskazao zadovoljstvo provedenim analizama i ujednačavanjem formi ispita. Zaključak provedenih konzultacija bio je da su forme ispita iz Engleskoga jezika standardizirane, odnosno ujednačene prema sadržaju, težini i informativnosti te spremne za glavno ispitivanje.


Prema nacrtu ispita, svaka od dvije forme ispita sastojala se od 20 zadataka koji su zajednički svakoj inačici te 32 jedinstvena zadatka. S obzirom na potrebu za probnim ispitivanjem novih zadataka svaka je forma podijeljena u tri inačice kojima se dodaju jedinstveni zadatci za probno ispitivanje. Time je dobiveno šest inačica ispita koje sadrže jedinstvene zadatke za probno ispitivanje. Kako bi se zadovoljili statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt inačica, svaku ispitnu inačicu treba rješavati najmanje 600 učenika, što znači da ispite treba pisati najmanje 3600 uče-nika. Stoga je uzorak rađen s obzirom na nacrt ispita te na potrebe za psihometrijskim analizama unutar modela Teorije odgovora na zadatak.29

Za sudjelovanje u glavnome ispitivanju preliminarno je odabrano 208 škola i 5268 učenika za pisanje ispita iz Engleskoga jezika. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja su-glasnosti roditelja/skrbnika ispit je trebalo pisati 4010 učenika iz 206 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Engleskoga jezika bio je 3823 učenika, što je bio dovoljan broj učenika za potrebe planiranih psihometrijskih analiza.



Ispit iz Engleskoga jezika pisalo je 3823 učenika, od čega je 1913 učenika rješavalo formu A, a 1910 for-mu B. U Tablici 3.6. prikazan je broj učenika koji su pisali pojedine forme i inačice ispita.



85


Tablica 3.6. Broj učenika koji su pisali pojedine forme i inačice ispita iz Engleskoga jezika

A1 A2 A3Ukupno

AB1 B2 B3

Ukupno B

Sveukupno

Broj učenika

640 635 638 1913 637 640 633 1910 3823

Postotak učenika

16,7% 16,6% 16,69% 50,04% 16,66% 16,74% 16,56% 49,96%

Konkurentna analiza u okviru Teorije odgovora na zadatak provedena je u računalnome programu Pars-cale. Kako je ranije navedeno, u analizi nisu korišteni zadatci koji su u glavnome ispitivanju probno ispi-tani. Analiza je provedena na svim preostalim zadatcima (52 zadatka unutar inačice).

Rezultati su također obrađeni u programu TiaPlus kako bi se ispitala valjanost zadataka, tj. njihova diskriminativnost i težina te provela analiza ometača. Dobiveni rezultati nisu ukazivali na postojanje zadataka kojima su znatnije narušeni navedeni parametri te koji bi se zbog neudovoljavanja postavlje-nim kriterijima trebali isključiti iz ukupnoga rezultata ili koje bi u budućnosti trebali izbjegavati. Štoviše, koeficijenti diskriminativnosti zadataka bili su vrlo visoki te su varirali između 0,31 i 0,76 pri čemu je prosječna vrijednost iznosila 0,56. Ako se uzme u obzir da se ovdje radi o zadatcima višestrukoga izbora koji obično postižu nešto niže vrijednosti ovih koeficijenata te se stoga sve vrijednosti veće od 0,30 sma-traju zadovoljavajućima, može se reći da su prema ovom kriteriju zadatci vrlo visoke kvalitete.

Na Grafičkome prikazu 3.2. prikazana je distribucija rezultata učeničkoga postignuća.

Grafički prikaz 3.2. Distribucija učeničkoga postignuća


86


Na grafičkome prikazu distribucije rezultata vidljivo je da oni prate oblik normalne distribucije, ali ipak je očito da se veći dio rezultata nalazi u području nižega postignuća, odnosno za većinu učenika ispit je bio nešto teži. Međutim, isto je tako vidljivo da ispit gotovo nikome nije bio izrazito lagan, ali niti izrazito težak, odnosno krajnjih vrijednosti postignuća vrlo je malo na obje strane distribucije.

Jedan od najvažnijih psihometrijskih kriterija bila je informativnost zadataka te se na Grafičkome prika-zu 3.3. nalazi prikaz njihove ukupne informativnosti.

Grafički prikaz 3.3. Ukupna informativnost zadataka

Krivulja informativnosti pokazuje da je informativnost ispita bila najveća u području postignuća od -2 do 0 pri čemu je njezin vrh u području postignuća -1. S obzirom da 0 predstavlja prosječne vrijednosti, a negativne vrijednosti niže razine postignuća, očigledno je da je ispit najinformativniji u području slabije-ga postignuća. Nadalje, standardna pogreška je najveća u području između 2 i 3 što znači da se najveća pogreška pri procjeni znanja Engleskoga jezika na temelju ovoga ispita čini u području viših vrijednosti, odnosno kod učenika s izraženijim znanjem. Dakle, ovaj ispit nije diskriminativan za učenike visokoga postignuća te ih se na temelju ovoga ispita ne može pouzdano razlikovati.

Individualni rezultati učenika su prikazani na skali od 100 do 400 bodova koja je imala aritmetičku sre-dinu 250 i standardnu devijaciju 50. Pragovi prolaznosti korišteni na glavnome ispitivanju određeni su nakon probnoga ispitivanja zadataka te su oni prikazani u Tablici 3.7.


87



Razina postignuća učenikaPrag razine postignuća

učenikaPogreška mjerenja


2. srednja razina 265,12 14,68


Na temelju tih pragova postignuća izračunat je i postotak učenika koji su pripali pojedinoj kategoriji prema pokazanome znanju iz Engleskoga jezika, što je prikazano u Tablici 3.8.

Tablica 3.8. Postotak učenika u pojedinoj kategoriji određenoj na temelju određenih pragova postignuća


Ispod osnovne razine postignuća 515 13,5

Osnovna razina postignuća 1838 48,1

Srednja razina postignuća 1226 32,1

Napredna razina postignuća 244 6,4

Iz Tablice 3.8. razvidno je kako se većina učenika nalazi na „osnovnoj“ ili „srednjoj razini postignuća“. Manji se postotak učenika nalazi u „naprednoj razini postignuća“ (6,4%), dok se „ispod osnovne razine postignuća“ nalazi 13,5% učenika.


88



Kako bi se karakteristike uspjeha učenika na ispitu iz Engleskoga jezika dodatno ispitale, provedene su analize koje daju odgovore na pitanja vezana uz razlike među učenicima s obzirom na neke demograf-ske i školske pokazatelje.


Kao osnovna demografska varijabla uzeta je varijabla spola te su ispitane razlike u uspjehu na ispitu između učenica i učenika. U Tablici 3.9. nalaze se rezultati analiza.

Tablica 3.9. Razlike u uspješnosti s obzirom na spol u rezultatima na ispitu iz Engleskoga jezika – prosječni rezultat na ispitu i značajnost razlike

Broj učenika (N) Postotak (%)Aritmetička sredina (M)


t-test

Učenici 1882 49,3 247,9 50,84

t=-2,525df=3821p=0,012

Učenice 1937 50,7 252,0 49,11

UKUPNO 3823

Provedeni test pokazuje postojanje statistički značajne razlike između učenica i učenika. Razlika ukazuje na to da učenice nešto bolje rješavaju ispit od učenika. Iako je razlika statistički značajna, njeno prak-tično značenje nije veliko jer na ispitu koji ima raspon od 300 bodova, razlika između učenika i učenica iznosi 5 bodova. Stoga se može reći da su učenice i učenici gotovo jednaki u postignuću na ispitu. Gleda-no prema kategorizaciji na osnovu ranije određenih pragova postignuća, prosječni rezultat obje skupine nalaze se u kategoriji „osnovne razine postignuća“.

Razlike u uspješnosti s obzirom na geografsku regiju

Učenici su podijeljeni u tri grupe s obzirom na regionalni položaj škole koju pohađaju. To su sljedeće re-gije: Sjeverozapadna Hrvatska, Središnja i Istočna (Panonska) Hrvatska te Jadranska Hrvatska.30 U Tablici 3.10. nalaze se prikazani rezultati učenika s obzirom na regiju te rezultati statističkih testova.



89


Tablica 3.10. Razlike u uspješnosti s obzirom na regiju u rezultatima na ispitu iz Engleskoga jezika – prosječni rezultat na ispitu i značajnost razlike

RegijaBroj

učenika (N)

Postotak (%)



ANOVA


1359 35,6 259,15 50,037F(2, 3822)=74,061,p < 0,01

(Tamhane 1≠2, 2≠3,

1≠3)


1217 31,8 236,27 48,307


UKUPNO 3823

Iz Tablice 3.10. vidljivo je kako postoje statistički značajne razlike u uspjehu učenika s obzirom na regiju iz koje dolaze. Učenici iz Sjeverozapadne Hrvatske postižu statistički značajno bolje rezultate od učenika iz druge dvije regije, dok su učenici iz Jadranske regije bolji od onih iz Središnje i Istočne (Panonske) Hr-vatske. Dakle, učenici iz Sjeverozapadne Hrvatske postižu najbolje rezultate, zatim su učenici Jadranske Hrvatske pa potom učenici iz Središnje i Istočne (Panonske) Hrvatske. Dakle, najveća je razlika u posti-gnuću između učenika iz Sjeverozapadne i Središnje i Istočne (Panonske) Hrvatske.

S obzirom na pragove postignuća, prosječni rezultati sve tri skupine nalaze se u dijelu rezultata koji pri-padaju „osnovnoj razini postignuća“.

Odnos rezultata na ispitu iz Engleskoga jezika i školskoga uspjeha u 7. razredu

U Tablicama 3.11. i 3.12. prikazani su prosječni rezultati na ispitu iz Engleskoga jezika s obzirom na ocjene iz Engleskoga jezika te opći uspjeh u 7. razredu. Analizirane su značajnosti razlika uspješnosti na ispitu među kategorijama ocjena kao i rang-korelacije rezultata učenika na ispitu s ocjenama iz Engle-skoga jezika i općim uspjehom.

Rezultati u Tablici 3.11. ukazuju na to da se sve skupine učenika s obzirom na ocjenu međusobno razli-kuju u postignuću na ispitu i to na način da s porastom ocjene iz Engleskoga jezika raste i rezultat posti-gnuća na ispitu. Tome u prilog idu i rezultati korelacijske analize između ocjena iz Engleskoga i rezultata na ispitu (Spearman r=0,72, p<0,01) koji ukazuju na visoku, pozitivnu povezanost rezultata na ispitu i školskih ocjena iz Engleskoga jezika.


90


Tablica 3.11. Prosječni rezultati na ispitu iz Engleskoga jezika i ocjene iz Engleskoga jezika u 7. razredu

Broj učenika (N)

Postotak (%)



ANOVA / Spearman

Dovoljan (2) 661 17,3 193,46 25,745 F(3,3819)=1265,901, p <0,01

Tamahane: 2≠3, 2≠4, 2≠5, 3≠4, 3≠5,

4≠5

Spearman r=0,72, p<0,01

Dobar (3) 827 21,6 225,51 33,364

Vrlo dobar (4) 1005 26,3 254,26 37,488

Odličan (5) 1330 34,8 290,10 38,967

UKUPNO 3823

Usporede li se rezultati na ispitu s ranije određenim pragovima postignuća, rezultati učenika koji su u sedmome razredu imali ocjenu dovoljan, dobar i vrlo dobar spadaju u područje „osnovne razine posti-gnuća“. Učenici koji su imali ocjenu odličan u prosjeku pripadaju području „srednjega postignuća“ na ispitu iz Engleskoga jezika.

U Tablici 3.12. nalaze se rezultati ispita iz Engleskoga jezika s obzirom na prosječni uspjeh učenika na kraju 7. razreda.

Tablica 3.12. Prosječni rezultati na ispitu iz Engleskoga jezika i opći uspjeh u 7. razredu

Broj učenika (N)

Postotak (%)



ANOVA / Spearman ρ

Dovoljan (2) 23 0,5 188,28 23,110 F(3, 3815)=367,099

p<0,01

(Tamhane 2≠3, 2≠4, 2≠5, 3≠4, 3≠5, 4≠5)

Spearman ρ= 0,478p<0,01

Dobar (3) 805 21,1 215,07 42,943

Vrlo dobar (4) 1574 41,2 244,64 45,712

Odličan (5) 1417 37,1 276,85 42,999

UKUPNO 3819



91


Iz tablice se može uočiti da su razlike u postignuću na ispitu iz Engleskoga jezika s obzirom na opći uspjeh u 7. razredu statistički značajne te imaju isti smjer kao i kod ocjena iz Engleskoga jezika. Dakle, bolji opći uspjeh povezan je s boljim rezultatom na ispitu. Sve se skupine s obzirom na ocjene među-sobno razlikuju. Tako najviše rezultate na ispitu postižu oni koji su imali odličan opći uspjeh, a najslabije rezultate oni koji su imali dovoljan opći uspjeh. Nadalje, pogleda li se postignuće na ispitu s obzirom na ocjene u odnosu na ranije određene pragove postignuća, učenici s dovoljnim uspjehom nalaze se u području postignuća „ispod osnovne razine“. Učenici s dobrim i vrlo dobrim uspjehom nalaze se u po-dručju „osnovnoga postignuća“, a učenici s odličnim uspjehom u području „srednje razine postignuća“.

Dobivene korelacije između ocjene iz Engleskoga jezika kao i općega uspjeha u 7. razredu s uspjehom na ispitu su relativno visoke i značajne. Na Grafičkome prikazu 3.4. usporedno su prikazane povezanosti kategorija školskih ocjena i uspjeha na ispitu gdje je primjetan linearan porast rezultata na ispitu s po-rastom kategorije školskih ocjena. Povezanost između postignuća na ispitu i općega uspjeha (r=0,478) nešto je slabija u odnosu na povezanost ocjene iz Engleskoga jezika i postignuća na ispitu (r=0,715). Takav rezultat je očekivan i ukazuje na to da je ocjena iz Engleskoga jezika bolji prediktor uspjeha na ispitu od općega uspjeha.

Grafički prikaz 3.4. Povezanost školskih ocjena s uspjehom na ispitu

Prikazane distribucije ukazuju na to da se ocjene iz Engleskoga jezika relativno podjednako distribuiraju, ali ipak prevladavaju bolje ocjene. Tako ocjenu dovoljan ima 17% učenika, ocjenu dobar 22%, ocjenu vrlo dobar 26%, a ocjenu odličan 35%. Budući da vanjski kriterij poput primijenjenoga ispita iz Engle-skoga jezika pokazuje visoku povezanost s ocjenama, može se zaključiti da one prilično dobro repre-zentiraju znanje Engleskoga jezika. Međutim, ipak valja upozoriti na određenu diskrepanciju u području većih ocjena i rezultata na ispitu. Tako je dobiveno da učenici koji imaju ocjenu odličan u prosjeku nisu u području „napredne razine postignuća“, što bi se moglo očekivati, već u području „srednjega posti-gnuća“. Isto tako, učenici koji imaju ocjenu vrlo dobar u prosjeku postižu „osnovnu razinu postignuća“, jednako kao i učenici koji imaju ocjenu dobar. Iako se na temelju samo jednoga vanjskog kriterija poput primijenjenoga ispita ne mogu donositi dalekosežni zaključci, rezultati upućuju na to da među učenici-


92


ma koji imaju ocjene vrlo dobar i odličan očito ima dosta onih čije znanje Engleskoga jezika nije na razini tako visokih ocjena.

Dodatnim pregledom raspodjela općega uspjeha (Grafički prikaz 3.5.) primjetni su veliki odmaci od očekivanih normalnih distribucija (očekuje se manji broj učenika u kategorijama dovoljan i odličan, a veći u kategorijama dobar i vrlo dobar).

Grafički prikaz 3.5. Distribucije školskih ocjena

Distribucija rezultata općega uspjeha ukazuje na to da velika većina učenika, čak 78% njih, postiže vrlo dobar ili odličan uspjeh dok kategorija dovoljnoga općeg uspjeha gotovo da i ne postoji. Ovaj rezultat također je u skladu s ranije iznesenom tezom da tako visoke ocjene kod dijela učenika ne odgovaraju stvarnoj razini postignuća na vanjskim kriterijima. Ipak, da bi se sa sigurnošću moglo donositi zaključke potrebno je provesti dodatna ispitivanja.

3.4.5. REZULTATI ISPITIVANJA VJEŠTINE PISANJA KRATKOGA SASTAVKA

Ispit iz Engleskoga jezika sastojao se od dva dijela: prvim se dijelom ispitivala gramatika, vokabular i vještina čitanja s razumijevanjem, a drugim se dijelom ispitivala vještina pisanja kratkoga sastavka na dvije zadane teme. Ispitne inačice prvoga dijela ispita prošle su OCR obradu, no kratki sastavci drugoga dijela ispita zahtijevali su ocjenjivanje od strane nastavnika, prema razrađenoj ljestvici za ocjenjivanje.

Sastavke iz Engleskoga jezika pisalo je ukupno 3823 učenika. Otprilike pola tih sastavaka pripadali su jednoj temi, a pola drugoj temi. S obzirom na postojeće resurse Centra, odlučeno je da će se ocijeniti manji uzorak sastavka (oko 10% sastavaka svake teme) i da će sastavke ocijeniti članice skupine za raz-voj ispita.

Za ocjenjivanje kratkih sastavaka iz Engleskoga jezika odabran je slučajan uzorak od 400 sastavaka uče-nika stratificiran prema županijskoj raspodjeli, odnosno 200 sastavaka za svaku od dvije zadane teme


93


(dva različita zadatka). Uzorci 200 učenika čiji su sastavci odabrani u uzorak međusobno se ne razlikuju po uspješnosti na ostatku ispita (N1,2=200; M1=246,61; SD1=52,199; M2=252,36; SD2=50,554; t=-1,120; df=398; p=,263).

Ocjenjivanje se provelo za svaku temu posebno, u terminima prikazanima u Tablici 3.13.

Tablica 3.13. Organizacija ocjenjivanja uzorka sastavaka iz Engleskoga jezika

Tema OcjenjivanjeDatumi

Prva temaDvostruko ocjenjivanje 30. i 31. 10. 2014.


Druga temaDvostruko ocjenjivanje 11. i 12. 11. 2014.

Treće ocjenjivanje 19.11.2014.

Ocjenjivačice su prije ocjenjivanja sastavaka pojedine teme prošle edukaciju u kojoj su pregledava-le zadatak, ljestvicu za ocjenjivanje i već ocijenjene sastavke.31 Ocjenjivačice su individualno ocijenile 16 pripremljenih sastavaka za svaku temu. Nakon ocjenjivanja svakoga sastavka prikazane su ocjene i obrazloženja ocjena te se raspravljalo o razlozima za pojedinu ocjenu. Na takav su način usuglašavani kriteriji za ocjenjivanje sastavaka. Nakon edukacije započelo je ocjenjivanje uzorka kratkih sastavaka.

Svaki sastavak su ocijenile dvije ocjenjivačice prema unaprijed definiranim ljestvicama za ocjenjivanje. Ljestvice za ocjenjivanje bile su podijeljene u 4 kriterija: izvršenje zadataka (task completion), vokabular (vocabulary), gramatika (grammar) i organizacija ideja (organisation of ideas). Unutar svakoga kriterija dodjeljivane su ocjene od 1 do 5 prema jasno definiranim opisivačima za svaku ocjenu, a gdje je viša ocjena predstavljala i bolji rezultat. U slučajevima praznih listova za odgovore, promašene teme zadat-ka ili nečitkoga rukopisa dodjeljivani su posebni kôdovi.

Nakon prva dva ocjenjivanja, a u slučaju neslaganja ocjenjivačica, sastavci su išli na treće ocjenjiva-nje. Kao kriterij neslaganja ocjenjivača za treće ocjenjivanje određena je razlika prosjeka svih ocjena kriterija veća od 1, različita procjena posebnih kôdova ili u slučaju da je jedan od ocjenjivača dodijelio poseban kôd dok je drugi ocijenio sastavak. Nakon trećega ocjenjivanja kao rezultat je uziman prosjek svih ocjenjivanja, dok je u slučaju da je u trećemu ocjenjivanju dodijeljen poseban kôd, taj kôd uzet je kao konačan rezultat sastavka.

U sastavcima teme 1 ocijenjeno je 80% sastavaka dok je za 20% sastavaka dodijeljen poseban kôd (prazan list, promašena tema, nečitak rukopis). Kod teme 2 ocijenjeno je 89,5%, a kod 10,5% sastavaka dodijeljen je poseban kôd. S obzirom da se radi o prilično velikoj razlici ocijenjenih sastavaka među temama, podrobnije će se kontrolirati potencijalni izvori te razlike. Kategorije posebnoga kôda unutar

31 Članice skupine za razvoj ispita su zajedno s predmetnim koordinatoricama 2013. godine napravile materijale za edukaciju za ocjenjivače, temeljem pregleda sastavaka koji su prošli probno ispitivanje. Za potrebe edukacije ocijenjeni su kratki sastavci i napisana obrazloženja za svaku ocjenu (prema ljestvici za ocjenjivanje).


94


daljnjih analiza tretirale su se i zasebno od ocjenjenih ispita čime je omogućena dodatna usporedba tema. S obzirom na relativno mali uzorak nisu korištene analize Teorije odgovora na zadatak.

Analiza zadataka kratkih sastavaka – usporedba tema

U analizama koje slijede teme će se uspoređivati kroz dvije grupe s obzirom a to jesu li sastavci ocijenje-ni ili im je dodijeljen poseban kôd.

Zastupljenost pojedinih vrsta posebnih kôdova unutar pojedine teme prikazane su u Grafičkome prika-zu 3.6. i Tablici 3.14.

Grafički prikaz 3.6. Postotak pojedinih posebnih kôdova dodijeljenih sastavcima unutar pojedine teme

Tablica 3.14. Broj posebnih kôdova dodijeljenih sastavcima unutar pojedine teme

Prazan listPromašena

temaNečitko Ukupno

Tema 1 16 18 6 40

Tema 2 10 8 3 21


95


Među posebnim kôdovima u temi 1 najzastupljeniji se odnosi na promašenu temu sastavka dok se u temi 2 najzastupljeniji odnosi na prazan list. Postotci nečitkih sastavaka podjednaki su u obje teme. Nisu nađene statistički značajne razlike u zastupljenosti pojedine vrste posebnih kôdova među temama (χ2=,346, df=2, p=,841).

Raspodjele prosječnih ocjena ocijenjenih sastavaka unutar pojedine teme prikazane su u Grafičkome prikazu 3.7., dok su u Tablici 3.15. prikazane prosječne ocjene i test značajnosti razlika.

Grafički prikaz 3.7. Raspodjele prosječnih ocjena ocijenjenih sastavaka unutar pojedine teme

Tablica 3.15. Prosječne ocjene ocijenjenih sastavaka i značajnosti razlike među temama

Broj sastavaka (N)



t-test

Tema 1 160 3,73 0,987 t=-,369df=337p=,713Tema 2 179 3,77 0,994

Raspodjele prosječnih ocjena ocijenjenih sastavaka u obje teme su vrlo slične i pomaknute prema višim vrijednostima. Nisu nađene statistički značajne razlike među prosječnim ocjenama sastavaka među temama.

Uspješnosti učenika u postignuću na ostatku testa s obzirom na temu sastavka koji su pisali prikazane su u Tablici 3.16. kao i testa značajnosti razlika unutar pojedinih kategorija ocijenjenosti sastavka, odnosno posebnih kôdova.


96


Tablica 3.16. Uspješnosti učenika na ostatku testa s obzirom na kategorije ocijenjenosti sastavka i značajnosti razlike među temama

TemaBroj sastavaka

(N)Aritmetička sredina (M)


t-test

Ocijenjeni sastavciTema 1 160 257,99 48,655 t=-,071

df=337p=,944Tema 2 179 258,37 48,580

Poseban kôd

Prazan listTema 1 16 184,31 22,372 t=-1,212

df=24p=,237Tema 2 10 197,80 34,621

Promašena tema

Tema 1 18 206,22 42,999 t=,248df=24p=,806Tema 2 8 201,75 40,865

NečitkoTema 1 6 230,17 51,125 t=,557

df=7p=,595Tema 2 3 210,67 45,214

Uspješnosti učenika u postignuću na ostatku testa podjednake su u svim kategorijama ocijenjenosti sastavka i među njima nisu nađene statistički značajne razlike. Primjetno je da su učenici čiji su sastavci ocijenjeni posebnim kôdom postigli slabiju uspješnost na ostatku ispita za sve kategorije posebnoga kôda. Ocijenjeni sastavci unutar obje teme imaju statistički značajno veća prosječna postignuća na-spram sastavaka koji su unutar kategorija prazan list i promašene teme dok spram sastavaka kategorije nečitko nisu nađene statistički značajne razlike. Među kategorijama posebnoga kôda nisu nađene stati-stički značajne razlike u prosječnim postignućima.

Korelacijskom analizom dobivene su podjednake i relativno visoke korelacije između ocjene sastavka i postignuća na testu koja kod sastavaka teme 1 iznosi 0,63 te 0,64 kod sastavaka teme 2 (Kendall’s Tau-b, p=,000).

Rezultat uspješnosti učenika na zadatcima kratkih sastavaka

U daljnjim analizama uspješnosti učenika na oba zadatka kratkih sastavaka posebni kôdovi prazan list i promašena tema tretirani su kao neriješen zadatak te im je dodijeljena najniža ocjena dok se poseban kôd nečitko potpuno izostavio iz analize.

Raspodjele konačnih prosječnih ocjena sastavaka unutar pojedine teme prikazane su u Grafičkome pri-kazu 3.8., dok su u Tablici 3.17. prikazane konačne prosječne ocjene i test značajnosti razlika.


97


Grafički prikaz 3.8. Raspodjele konačnih prosječnih ocjena sastavaka unutar pojedine teme

Tablica 3.17. Konačne prosječne ocjene sastavaka i značajnosti razlike među temama

Broj sastavaka (N)



t-test

Tema 1 194 3,25 1,374 t=-2,003df=383,752

p=,046Tema 2 197 3,52 1,241

Raspodjele konačnih prosječnih ocjena u obje teme su vrlo slične uz razliku između tema kod prosječne ocjene 1 i s razmjernim pomakom prosjeka prema nešto višim vrijednostima kod teme 2. Nađena je sta-tistički značajna razlika (p<,05) među temama gdje učenici koji su pisali temu 2 postižu bolje rezultate.


* * *

S obzirom na napravljene zasebne analize ocijenjenih sastavaka i sastavaka s posebnim kôdovima može se ustvrditi da su zadatci obje teme podjednaki u pogledu težine i korelacije s postignućem na ostatku ispita. Analizom posebnih kôdova dobili smo također podjednake rezultate kod obje teme. Prazan list i promašenu temu kod oba tematski različita zadatka imali su očekivano učenici koji imaju slabija posti-gnuća na ostatku ispita i tu nisu nađene statistički značajne razlike među temama.


98


U ukupnim rezultatima dobivena je statistički značajna razlika među temama gdje zadatak kratkoga sastavka druge teme učenici nešto bolje rješavaju. Nepostojanje te razlike pri zasebnoj analizi samo oci-jenjenih sastavaka može upućivati da se radi o specifičnoj razlici među zadatcima koja ne upućuje toliko na razliku težine među zadatcima već na problem u samome razumijevanju zadatka. Tu pretpostavku potvrđuje nešto veći postotak sastavaka s promašenom temom kod zadatka teme 1. Uz navedeno, relativno visoka zastupljenost posebnoga kôda kod zadatka teme 1 (20%) upućuje na zaključak da je zadatak teme 1 potrebno detaljno sadržajno analizirati prije daljnje upotrebe u ispitima.

Zadatak kratkoga sastavka teme 2 pokazuje zadovoljavajuće karakteristike i svrstao bi se među lakše zadatke.


99


3.5. ZAKLJUČAK

U sklopu projekta Razvoj završnih ispita od 2011. godine do 2015. godine razvijeni su i provedeni stan-dardizirani ispiti iz Engleskoga jezika temeljem suvremenih pristupa ispitivanju znanja učenika. Primije-njene su nove procedure u razvoju ispita, u radu sa skupinama i drugim vanjskim suradnicima te u radu predmetnih i psihometrijskih stručnjaka iz Centra. Navedene promjene unaprijedile su sustav osigura-nja kvalitete u izradi ispitnoga materijala, a poseban doprinos razvoju ispita bila je i uporaba mrežnih aplikacija u različitim fazama izrade ispitnoga materijala.

Što se tiče razvijenoga ispita iz Engleskoga jezika u sklopu Projekta, možemo zaključiti kako konačan ispit zadovoljava visoke kako metrijske tako i sadržajne standarde. Takvim standardiziranim ispitom može se garantirati dugogodišnje zadržavanje kvalitete objektivnoga ispitivanja znanja. Važan čimbenik takvoga ispita je i mogućnost unapređenja koje neće ugroziti stabilnost standardizacije kao osnove za longitudinalno praćenje rezultata uspješnosti učenika i nastavnoga procesa. Budući razvoj nužno bi tre-bao sadržavati i proširenje prilagodbe ispita na skupine učenika koje nisu bile uključene u faze razvoja uz nužne kontrole i prilagodbe standardizacije u postupku proširenja.



4. RAZVOJ STANDARDIZIRANIH ISPITA IZ POVIJESTI TE REZULTATI ISPITIVANJA

Josip Šabić, Natalija Gjeri Robić, Irena Matoic, Mario Peranić, Zoran Žitnik


102


4.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ POVIJESTI IZMEĐU 2011. I 2015. GODINE

Cilj projekta Razvoj završnih ispita bio je razviti model i postupke testiranja prema suvremenim pristu-pima ispitivanju znanja, odnosno izraditi i analizirati ispite prema modelu Teorije odgovora na zadatak (eng. Item Response Theory32). Kako bi se ostvario navedeni cilj, ključna aktivnost Projekta bila je razvoj i provedba ispita prema međunarodnim standardima ispitivanja znanja učenika. Jedan od četiri ispita koji se razvijao i proveo u sklopu Projekta bio je ispit iz nastavnoga predmeta Povijest. S obzirom na raspoložive resurse Projekta i Centra, odlučeno je da će se ispitivanja provesti na uzorku učenika osmih razreda u uzorkovanim osnovnim školama iz čitave Hrvatske.

Cilj ispita iz Povijesti bio je procijeniti razine znanja odnosno postignuća učenika osmih razreda osnov-nih škola. Iz toga se razloga ispit temeljio na sadržajima i ishodima Nastavnoga plana i programa za osnovnu školu za predmet Povijest (2006.). Između 2011. i 2015. godine provedene su brojne aktivnosti vezane uz razvoj ispita iz Povijesti koje su rezultirale razvojem i provedbom standardiziranih ispita iz Po-vijesti temeljem metodologije suvremene teorije testova (Tablica 4.1.). Nakon provedenoga ispitivanja ispiti su analizirani te su procijenjene razine znanja učenika osmih razreda iz Povijesti. Stoga su ciljevi Projekta vezani uz razvoj ispita iz Povijesti u potpunosti ostvareni.

Tablica 4.1. Aktivnosti razvoja standardiziranog ispita iz Povijesti od listopada 2011. do kraja 2014. godine

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ POVIJESTI VRIJEME



Izrada ispitnih specifikacija: sadržajnih struktura i nacrta ispita listopad 2011. – veljača 2012.













103

RAZVOJ STANDARDIZIRANIH ISPITA IZ POVIJESTI TE REZULTATI ISPITIVANJA

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ POVIJESTI VRIJEME





104


4.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ POVIJESTI

U razvoju ispita iz Povijesti sudjelovali su sadržajni i psihometrijski stručnjaci iz Centra, konzultant Pro-jekta, nastavnici Povijesti okupljeni u skupini za razvoj ispita iz Povijesti, autori ispitnih zadataka, stručni recenzenti ispitnih zadataka te skupina koja je sudjelovala u proceduri određivanja pragova postignuća učenika. U različitim aktivnostima razvoja ispita iz Povijesti sudjelovalo je oko 60 osoba.

Djelatnici/vanjski suradnici Centra koji su sudjelovali u razvoju ispita iz Povijesti od 2011. do kraja 2014. godine:

• Mario Peranić i Irena Matoic – predmetni koordinatori: koordinacija rada skupine za razvoj ispita, vodstvo skupine u razvoju ispitnih specifikacija, sadržajnim recenzijama i doradama ispitnih za-dataka, u izradi opisivača razina postignuća učenika; sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, provjere probnih otisaka ispita, unos lekture i korekture ispita/zadataka, su-djelovanje u edukacijama/sastancima s konzultantom.

• Tajana Crnobrnja Miljković (ožujak 2012. – prosinac 2013.) – predmetna koordinatorica: sudjelo-vanje u koordinaciji rada skupine za razvoj ispita, vodstvo skupine u sadržajnim recenzijama i do-radama ispitnih zadataka; sadržajne provjere ispitnih inačica za probno ispitivanje; sudjelovanje u edukacijama/sastancima s konzultantom.

• Josip Šabić – psihometrijski koordinator: sudjelovanje u razvoju ispitnih specifikacija, metodološ-ka recenzija ispitnih zadataka, izrada ispitnih inačica za probno i glavno ispitivanje, psihometrij-ske analize ispita nakon probnoga i glavnoga ispitivanja, prikaz i interpretacija rezultata probnoga i glavnoga ispitivanja, sudjelovanje u edukacijama/sastancima s konzultantom.

• Zoran Žitnik – koordinator Projekta: priprema tablice proširenoga nacrta ispita, izrada uzorka škola i učenika za probno i glavno ispitivanje, priprema podataka za psihometrijske analize ispi-ta, priprema izvješća za učenike prema dobivenim rezultatima, unos lekture i korekture ispita/zadataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, nadzor izra-de aplikacije, tehnička podrška korisnicima aplikacija, priprema programa za niveliranje ispitnih inačica, sudjelovanje u edukacijama/sastancima s konzultantom.

• Natalija Gjeri Robić – voditeljica Projekta: definiranje kriterija za izradu i recenzije zadataka, pri-prema priručnika, procedura i uputa vezano uz razvoj ispita te za korištenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, organizacija edukacija/sastanaka s konzultantom.

Konzultant Projekta

U razvoju standardiziranih ispita iz Povijesti sudjelovao je konzultant Projekta g. Eduardo Cascallar koji je održao niz predavanja i radionica u vezi razvoja ispita prema Teoriji odgovora na zadatak te u vezi psihometrijskih analiza ispita. Održani sastanci i edukacije prikazani su u poglavlju 1.2.1.


105


Skupina za razvoj ispita iz Povijesti

Skupina za razvoj ispita sudjelovala je u razvoju ispita iz Povijesti od studenoga 2011. do studenog 2013. godine. Članovi skupine bili su osnovnoškolski nastavnici Povijesti: Marita Batinović (OŠ Antuna Gusta-va Matoša, Zagreb), Darko Benčić (OŠ Jabukovac, Zagreb), Anita Gambiraža-Knez (OŠ Silvija Strahimira Kranjčevića, Zagreb), Ana Komadina (OŠ Augusta Šenoe, Zagreb; OŠ Ljubljanica, Zagreb), Manuela Ku-jundžić (OŠ Popovača, Popovača).

Zadaće članova skupine za razvoj ispita iz Povijesti bile su: izrada ispitnih specifikacija, sadržajne recen-zije i dorade ispitnih zadataka, sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, izrada opisivača razina postignuća učenika, izrada primjera zadataka za Priručnik. Članovi skupina sudjelovali su u edukacijama koje su bile organizirane u sklopu Projekta.



Ispitne zadatke iz Povijesti izrađivalo je 33 nastavnika iz svih dijelova Hrvatske: Danijel Aladrović (OŠ „Ivan Mažuranić“ Sibinj, Sibinj), Sonja Bančić (OŠ Stoja, Pula), Tatjana Bednjanec (OŠ Grabrik, Karlovac), Kristina Bekavac (OŠ Franje Krežme, Osijek), Tomislav Bogdanović (OŠ „Vladimir Nazor“ Križevci, Križev-ci), Marija Borko (Gimnazija Josipa Slavenskog Čakovec, Čakovec), Mira Bučanović (OŠ „Vladimir Nazor“, Đakovo), Silvia Česnik Roce (OŠ Matije Vlačića, Labin), Hrvoje Drvenkar (Katolička klasična gimnazija s pravom javnosti u Virovitici, Virovitica; OŠ Ivana Gorana Kovačića Gornje Bazje, Lukač), Lidija Dumančić (IV. gimnazija, Zagreb), Biljana Forgač (II. osnovna škola Čakovec, Čakovec), Josipa Gračanin (OŠ Ivana Zajca Rijeka, Rijeka), Franjo Gudelj (OŠ Josipa Račića, Zagreb), Ivan Ilišević (OŠ Đuro Pilar, Slavonski Brod), Ivica Ivić (OŠ Šime Budinića, Zadar), Stjepan Lučki (OŠ sveti Petar Orehovec, Orehovec), Dinko Marin (OŠ Bartula Kašića, Zadar), Lidija Molnar (OŠ „Braća Radić“ Koprivnica, Koprivnica), Zdravko Pa-lavra (OŠ Vladimira Nazora Daruvar, Daruvar), Petar Perić (OŠ „Bijaći“, Kaštel Novi), Suzana Pešorda (Gimnazija Sesvete, Sesvete), Zrinka Racić (OŠ „Ivana Brlić Mažuranić“ Strizivojna, Strizivojna), Mario Racić (OŠ Josipa Antuna Ćolnića Đakovo, Đakovo), Sanja Rapljenović (OŠ Milana Langa, Bregana), Dejan Ristić (OŠ „Josip Kozarac“ Soljani, Soljani), Dragan Siluković (Gimnazija Požega, Požega), Dijana Skrbin Kovačić (I. osnovna škola Petrinja, Petrinja), Zdenko Skukan (III. gimnazija, Zagreb), Valentina Šakić (OŠ Ivana Kukuljevića, Sisak), Miroslav Šašić (Prirodoslovna škola Vladimira Preloga, Zagreb), Miljenko Še-stak (Gimnazija dr. Ivana Kranjčeva Đurđevac, Đurđevac), Krešimir Škugor (Medicinska i kemijska škola Šibenik, Šibenik), Lidija Vranar (OŠ „Antun Nemčić Gostovinski“ Koprivnica, Koprivnica).


U lipnju/srpnju 2012. godine odabrani su stručnjaci za sadržaj iz Povijesti sa zadatkom da naprave završ-nu, stručnu (sadržajnu) recenziju zadataka prema propisanim kriterijima. Recenzenti zadataka iz Povije-sti bili su dr. sc. Snježana Koren (Filozofski fakultet, Zagreb) i dr. sc. Ivan Botica (Staroslavenski institut, Zagreb).

Nastavnici Povijesti koji su sudjelovali u postavljanju pragova za razine postignuća

U postavljanju pragova za razine postignuća 2012. godine sudjelovalo je deset nastavnika Povijesti: Željka Čačić (OŠ „Milan Brozović“, Kastav), Milivoj Dretar (OŠ „Petar Zrinski“ Jalžabet, Jalžabet), Matija


106


Gosler (SŠ Marka Marulića Slatina, Slatina), Miljenko Hajdarović (OŠ „Petar Zrinski“ Šenkovec, Šenko-vec), Jasna Jakopović (OŠ Miroslava Krleže, Čepin), Igor Jovanović (OŠ Veli Vrh Pula, Pula), Ivana Jura-nović (OŠ „August Cesarec“ Ivankovo, Ivankovo), Igor Karin, Dejan Mijakovac (OŠ Ane Katarine Zrinski, Retkovci), Karmen Perković (OŠ Ivana Gorana Kovačića, Zagreb).

Njihove zadaće bile su: revizija opisivača razina postignuća učenika te procjena težina zadataka za prob-no ispitivanje, za svaku opisanu razinu postignuća učenika.


107




Prva aktivnost razvoja ispita iz Povijesti bila je izrada ispitnih specifikacija koje su izrađene kao temelj za standardizaciju ispita iz Povijesti. Ispitne specifikacije izrađuju se u odnosu na cilj ispita, a definiraju sadržaj ispitivanja te način ispitivanja toga sadržaja.




• od proširenoga nacrta ispita kojim se specificira raspodjela ishoda učenja prema težini i razinama misaonoga procesa, radi narudžbe ispitnih zadataka.

S obzirom na to da je cilj ispita iz Povijesti bio procijeniti razine znanja učenika osmih razreda iz Povije-sti, sadržajna struktura ispita izrađena je prema sadržajima i ishodima Nastavnog plana i programa za osnovne škole za predmet Povijest. S obzirom na činjenicu da su ispitivanja planirana za mjesec ožujak, u ispitnu specifikaciju nisu ušli sadržaji drugoga polugodišta osmoga razreda, nego sadržaji i ishodi programa od petoga razreda do kraja prvoga polugodišta osmoga razreda. U sadržajnoj strukturi ispita nastavni su sadržaji razrađeni u četiri razine specifičnosti: područje, podpodručje, sadržaj podpodručja, zaključno s ishodom učenja.

U listopadu 2011. godine napravljena je skica sadržajne strukture ispita temeljem koje je skupina za razvoj ispita nastavila rad na izradi struktura ispita. Održana je trodnevna radionica u kojoj su sudje-lovali skupina za razvoj ispita, predmetni i psihometrijski koordinatori te je pod vodstvom konzultanta Projekta napravljena prva verzija sadržajne strukture ispita. Radionice su provedene od 10. do 12. 11. 2011., a zadnji je dan napravljen i nacrt ispita kojim se specificirala zastupljenost svakoga područja i podpodručja u ispitu, vrste i broj zadataka koji će se ispitati u svakome području i podpodručju te vrije-me potrebno za rješavanje pojedinoga područja/podpodručja.

Sadržajne strukture ispita dovršene su tijekom sastanaka koordinatora sa skupinom za razvoj ispita u drugoj polovini studenoga 2011. godine. Ispit iz Povijesti obuhvaćao je nastavno gradivo Povijesti koje je podijeljeno u pet područja: Uvod u povijest i prapovijest, Stari vijek, Srednji vijek, Novi vijek i 20. stoljeće do početka Drugoga svjetskog rata. Sadržaj tih područja dodatno je razrađen u 14 podpodručja (Tablica 4.2.).


108


Tablica 4.2. Sadržajna područja i podpodručja koja su ispitana ispitom iz Povijesti


1. UVOD U POVIJEST I PRAPOVIJEST

1.1. UVOD U POVIJEST

1.2. KAMENO DOBA

1.3. METALNO DOBA

2. STARI VIJEK

2.1. CIVILIZACIJE PRVIH PISAMA

2.2. ŽIVOT I KULTURA STARIH GRKA

2.3. ŽIVOT I KULTURA STARIH RIMLJANA

3. SREDNJI VIJEK

3.1. RANI SREDNJI VIJEK

3.2. RAZVIJENI SREDNJI VIJEK

3.3. KASNI SREDNJI VIJEK

4. NOVI VIJEK

4.1. RANI NOVI VIJEK

4.2. 18. STOLJEĆE

4.3. 19. STOLJEĆE

5. 20. STOLJEĆE DO POČETKA DRUGOGA SVJETSKOG RATA

5.1. RAZDOBLJE DO ZAVRŠETKA PRVOGA SVJETSKOG RATA

5.2. RAZDOBLJE IZMEĐU DVA SVJETSKA RATA

Za svaki je predmet bilo potrebno naručiti veći broj zadataka koji su predviđeni nacrtom ispita kako bi se probno ispitao što veći broj zadataka. Cilj koji je trebalo postići je da u glavnome ispitivanju preosta-ne dovoljan broj zadataka dobrih metrijskih karakteristika za dvije forme ispita, a to se može vidjeti tek nakon psihometrijskih analiza rezultata probnoga ispitivanja. U glavnome ispitivanju se trebaju koristiti probno ispitani zadatci najboljih metrijskih karakteristika. Stoga je napravljen prošireni nacrt ispita s većim brojem zadataka za narudžbu iz svakoga podpodručja, odnosno područja, s obzirom na postojeći nacrt ispita. Ti su zadatci zatim raspoređeni prema tri razine težine i tri razine složenosti misaonoga procesa koji je potreban za rješavanje pojedinoga zadatka. Prošireni nacrt ispita iz Povijesti izrađivan je na sastancima s konzultantom 8. i 9. 12. 2011., a u njemu su sudjelovali predmetni i psihometrijski koordinatori, predstavnik skupine za razvoj ispita te voditeljica Projekta.

Početni nacrti ispita revidirani su, zajedno s proširenim nacrtima ispita na sastancima predmetnih i psihometrijskih koordinatora sa skupinom za razvoj ispita u siječnju 2012. godine. Prošireni nacrt ispita prošao je zadnju recenziju na sastanku koordinatora i skupine za razvoj ispita s konzultantom i voditelji-com Projekta 27. 1. 2012. godine. Nacrtom je definirano da ispit iz Povijesti sadrži 53 zadatka višestru-koga izbora33 raspoređenih u sadržajna područja i podpodručja. Prema broju i zahtjevnosti zadataka, određeno je vrijeme trajanja ispita od 70 minuta.

33 U ispitu iz Povijesti unutar Projekta korišteni su isključivo zadatci višestrukoga izbora. Uzimajući u obzir povratni utjecaj koji ispiti imaju na nastavu, u budućim (sustavnim) ispitivanjima preporuča se uporaba i određenoga broja zadataka otvorenoga tipa.


109


Prema proširenome nacrtu ispita, od autora ispitnih zadataka bilo je potrebno naručiti najmanje 600 zadataka prema ishodima učenja pojedinih podpodručja. Razlog narudžbe tako velikoga broja zadataka bila je pretpostavka da neće svi zadatci dobiti pozitivnu recenziju, a za probno ispitivanje je bilo potreb-no imati oko 300 zadataka koji se trebaju rasporediti u veći broj ispitnih inačica.

* * *

Temeljem proširenih nacrta ispita, u ožujku 2013. godine pristupilo se narudžbi i izradi ispitnih zadata-ka, a nakon recenzija zadataka i procedure određivanja pragova postignuća učenika u studenome 2012. godine, pristupilo se formiranju paralelnih ispitnih inačica za probno ispitivanje.



Broj zadataka koji se trebaju naručiti iz svakoga područja i podpodručja po ishodima učenja definiran je proširenim nacrtom ispita. Procijenjena je potreba za narudžbom i izradom najmanje 600 zadataka. S obzirom na veliki broj zadataka koji se trebao naručiti i izraditi u kratkome vremenu, te s obzirom na složen sustav provjere kvalitete i dorade zadataka (putem recenzija), bilo je potrebno napraviti aplika-ciju koja bi podržala te aktivnosti. Stoga je sinergijom projekata Razvoj banke zadataka i Razvoj završnih ispita od siječnja do ožujka 2012. godine razvijena aplikacija za narudžbu, izradu i recenzije zadataka. U bazu/aplikaciju inkorporirani su prošireni nacrti ispita iz Povijesti, odnosno sadržaji i ishodi prema kojima će se zadatci naručivati. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje apli-kacije u ožujku 2012. nakon čega je mogla započeti narudžba i izrada zadataka.

Narudžba zadataka odvijala se u dva kruga: između ožujka i lipnja 2012. godine naručen je najveći broj zadataka, a nakon što su zadatci izrađeni i prošli prve dvije recenzije u srpnju 2012. godine, naručen je dodatni broj zadataka koji je bio potreban s obzirom na sadržajnu strukturu/nacrt ispita.

Autori su putem mrežne aplikacije zaprimali narudžbu za izradu zadataka, unosili i slali zadatke te imali uvid u status recenzije zadataka koje su poslali. Za autore je u ožujku 2012. pripremljen Priručnik za izra-du i recenzije zadataka višestrukoga izbora iz Povijesti. Priručnik obuhvaća opis i način izrade zadataka višestrukoga izbora, kriterije za izradu i procjenu kvalitete zadataka te primjere zadataka različitih težina i razina složenosti misaonih procesa. Za autore su, osim Priručnika izrađene i Upute za izradu i slanje za-dataka putem mrežne aplikacije. Autorima je kroz cijelo vrijeme izrade zadataka bila pružena tehnička i stručna podrška, a za te su potrebe bili izrađeni i dokumenti Pogreške u izradi zadataka i daljnje upute i Često postavljena pitanja koji su poslani autorima.

Od autora je prikupljeno 690 ispitnih zadataka, a mrežna aplikacija pokazala se iznimno uspješnom u narudžbi, izradi i prikupljanju velikoga broja zadataka od većega broja autora u vrlo kratkome vremen-skom razdoblju.


110




• sadržajnu

• metodološku


Recenzije ispitnih zadataka rađene su prema kriterijima za recenzije ispitnih zadataka koje su definirane Priručnikom za izradu i recenzije ispitnih zadataka. S obzirom na veliki broj zadataka koje je bilo potreb-no recenzirati te na složene postupke recenzija, bilo je potrebno napraviti i mrežnu aplikaciju za recen-ziju zadataka. Stoga se nakon narudžbe zadataka, u travnju 2012. nastavilo raditi na mrežnoj aplikaciji za recenzije zadataka te su procedure i kriteriji za recenzije postale sastavni dio aplikacije. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje aplikacije u svibnju 2012. nakon čega su zapo-čele recenzije zadataka. Osim Priručnika, za potrebe recenzija zadataka napisane su Procedure i upute za recenzije zadataka.

Sadržajne recenzije zadataka započele su 21. 5. 2012., a za sadržajnu recenziju zadataka bili su odgo-vorni predmetni koordinatori zajedno sa skupinom za razvoj ispita. Od svibnja do sredine srpnja 2012., održano je ukupno 23 sastanaka predmetnih koordinatora s članovima skupine na kojima su zadatci recenzirani te prema potrebi dorađivani. Oni zadatci koji su dobili negativnu recenziju vraćeni su putem aplikacije autorima ispitnih zadataka uz obrazloženje.

Od svibnja do kraja listopada odvijali su se paralelni procesi izrade zadataka, sadržajne i metodološ-ke recenzije i završne sadržajne recenzije zadataka. Metodološke recenzije zadataka započele su 25. 5. 2012. nakon pozitivne sadržajne recenzije. U metodološkoj recenziji zadatci su također mogli biti prihvaćeni ili odbijeni. U srpnju 2012. održani su sastanci predmetnih koordinatora i psihometrijskoga koordinatora na kojima su revidirani zadatci koje je psihometrijski koordinator zbog stručnih i metodo-loških razloga smatrao upitnima. U srpnju je ponovno naručen manji broj zadataka kako bi se osigurao dovoljan broj zadataka u svim dijelovima sadržajne strukture ispita (s obzirom na broj zadataka koji su dobili negativnu recenziju). Novi zadatci također su prošli sadržajnu i metodološku recenziju.

Od srpnja do sredine listopada 2012. trajale su završne recenzije zadataka koje su napravila dva sadr-žajna stručnjaka neovisno, što znači da je svaki zadatak prošao dodatnu dvostruku provjeru. Recenzije zadataka vršile su se unutar mrežne aplikacije, prema Uputama za završnu recenziju zadataka. Recen-zenti su u srpnju 2012. dobili pristupne podatke za rad u aplikaciji čime su mogli započeti s recenzijama. Recenzentima je kroz cijelo vrijeme recenzija zadataka bila pružena tehnička i stručna podrška. Oni za-datci koji su dobili negativnu recenziju ili prijedlog za doradom od jednoga ili oba recenzenta bili su još jednom pregledani od koordinatora. Takvi zadatci mogli su biti dorađeni prema uputama recenzenata, ili odbijeni.

U listopadu 2012. završen je proces recenzija zadataka, kada je prikupljen dovoljan broj kvalitetnih za-dataka za probno ispitivanje. Broj prihvaćenih zadataka nakon treće recenzije bio je 426. U Tablici 4.3. vidljivi su finalni podatci vezani uz proces izrade i recenzije zadataka.


111



PredmetBroj

naručenih zadataka




u drugoj recenziji


Broj prihvaćenih


recenzije

Povijest 691 690 690 559 539 426


Nakon završnih recenzija svih zadataka moglo se pristupiti i samoj provedbi radionica određivanja pra-gova za razine postignuća učenika. U Projektu su korištene tri razine postignuća učenika za koje je tre-balo odrediti pragove prolaznosti. To su osnovna, srednja i napredna razina postignuća učenika.

Postavljanje pragova za ispite iz Povijesti provedeno je na četverodnevnim radionicama između 5. i 8. 11. 2012. godine, a u postavljanju pragova sudjelovala je skupina od 10 nastavnika Povijesti odabrana putem Javnoga poziva u listopadu 2012. godine. Radionicu je vodio konzultant projekta uz pomoć psi-hometrijskoga koordinatora i voditeljice Projekta, a radionici su prisustvovali i predmetni koordinatori.

Na radionicama su prvo revidirani opisivači razina postignuća učenika koje je u ožujku/travnju 2012. godine izradila skupina za razvoj ispita. Zatim su procijenjene težine svakoga zadatka za tri razine posti-gnuća te su u dva kruga određeni preliminarni pragovi prolaznosti za svaku razinu. Procijenjene težine zadataka koristile su se u izradi paralelnih ispitnih inačica za probno ispitivanje, a dobiveni pragovi za razine postignuća revidirani su temeljem psihometrijske analize nakon probnoga ispitivanja zadataka 2013. godine (vidjeti poglavlje 4.3.6.).


Ispitne inačice izrađene su prema nacrtu ispitnih inačica. Prema nacrtu, ispit je podijeljen u 15 ispitnih inačica kroz koje je bilo podjednako raspoređeno 287 ispitnih zadataka, prema sadržajnoj strukturi/nacrtu ispita te težini zadataka. Broj zadataka u svakoj inačici bio je 53. Svaka ispitna inačica sadržavala je ukupno 17 sidrišnih (zajedničkih) zadataka. Osim sidrišnih zadataka, svaka ispitna inačica sadržavala je i dva bloka od po 18 zadataka. Svaki blok zadataka nalazio se u dvije ispitne inačice te je bilo ukupno 18 različitih blokova. Na opisani način, svaka ispitna inačica bila je povezana sa svim ostalim inačicama pomoću 17 zajedničkih zadataka. Također, svaka inačica bila je dodatno povezana s još dvije inačice pomoću bloka od 18 zadataka.

Za potrebe slaganja i niveliranja ispitnih inačica preko dodjele zadataka u blokove izrađena je Excel bazirana aplikacija. Putem aplikacije je omogućena jednostavna kontrola niveliranja početnih verzija


112


inačica prema nizu parametara dobivenih na radionicama postavljanja pragova za razine postignuća te prema nacrtu ispita, kao i promjene i redefiniranje blokova nakon sadržajnih provjera. Unificirani izlazni set podatka prilagođen je za jednostavnu komunikaciju između ove aplikacije i sistema u kojemu su po-hranjeni zadatci34 putem kojega su se prema izlaznim parametrima aplikacije za slaganje ispitnih inačica raspoređivali zadatci u finalne verzije ispitnih inačica. Prilikom ujednačavanja ispitnih inačica vodila se briga i o ujednačenosti vremena koje je potrebno za rješavanje svake inačice.

Krajem studenoga 2012. napravljeno je 15 ispitnih inačica od strane psihometrijskoga koordinatora koje su generirane pomoću aplikacije, a prema gore opisanim specifikacijama. Izrađene ispitne inačice prošle su dvije sadržajne provjere odnosno provjere preklapanja sadržaja zadataka unutar svake inači-ce. Nakon prve provjere od strane predmetnih koordinatora slijedila je korekcija ispitnih inačica od stra-ne psihometrijskoga koordinatora. Skupina za razvoj ispita je, zajedno s predmetnim koordinatorima napravila završnu sadržajnu provjeru ispitnih inačica. Nakon te provjere i unesenih korekcija, početkom prosinca 2012. ispitne su inačice pripremljene za grafičko oblikovanje.


Prema nacrtu ispita, za probno ispitivanje bilo je odabrano 287 zadataka iz Povijesti koji su raspoređeni u 15 povezanih ispitnih inačica. Kako bi bili zadovoljeni statistički preduvjeti za korištenje dvoparame-tarskoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt ispita, svaku ispitnu inačicu treba rješavati najmanje 300 učenika što znači da ispite treba pisati najmanje oko 4500 učenika. U skladu s navedenim, uzorak je rađen s obzirom na nacrt ispita te na potrebe psihometrijskih analiza unutar modela Teorije odgovora na zadatak.35

Za sudjelovanje u probnome ispitivanju preliminarno je odabrano ukupno 300 škola i 7408 učenika za pisanje ispita iz Povijesti. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja suglasnosti roditelja/skrbnika ispit je trebalo pisati 5476 učenika iz 293 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Povijesti bio je 5130, što je bio dovoljan broj učenika za potrebe planiranih psihometrijskih analiza.


Probno ispitivanje provedeno je između 4. i 8. ožujka 2013. godine. Nakon povrata ispitnih materijala iz škola i provjere podataka ustanovljeno je da je ispite iz Povijesti pisalo ukupno 5130 učenika. Nakon skeniranja ispita i optičkoga čitanja odgovora učenika slijedile su psihometrijske analize ispita.

S obzirom na primjenu novih vrsta analiza te na uporabu novoga programa za analiziranje, konzultant Projekta pružio je potporu psihometrijskim koordinatorima u analizi podataka. Sastanci psihometrijskih koordinatora s konzultantom održani su između 6. i 10. 5. 2013. Tijekom ovih sastanaka, psihometrijski

34 Aplikacija za izradu i recenzije zadataka.35 Detaljnije informacije o uzorkovanju u sklopu Projekta vidjeti u poglavlju 1.2.7.


113


koordinatori su prošli postupak konkurentne kalibracije zadataka na rezultatima iz Engleskoga jezika koji su dobiveni na probnome ispitivanju. Kalibracija se provodila korištenjem Parscale programa u okviru Teorije odgovora na zadatak. Na temelju dogovorenoga postupka provedene su analize iz svih predmeta pa tako i iz Povijesti.

Prvo je napravljena preliminarna psihometrijska analiza ispita kako bi učenici koji su sudjelovali u is-pitivanju mogli dobiti povratnu informaciju o svome uspjehu na ispitu. U prvoj fazi, dobiveni rezultati analizirani su u okviru Klasične teorije testova uz pomoć programa TiaPlus kako bi se dobili podatci o diskriminativnosti i težini svakoga pojedinog zadatka. Zadatci koji su imali negativnu diskriminativnost i/ili nefunkcionalne ometače (distraktore/netočne odgovore) su izbačeni iz daljnjih analiza. U sljedećemu koraku provedena je konkurentna kalibracija zadataka u sklopu Teorije odgovora na zadatak za ispit u cjelini. Temeljem dobivenih rezultata analize iz daljnje obrade su isključeni zadatci koji su se u ovome koraku pokazali slabo diskriminativni. Sljedeći korak je bio napraviti skaliranje rezultata po pojedinim ispitnim inačicama kako bi se dobili precizniji podatci o uspjehu za svakoga učenika.

Nakon finalizacije preliminarne analize sve ispitne inačice su međusobno nivelirane na zajedničku skalu od 100 do 400 bodova, s aritmetičkom sredinom od 250 i standardnom devijacijom od 50. Na skali su prikazane razine znanja učenika te rezultat svakoga učenika koji je pristupio ispitivanju. Rezultati za po-jedinoga učenika bili su pripremljeni krajem svibnja 2013. godine, nakon čega se moglo pristupiti izradi izvješća za učenike. Izvješća s povratnim informacijama učenicima koji su pisali ispit iz Povijesti poslane su školama u lipnju 2013. godine.36

Za daljnje analize, odnosno za daljnje izbacivanje zadataka korišteni su stroži kriteriji težine i diskri-minativnosti zadataka, kako bi se odabrali najkvalitetniji zadatci za izradu ispitnih inačica za glavno ispitivanje. Stručnu potporu psihometrijskim koordinatorima u daljnjim analizama ponovno je pružio konzultant na radionici koja se održala između 10. i 14. 6. 2013. Radionice su započele s predstav-ljanjem preliminarnih analiza i rezultata dobivenih za izvještavanje učenika konzultantu. Nakon svake prezentacije raspravljalo se o dobivenim rezultatima te o planu za daljnje analize ispita. Do kraja radio-nice psihometrijski koordinatori prošli su postupak daljnje psihometrijske analize ispita prema strožim kriterijima u računalnim programima Parscale i TiaPlus. Isto je tako dogovorena procedura određivanja finalnih pragova postignuća učenika.

Nakon radionice napravljene su podrobne psihometrijske analize ispita i ispitnih zadataka iz Povijesti te su određeni pragovi za razine postignuća. Kriteriji za analizu i selekciju zadataka bili su stupanj diskri-minativnosti zadatka, težina zadatka te funkcionalnost ometača kao dodatni kriterij. Prelagani/preteški zadatci, zadatci koji nisu dovoljno diskriminativni te zadatci s nefunkcionalnim ometačima isključeni su iz daljnjih analiza. Tako su nakon primjene ovih kriterija za analizu u programu Parscale ostala 174 zadatka, tj. oko 61% od ukupnoga broja zadataka iz probnoga ispitivanja.

Nakon provedenih analiza moglo se pristupiti određivanju finalnih pragova za razine postignuća uče-nika. Pri određivanju pragova korišteni su rezultati postavljanja pragova za razine postignuća koje je provedeno na radionici u studenome 2012. godine te rezultati dobiveni nakon psihometrijske analize probnoga ispitivanja. Kako bi u sklopu trećega kruga procedure određivanja pragova procjenjivači pro-cjenjivali samo one zadatke koji su preostali nakon postupka eliminacije temeljem prethodno opisa-nih kriterija, iz tablica su izbrisani svi zadatci koji nisu bili probno ispitani, kao i oni izostavljeni nakon



114


analiza. Uzimajući u obzir i Beukovu korekciju dobiven je podatak o postotku riješenosti ispita koji su nastavnici Povijesti na radionicama odredili za ulazak u pojedinu kategoriju prema znanju iz Povijesti. Tako su za ulazak u kategoriju „osnovna razina postignuća“ odredili 24,14 % točno riješenih zadataka, za kategoriju „srednja razina postignuća“ 44,25% te za kategoriju „napredna razina postignuća“ 74,14%.

Kako bi uz mišljenje odnosno rezultat skupine nastavnika Povijesti na radionici postavljanja pragova u obzir bila uzeta i teorijska raspodjela, učinjena je korekcija. Najprije je izračunata razlika između posti-gnuća potrebnih za pojedini prag (eng. cut point) određenih na temelju rezultata postavljanja pragova na radionici i onih teorijski utemeljenih. Zatim je procjena dobivena na radionici postavljanja pragova pomaknuta za polovicu te razlike. Tako dobiveni pragovi za razine postignuća, kao i pogreške mjerenja, prikazane su u Tablici 4.4.



Prag postignuća učenika (radionice


Prag postignuća

učenika (teorijski)

Prag postignuća učenika (nakon

korekcije)

Pogreška mjerenja

1. osnovna razina 172,42 175 173,7100 28,6339

2. srednja razina 232,75 250 241,3750 26,5365

3. napredna razina 322,42 325 323,7100 26,9143

Psihometrijski koordinatori predstavili su preliminarne rezultate ispita predmetnim koordinatorima na zajedničkome sastanku s konzultantom održanom 13. 6. 2013. godine. Na sastanku je također predstav-ljen daljnji plan analiza ispita i izrade ispitnih inačica za glavno ispitivanje.


115




Nakon provedenih preliminarnih analiza ispita, eliminacije zadataka sa slabim metrijskim karakteristi-kama, finalizacije analize ispita i određivanja pragova prolaznosti, pristupilo se izradi ispitnih formi od-nosno inačica za glavno ispitivanje. Nacrt ispitnih inačica za glavno ispitivanje određen je s obzirom na broj preostalih zadataka s dobrim metrijskim karakteristikama u pojedinim područjima/podpodručjima prema sadržajnoj strukturi i nacrtu ispita.

Između 9.. i 13. 9. 2013. godine održani su sastanci psihometrijskih koordinatora svih predmeta i vo-diteljice Projekta s konzultantom kako bi se definirao nacrt ispitnih inačica za glavno ispitivanje. Psiho-metrijski su koordinatori predstavili način provedbe analiza ispita i rezultate provedenih analiza. Nakon toga je započela rasprava i dogovor o nacrtu ispitnih inačica na temelju rezultata provedenih analiza.

Nakon finalne analize preostala su 174 zadataka koji su zadovoljili zadane kriterije. Kako je učenicima na probnome ispitivanju trebalo znatno manje vremena za rješavanje ispita od predviđenoga, dobiven je prostor za povećanje broja zadataka u glavnome ispitivanju. Dogovoreno je da će u glavnome ispiti-vanju zadatci biti raspodijeljeni u dvije ispitne forme, a zadovoljavajući strukturu predviđenu nacrtom ispita, broj zadataka u jednoj inačici povećan je na 65. Zaključno, svaka forma sadržavala je 21 zajednič-ki sidrišni zadatak te za formu jedinstvena 44 zadatka.

Prilikom odabira zadataka za glavno ispitivanje vodilo se računa o sadržajnome području koji zadatak pokriva, informativnosti zadataka i težini, odnosno „regiji“ u kojoj se zadatak nalazi (položaj zadatka na bodovnoj skali). Za 21 sidrišni zadatak (koji se nalaze u obje inačice) izabrani su oni koji su najviše infor-mativni, ovisno o regiji i sadržajnome području. U nekim sadržajnim područjima je preostao po samo jedan zadatak za glavno ispitivanje te su stoga takvi zadatci također odabrani kao sidrišni.

Na isti način birani su i zadatci koji ulaze u formu A i B, pazeći pritom da forme budu što ujednačenije. Osim broja zadataka u pojedinome sadržajnom području i regiji, to se posebno odnosi na ujednačenost sumi i aritmetičkih sredina informativnosti zadataka te aritmetičkih sredina težina zadataka koji su ušli u formu A i formu B (Tablica 4.5.).

Tablica 4.5. Usporedba formi A i B prema informativnosti zadataka i težini


Suma informativnosti zadataka

16,096 16,014 0,082


0,247 0,246 0,001

Aritmetička sredina težina zadataka

0,11 0,01 0,10


116


Na sastancima s konzultantom raspravljena je mogućnost probnoga ispitivanja novih zadataka unutar glavnoga ispitivanja, kako bi se „banka zadataka“ mogla puniti zadatcima provjerenih metrijskih karak-teristika. Stoga je odlučeno unutar glavnoga ispitivanja probno ispitati i određeni broj zadataka koji se ne bi bodovali u konačnome rezultatu.

U tome kontekstu, u sklopu ispita iz Povijesti probno se ispitalo ukupno 48 novih zadataka, a zadatci za probno ispitivanje raspodijeljeni su kroz 6 inačica (3 inačice koje će se uklopiti u formu A i 3 koje će se uklopiti u formu B). Svaku inačicu sačinjava, dakle, 65 zadataka za glavno ispitivanje i 8 zadataka za probno ispitivanje (ukupan broj zadataka u pojedinom ispitu odnosno inačici je 73).






















73 73 73 73 73 73

Novi zadatci birani su prema sadržajnome području, vodeći računa i o postotku „prolaska“ zadatka iz pojedinoga područja do finalne analize.

Uspoređeni su i postotci zastupljenosti pojedinih podpodručja prema nacrtu ispita s postotcima infor-mativnosti pojedinih podpodručja u inačicama te je zaključeno kako nema većih razlika.

Psihometrijski koordinatori su konzultantu na sastancima održanima između 21. i 25. 10. 2013. pred-stavili izrađene forme ispita te pripadajuće statističke i psihometrijske parametre. Konzultant je iskazao zadovoljstvo provedenim analizama i ujednačavanjem formi ispita. Zaključak provedenih konzultacija bio je da su forme ispita iz Povijesti standardizirane, odnosno ujednačene prema sadržaju, težini i infor-mativnosti te spremne za glavno ispitivanje.


117



Prema nacrtu ispita, svaka od dvije forme ispita sastojala se od 21 zadatka koji su zajednički svakoj inačici te 44 jedinstvena zadatka. S obzirom na potrebu za probnim ispitivanjem novih zadataka svaka je forma podijeljena u tri inačice kojima su dodani jedinstveni zadatci za probno ispitivanje. Time je dobiveno šest inačica ispita koje sadrže jedinstvene zadatke za probno ispitivanje. Kako bi se zadovoljili statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt inačica, svaku ispitnu inačicu treba rješavati najmanje 600 učenika, što znači da ispite treba pisati najmanje 3600 uče-nika. Stoga je uzorak rađen s obzirom na nacrt ispita te na potrebe za psihometrijskim analizama unutar modela Teorije odgovora na zadatak.37

Za sudjelovanje u glavnome ispitivanju preliminarno je odabrano ukupno 225 škola i 5255 učenika za pisanje ispita iz Povijesti. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja suglasnosti roditelja/skrbnika ispit je trebalo pisati 4004 učenika iz 220 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Povijesti bio je 3795, što je bio dovoljan broj učenika za potrebe planiranih psihometrijskih analiza.



U ispitivanju je sudjelovalo 3795 učenika, od čega je 1901 rješavalo formu A, a 1894 formu B. U Tablici 4.6. prikazan je broj učenika koji su pisali pojedine forme i inačice ispita.

Tablica 4.6. Broj učenika koji su pisali pojedine forme i inačice ispita iz Povijesti

A1 A2 A3Ukupno

AB1 B2 B3

Ukupno B

Sveukupno

Broj učenika

630 630 641 1901 641 629 624 1894 3795

Postotak učenika

16,60% 16,60% 16,89% 50,09% 16,89% 16,57% 16,44% 49,91%

Konkurentna analiza u okviru Teorije odgovora na zadatak provedena je u računalnome programu Pars-cale. U analizi nisu korišteni zadatci koji su u glavnome testiranju probno ispitani. Analiza je provedena



118


na svim preostalim zadatcima (65 zadataka unutar inačice: 21 sidrišni zadatak te 44 jedinstvena zadatka za inačicu).

Rezultati su također obrađeni u programu TiaPlus kako bi se ispitala diskriminativnost i težina zadataka te provela analiza ometača. Dobiveni rezultati nisu ukazivali na postojanje zadataka kojima su znatnije narušeni navedeni parametri te koji bi se zbog neudovoljavanja postavljenim kriterijima trebali isklju-čiti iz ukupnoga rezultata. Neki zadatci su imali relativno niske koeficijente diskriminativnosti te bi ih u budućim primjenama ispita trebalo zamijeniti. Koeficijent pouzdanosti Alpha u prvoj inačici iznosi 0,89, a u drugoj 0,88 što je nešto niže od minimalne poželjne pouzdanosti (0,90). Prosječna diskriminativnost zadataka je srednje visoka (0,35 u prvoj inačici, tj. 0,33 u drugoj inačici). Možemo zaključiti kako su ina-čice međusobno ujednačene i prema parametrima pouzdanosti i diskriminativnosti.

Distribucija rezultata učenika je blago pomaknuta prema nižim vrijednostima rezultata (Grafički prikaz 4.2.).

Grafički prikaz 4.2. Distribucija rezultata učenika na ispitu iz Povijesti

Grafički prikaz 4.3. Informativnost ispita iz Povijesti


119


Iz Grafičkoga prikaza 4.3. je razvidno kako je informativnost najviša u intervalu između -2 i 1,5. U tome intervalu se nalazi oko 92% učeničkih rezultata iz čega proizlazi kako je ispit bio zadovoljavajuće infor-mativnosti za većinu učenika, odnosno, možemo pretpostaviti kako bi učenici i u budućim primjenama ispita postigli slične rezultate. Također, pragovi postignuća učenika nalaze se u spomenutome rasponu, što znači kako se sa priličnom preciznošću može utvrditi je li neki od učenika u jednoj ili drugoj katego-riji.

Individualni rezultati prikazani su na skali od 100 do 400 bodova, koja je imala aritmetičku sredinu 250 i standardnu devijaciju 50. U Tablici 4.7. prikazani su pragovi za razine postignuća učenika i pripadajuće pogreške mjerenja, a u Tablici 4.8. postotci učenika koji su na ovome ispitu postigli određeni rezultat. Pragovi prolaznosti korišteni na glavnome ispitivanju određeni su nakon probnoga ispitivanja zadataka (vidjeti poglavlje 4.3.6.).


Razina postignuća učenikaPrag razine postignuća

učenikaPogreška mjerenja




Tablica 4.8. Broj i postotak učenika u pojedinoj kategoriji određenoj na temelju pragova postignuća


Ispod osnovne razine postignuća 126 3,32 %

Osnovna razina postignuća 1705 44,93 %

Srednja razina postignuća 1640 43,21 %

Napredna razina postignuća 324 8,54 %

Iz Tablice 4.8. razvidno je kako se većina učenika nalazi na “osnovnoj” ili “srednjoj razini postignuća”. Manji se postotak učenika nalazi ispod osnovne kategorije postignuća (3,32%), dok se na naprednoj razini postignuća nalazi čak 8,54% učenika.


120




U kontekstu dodatnih prikaza uspjeha na ispitu iz Povijesti testirane su razlike između učenika i učenica u uspjehu na ispitu iz Povijesti, odnosno u dobivenoj procjeni postignuća učenika u obje skupine. U Tablici 4.9. prikazani su prosječni rezultati učenica i učenika na ispitu iz Povijesti.

Tablica 4.9. Razlike u uspješnosti s obzirom na spol na ispitu iz Povijesti – prosječni rezultat na ispitu i značajnost razlike

Broj učenikaPostotak učenika


Standardna devijacija

t-test

Učenice 1888 49,7 243,97 46,536t=-7,444df=3793p<0,01

Učenici 1907 50,3 255,97 52,555

UKUPNO 3795 100

Iz tablice je razvidno kako je utvrđena statistički značajna razlika između učenica i učenika u rezultatima na ispitu iz Povijesti, pri čemu su učenici postigli u prosjeku više rezultate od učenica. Prosječni rezultat učenica kao i prosječni rezultat učenika nalaze se u kategoriji „srednje razine postignuća učenika“.


S obzirom na regionalni položaj škole koju učenici pohađaju analizirani su njihovi rezultati odnosno pro-cijenjena postignuća. U Tablici 4.10. nalaze se prosječni rezultati učenika iz Sjeverozapadne Hrvatske, Središnje i Istočne (Panonske) Hrvatske te Jadranske Hrvatske.38

38 Regije su definirane prema Nacionalnoj klasifikaciji prostornih jedinica za statistiku (NKPJS), Narodne novine, br. 35/2007, 2. travnja 2007., zbog veće adekvatnosti za analize.


121


Tablica 4.10. Razlike u uspješnosti s obzirom na regiju na ispitu iz Povijesti – prosječni rezultat na ispitu i značajnost razlike

Broj učenika

Postotak učenika



ANOVA


1394 36,7 254,92 50,777F(2, 3792)=52,303,p<0,01,

(Tamhane 1≠2, 2≠3)


1229 32,4 238,20 47,005


UKUPNO 3795 100

Iz Tablice 4.10. vidljivo je kako postoje statistički značajne razlike u uspjehu učenika s obzirom na regiju iz koje dolaze. Učenici iz Sjeverozapadne Hrvatske i Jadranske Hrvatske postigli su statistički značajno više rezultate na ispitu iz Povijesti od učenika iz Središnje i Istočne (Panonske) Hrvatske. Nije utvrđena statistički značajna razlika između prosječnoga rezultata učenika iz Sjeverozapadne Hrvatske i Jadran-ske Hrvatske. Prosječni rezultati učenika iz Sjeverozapadne Hrvatske i Jadranske Hrvatske nalaze se u kategoriji „srednje razine postignuća učenika“, dok se prosječni rezultati učenika iz Središnje i Istočne (Panonske) Hrvatske nalaze u kategoriji „osnovne razine postignuća učenika“.

Odnos rezultata na ispitu iz Povijesti i školskoga uspjeha u 7. razredu

U Tablicama 4.11. i 4.12. prikazani su prosječni rezultati na ispitu iz Povijesti za učenike koji su imali različit opći uspjeh u 7. razredu te različite ocjene iz Povijesti u 7. razredu. Također, izračunate su i rang-korelacije rezultata učenika na ispitu s općim uspjehom i ocjenama iz Povijesti. Vrijednosti ovih rang-korelacija su srednje visoke te je rang-korelacija s ocjenom iz Povijesti nešto viša od rang-korelacije s općim uspjehom. Ovakva veličina vrijednosti rang-korelacije ocjena iz Povijesti u 7. razredu i uspjeha na ispitu je očekivana. Međutim, veličina vrijednosti rang-korelacije općega uspjeha u 7. razredu i uspjeha na ispitu je gotovo identična, što nije bilo očekivano s obzirom da se za izračun općega uspjeha koriste ocjene iz svih predmeta. Iz rezultata je vidljivo da s porastom općega uspjeha te porastom ocjene iz Povijesti raste i prosječan rezultat učenika.


122


Tablica 4.11. Prosječni rezultati na ispitu iz Povijesti i opći uspjeh u 7. razredu




Spearmanov ρ

Dovoljan (2) 41 1,1 195,70 30,303

,547p<0,01

Dobar (3) 900 23,7 214,87 34,154

Vrlo dobar (4) 1555 41,0 244,18 42,683

Odličan (5) 1296 34,2 283,15 46,977

UKUPNO 3792 99,9


Učenici koji su imali ocjenu dovoljan i dobar na općemu uspjehu, na ispitu iz Povijesti su postigli rezul-tate koji su u prosjeku na „osnovnoj razini postignuća“. Učenici koji su imali više ocjene (vrlo dobar i odličan) su na ispitu postigli rezultate koji su u prosjeku u kategoriji „srednje razine postignuća“.

Tablica 4.12. Prosječni rezultati na ispitu iz Povijesti i ocjene iz Povijesti u 7. razredu




Spearmanov ρ

Dovoljan (2) 756 19,9 209,50 31,162

,554p<0,01

Dobar (3) 909 24,0 234,56 37,320

Vrlo dobar (4) 1005 26,5 255,76 42,821

Odličan (5) 1122 29,6 284,79 49,885

UKUPNO 3792 99,9


Učenici koji su iz Povijesti imali ocjenu dovoljan i dobar na ispitu iz Povijesti su postigli rezultate koji su u prosjeku na „osnovnoj razini postignuća“. Učenici koji su imali više ocjene iz Povijesti (vrlo dobar i odličan) su na ispitu postigli rezultate koji su u prosjeku u kategoriji „srednje razine postignuća“.


123


4.5. ZAKLJUČAK

U sklopu projekta Razvoj završnih ispita od 2011. godine do 2015. godine razvijeni su i provedeni stan-dardizirani ispiti iz Povijesti temeljem suvremenih pristupa ispitivanju znanja učenika. Primijenjene su nove procedure u razvoju ispita, u radu sa skupinama i drugim vanjskim suradnicima te u radu pred-metnih i psihometrijskih stručnjaka iz Centra. Navedene promjene unaprijedile su sustav osiguranja kvalitete u izradi ispitnoga materijala, a poseban doprinos razvoju ispita bila je i uporaba mrežnih apli-kacija u različitim fazama izrade ispitnoga materijala.

Što se tiče razvijenoga ispita iz Povijesti u sklopu Projekta, možemo zaključiti kako konačan ispit zado-voljava visoke metrijske i sadržajne standarde. Takvim standardiziranim ispitom može se garantirati dugogodišnje zadržavanje kvalitete objektivnoga ispitivanja znanja. Važan čimbenik takvoga ispita je i mogućnost unapređenja koje neće ugroziti stabilnost standardizacije kao osnove za longitudinalno praćenje rezultata uspješnosti učenika i nastavnoga procesa. Budući razvoj nužno bi trebao sadržavati i proširenje prilagodbe ispita na skupine učenika koje nisu bile uključene u faze razvoja uz nužne kontrole i prilagodbe standardizacije u postupku proširenja.



5. RAZVOJ STANDARDIZIRANIH ISPITA IZ FIZIKE TE REZULTATI ISPITIVANJA

Zoran Žitnik, Zlatko Zadelj, Natalija Gjeri Robić


126


5.1. UVOD: RAZVOJ STANDARDIZIRANIH ISPITA IZ FIZIKE IZMEĐU 2011. I 2015. GODINE

Cilj projekta Razvoj završnih ispita bio je razviti model i postupke testiranja prema suvremenim pristu-pima ispitivanju znanja, odnosno izraditi i analizirati ispite prema modelu Teorije odgovora na zadatak (eng. Item Response Theory39). Kako bi se ostvario navedeni cilj, ključna aktivnost Projekta bila je razvoj i provedba ispita prema međunarodnim standardima ispitivanja znanja učenika. Jedan od četiri ispita koji se razvijao i proveo u sklopu Projekta bio je ispit iz nastavnoga predmeta Fizika. S obzirom na ras-položive resurse Projekta i Centra, odlučeno je da će se ispitivanja provesti na uzorku učenika osmih razreda u uzorkovanim osnovnim školama iz čitave Hrvatske.

Cilj ispita iz Fizike bio je procijeniti razine usvojenih znanja odnosno postignuća učenika osmih razreda osnovnih škola. Iz toga se razloga ispit temeljio na sadržajima i ishodima Nastavnoga plana i programa za osnovnu školu za predmet Fizika (2006.). Između 2011. i 2015. godine provedene su brojne aktiv-nosti vezane uz razvoj ispita iz Fizike koje su rezultirale razvojem i provedbom standardiziranih ispita iz Fizike temeljem metodologije suvremene teorije testova (Tablica 5.1.). Nakon provedenoga ispitivanja ispiti su analizirani te su procijenjene razine znanja učenika osmih razreda iz Fizike te su time ciljevi Projekta vezani uz razvoj ispita iz Fizike u potpunosti ostvareni.

Tablica 5.1. Aktivnosti razvoja standardiziranog ispita iz Fizike od listopada 2011. do kraja 2014. godine

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ FIZIKE VRIJEME
















127

RAZVOJ STANDARDIZIRANIH ISPITA IZ FIZIKE TE REZULTATI ISPITIVANJA

GLAVNE AKTIVNOSTI RAZVOJA ISPITA IZ FIZIKE VRIJEME





128


5.2. SURADNICI NA PROJEKTU KOJI SU SUDJELOVALI U RAZVOJU ISPITA IZ FIZIKE

U razvoju ispita iz Fizike sudjelovali su sadržajni i psihometrijski stručnjaci iz Centra, konzultant Projekta, nastavnici Fizike okupljeni u skupini za razvoj ispita iz Fizike, autori ispitnih zadataka, stručni recenzenti ispitnih zadataka te skupina koja je sudjelovala u proceduri određivanja pragova postignuća učenika. U različitim aktivnostima razvoja ispita iz Fizike sudjelovalo je 50 osoba.

Djelatnici/vanjski suradnici Centra koji su sudjelovali u razvoju ispita iz Fizike od 2011. do kraja 2014. godine:

• Zlatko Zadelj – predmetni koordinator: koordinacija rada skupine za razvoj ispita, vodstvo skupi-ne u razvoju ispitnih specifikacija, sadržajnim recenzijama i doradama ispitnih zadataka, u izradi opisivača razina postignuća učenika; sadržajne provjere ispitnih inačica za probno i glavno ispi-tivanje, provjere probnih otisaka ispita, unos lekture i korekture ispita/zadataka, sudjelovanje u edukacijama/sastancima s konzultantom.

• Zoran Žitnik – psihometrijski koordinator: sudjelovanje u razvoju ispitnih specifikacija, metodo-loška recenzija ispitnih zadataka, izrada ispitnih inačica za probno i glavno ispitivanje, psihometrij-ske analize ispita nakon probnoga i glavnoga ispitivanja, prikaz i interpretacija rezultata probnoga i glavnoga ispitivanja, priprema tablice proširenoga nacrta ispita, izrada uzorka škola i učenika za probno i glavno ispitivanje, priprema podataka za psihometrijske analize ispita, priprema izvješća za učenike prema dobivenim rezultatima, unos lekture i korekture ispita/zadataka, idejno rješe-nje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, priprema programa za niveliranje ispitnih inačica, sudjelovanje u edukacijama/sastancima s konzultantom.

• Valentina Kapraljević (od siječnja 2012. do prosinca 2013.) – predmetna koordinatorica: sudje-lovanje u koordinaciji rada skupine za razvoj ispita, vodstvo skupine u sadržajnim recenzijama i doradama ispitnih zadataka; sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, provjere probnih otisaka ispita, unos lekture i korekture ispita/zadataka, sudjelovanje u edukaci-jama/sastancima s konzultantom.

• Natalija Gjeri Robić – voditeljica Projekta: definiranje kriterija za izradu i recenzije zadataka, pri-prema priručnika, procedura i uputa vezano uz razvoj ispita te za korištenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, idejno rješenje mrežne aplikacije za narudžbu, izradu i recenzije zadataka, nadzor izrade aplikacije, tehnička podrška korisnicima aplikacija, organizacija edukacija/sastanaka s konzultantom.

Konzultant Projekta

U razvoju standardiziranih ispita iz Fizike sudjelovao je konzultant Projekta g. Eduardo Cascallar koji je održao niz predavanja i radionica u vezi razvoja ispita prema Teoriji odgovora na zadatak te u vezi psi-hometrijskih analiza ispita. Održani sastanci i edukacije prikazani su u poglavlju 1.2.1.


129


Skupina za razvoj ispita iz Fizike

Skupina za razvoj ispita sudjelovala je u razvoju ispita iz Fizike od studenoga 2011. godine do studenoga 2013. godine. Članice skupine bile su osnovnoškolske nastavnice Fizike: Tanja Ćulibrk (OŠ Brezovica, Brezovica), Branka Grgić (OŠ Rapska, Zagreb), Anđelka Jalušić (OŠ Rudeš, Zagreb), Sanja Martinko (OŠ Tituša Brezovačkog, Zagreb), Luca Spetić (OŠ grofa Janka Draškovića, Zagreb). Za uspješnost Projekta važno je bilo njihovo veliko iskustvo u nastavi Fizike u osnovnim školama i unapređivanju te nastave kao nastavnik savjetnik i mentor, u radu i vođenju stručnih vijeća, u sudjelovanju u projektima i stručnim skupovima u organizaciji MZOS-a, kao i u pisanju udžbenika za Fiziku.

Zadaće članica skupine za razvoj ispita iz Fizike bile su: izrada ispitnih specifikacija, sadržajne recenzije i dorade ispitnih zadataka, sadržajne provjere ispitnih inačica za probno i glavno ispitivanje, izrada opisi-vača razina postignuća učenika, izrada primjera zadataka za Priručnik. Članice skupine sudjelovale su u edukacijama koje su bile organizirane u sklopu Projekta.



Ispitne zadatke iz Fizike izrađivalo je 32 nastavnika iz svih dijelova Republike Hrvatske: Emir Agić (OŠ Krune Krstića, Zadar), Stjepan Anđić (SŠ Valpovo, Valpovo), Jurica Barišin (I. gimnazija Split, Split), Pavita Barun (Gimnazija Antuna Gustava Matoša, Zabok), Nedeljko Begović (Gimnazija Matije Antuna Reljko-vića, Vinkovci), Zumbulka Beštak Kadić (OŠ Eugena Kumičića, Velika Gorica), Tea Borković (OŠ Grabrik, Karlovac), Dubravka Despoja (OŠ Ivana Cankara, Zagreb), Anđela Gojević (III. Gimnazija, Zagreb), Vlado Halusek (OŠ Kloštar Podravski, Kloštar Podravski), Ljerka Herceg (OŠ „Turnić“, Rijeka), Anica Hrlec (SŠ Vrbovec, Vrbovec), Vlatka Jeras (OŠ Jure Kaštelana, Zagreb), Goran Jolić (OŠ Vladimira Nazora, Postira; OŠ Ante Starčevića, Dicmo), Ivana Katavić (OŠ Ladimirevci, Ladimirevci), Smiljka Lerga (Tehnička škola za strojarstvo i brodogradnju Rijeka, Rijeka), Patricija Nikolaus (Gimnazija Andrije Mohorovčića, Rijeka), Vesko Nikolaus (Srednja škola za elektrotehniku i računalstvo, Rijeka), Zlatko Norac (OŠ „Ravne njive“ Split, Split), Adela Papić (OŠ „Lučac“, Split), Tanja Paris (OŠ Vijenac, Osijek), Dalibor Perković (Škola za medicinske sestre Mlinarska, Zagreb), Gordana Piskač-Kocijan (OŠ Selnica, Selnica; OŠ Orehovica, Ore-hovica; OŠ Hodošan, Hodošan), Miro Plavčić (Tehnička škola Šibenik, Šibenik), Sonja Prelovšek-Peroš (OŠ Vladimira Nazora Pazin, Pazin), Siniša Režek (OŠ Žitnjak, Zagreb), Dubravka Salopek Mrežner (OŠ Mate Lovraka, Zagreb; OŠ Horvati, Zagreb), Melita Sambolek (Gimnazija Josipa Slavenskog Čakovec, Čakovec), Saša Stiković (Gospodarska škola Buje, Buje), Damir Švelec (OŠ Ivana Kukuljevića Sakcinskog, Ivanec), Eta Turk (OŠ Bartola Kašića, Zagreb), Karmena Vadlja Rešetar (Gimnazija Josipa Slavenskog Čakovec, Čakovec).

Stručne recenzentice ispitnih zadataka

U lipnju/srpnju 2012. godine odabrani su stručnjaci za sadržaj iz Fizike sa zadatkom da naprave završnu, stručnu (sadržajnu) recenziju zadataka prema propisanim kriterijima. Recenzentice zadataka iz Fizike bile su: dr. sc. Planinka Pećina (Prirodoslovno-matematički fakultet, Fizički odsjek, Zagreb) i dr. sc. Lana Ivanjek (Prirodoslovno-matematički fakultet, Fizički odsjek, Zagreb).


130


Nastavnici Fizike koji su sudjelovali u postavljanju pragova za razine postignuća

U postavljanju pragova za razine postignuća 2012. godine sudjelovalo je šest nastavnika Fizike: Antun Bubnjar (OŠ Veliko Trgovišće, Veliko Trgovišće), Marijana Buhin (VI. Osnovna škola Varaždin, Varaždin), Ivan Fadljević (OŠ Vladimir Nazor Virovitica, Virovitica), Ivana Gugić (OŠ Gornje Vrapče, Zagreb), Slavica Pavišić (OŠ Milna Brač, Milna; SŠ „Brač“, Supetar; SŠ „Bol“, Bol), Erika Tušek Vrhovec (OŠ Gornje Jesenje, Gornje Jesenje; OŠ Augusta Cesarca, Krapina).

Njihove zadaće bile su: revizija opisivača razina postignuća učenika te procjena težina zadataka za prob-no ispitivanje, za svaku opisanu razinu postignuća učenika.


131




Prva aktivnost razvoja ispita iz Fizike bila je izrada ispitnih specifikacija koje su izrađene kao temelj za standardizaciju ispita iz Fizike. Ispitne specifikacije izrađuju se u odnosu na cilj ispita te definiraju sadr-žaj ispitivanja te način ispitivanja toga sadržaja.




• od proširenoga nacrta ispita kojim se specificira raspodjela ishoda učenja prema težini i razinama misaonoga procesa, radi narudžbe ispitnih zadataka.

S obzirom na to da je cilj ispita iz Fizike bio procijeniti razine znanja učenika osmih razreda iz Fizike, sadr-žajna struktura ispita izrađena je prema sadržajima i ishodima Nastavnoga plana i programa za osnovne škole za predmet Fiziku. No s obzirom na činjenicu da su ispitivanja planirana za mjesec ožujak u ispitnu specifikaciju nisu ušli sadržaji drugoga polugodišta osmoga razreda, nego sadržaji i ishodi programa od sedmoga razreda do kraja prvoga polugodišta osmoga razreda. U sadržajnoj strukturi ispita nastavni su sadržaji razrađeni u četiri razine specifičnosti: područje, podpodručje, sadržaj podpodručja zaključno s ishodom učenja.

U listopadu 2011. godine napravljena je skica sadržajne strukture ispita temeljem koje je skupina za razvoj ispita nastavila rad na izradi struktura ispita. Održana je trodnevna radionica u kojoj su sudje-lovali skupina za razvoj ispita, predmetni i psihometrijski koordinatori te je pod vodstvom konzultanta Projekta napravljena prva verzija sadržajne strukture ispita. Radionice su provedene od 9. do 11. 11. 2011., a zadnji je dan napravljen i nacrt ispita kojim se specificirala zastupljenost svakoga područja i podpodručja u ispitu, vrste i broj zadataka koji će se ispitati u svakome području i podpodručju te vrije-me potrebno za rješavanje pojedinoga područja/podpodručja.

Sadržajne strukture ispita dovršene su tijekom sastanaka koordinatora sa skupinom za razvoj ispita u drugoj polovini studenoga 2011. godine.

Ispit iz Fizike obuhvaćao je nastavno gradivo Fizike koje je podijeljeno u četiri područja: Tijela i tvari, Međudjelovanje tijela, Energija i Električna struja. Sadržaj tih područja dodatno je razrađen u 11 pod-područja (Tablica 5.2.).


132


Tablica 5.2. Sadržajna područja i podpodručja koja su ispitana ispitom iz Fizike

PODRUČJA PODPODRUČJA

1. Tijela i tvari 1.1. Mjerenje

1.2. Građa tvari i gustoća

2. Međudjelovanje tijela

2.1. Sila

2.2. Ravnoteža

2.3. Tijelo i podloga

3. Energija

3.1. Pretvorbe i oblici energije

3.2. Rad i snaga

3.3. Unutarnja energija i toplina

4. Električna struja

4.1. Strujni krug

4.2. Elektricitet i magnetizam

4.3. Zakonitosti električne struje

Za svaki je predmet bilo potrebno naručiti veći broj zadataka koji su predviđeni nacrtom ispita kako bi se probno ispitao što veći broj zadataka. Cilj koji je trebalo postići je da u glavnome ispitivanju preosta-ne dovoljan broj zadataka dobrih metrijskih karakteristika za dvije forme ispita, a to se može vidjeti tek nakon psihometrijskih analiza rezultata probnoga ispitivanja. U glavnome ispitivanju se trebaju koristiti probno ispitani zadatci najboljih metrijskih karakteristika. Stoga je napravljen prošireni nacrt ispita s većim brojem zadataka za narudžbu iz svakoga podpodručja, odnosno područja, s obzirom na postojeći nacrt ispita. Ti su zadatci zatim raspoređeni prema tri razine težine i tri razine složenosti misaonoga procesa koji je potreban za rješavanje pojedinoga zadatka. Prošireni nacrt ispita iz Fizike izrađivan je na sastancima s konzultantom 6. i 7. 12. 2011., a u njemu su sudjelovali predmetni i psihometrijski koordi-natori, predstavnica skupine za razvoj ispita te voditeljica Projekta.

Početni nacrti ispita revidirani su zajedno s proširenim nacrtima ispita na sastancima predmetnih i psihometrijskih koordinatora sa skupinom za razvoj ispita u siječnju 2012. godine. Prošireni nacrt ispita prošao je zadnju recenziju na sastanku koordinatora i skupine za razvoj ispita s konzultantom i voditelji-com Projekta 30. 1. 2012. godine. Nacrtom je definirano da ispit iz Fizike sadrži 46 zadatka višestrukoga izbora40 raspoređenih u sadržajna područja i podpodručja. Prema broju i zahtjevnosti zadataka određe-no je vrijeme trajanja ispita od 70 minuta.

40 U ispitu iz Fizike unutar Projekta korišteni su isključivo zadatci višestrukoga izbora. Uzimajući u obzir povratni utjecaj koje ispiti imaju na nastavu, u budućim (sustavnim) ispitivanjima preporuča se uporaba i određenoga broja zadataka otvorenoga tipa.


133


Prema proširenome nacrtu ispita, od autora ispitnih zadataka bilo je potrebno naručiti najmanje 600 zadataka prema ishodima učenja pojedinih podpodručja. Razlog narudžbe tako velikoga broja zadataka bila je pretpostavka da neće svi zadatci dobiti pozitivnu recenziju, a za probno ispitivanje bilo je potreb-no imati oko 300 zadataka koji se trebaju rasporediti u veći broj ispitnih inačica.

* * *




Broj zadataka koji se trebaju naručiti iz svakoga područja i podpodručja po ishodima učenja definiran je proširenim nacrtom ispita. Procijenjena je potreba za narudžbom i izradom najmanje 600 zadataka. S obzirom na veliki broj zadataka koji se trebao naručiti i izraditi u kratkome vremenu, te s obzirom na složeni sustav provjere kvalitete i dorade zadataka (putem recenzija), bilo je potrebno napraviti aplika-ciju koja bi podržala te aktivnosti. Sinergijom projekata Razvoj banke zadataka i Razvoj završnih ispita od siječnja do ožujka 2012. razvijena je aplikacija za narudžbu, izradu i recenzije zadataka. U bazu/aplikaci-ju inkorporirani su prošireni nacrti ispita iz Fizike, odnosno sadržaji i ishodi prema kojima će se zadatci naručivati. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje aplikacije u ožujku 2012. nakon čega je mogla započeti narudžba i izrada zadataka.


Autori su putem mrežne aplikacije zaprimali narudžbu za izradu zadataka, unosili i slali zadatke te imali uvid u status recenzije zadataka koje su poslali. Za autore je u ožujku 2012. pripremljen Priručnik za izradu i recenzije zadataka višestrukoga izbora iz Fizike. Priručnik obuhvaća opis i način izrade zadataka višestrukoga izbora, kriterije za izradu i procjenu kvalitete zadataka te primjere zadataka različitih težina i razina složenosti misaonih procesa. Za autore su, osim Priručnika izrađene i Upute za izradu i slanje zadataka putem mrežne aplikacije te im je kroz cijelo vrijeme izrade zadataka bila pružena tehnička i stručna podrška. Za te su potrebe bili izrađeni i dokumenti Pogreške u izradi zadataka i daljnje upute i Često postavljena pitanja koji su poslani autorima.

Od autora su prikupljena 822 ispitna zadatka, a mrežna aplikacija pokazala se iznimno uspješnom u narudžbi, izradi i prikupljanju velikoga broja zadataka od većega broja autora u vrlo kratkome vremen-skom razdoblju.


134




• sadržajnu

• metodološku


Recenzije ispitnih zadataka rađene su prema kriterijima za recenzije ispitnih zadataka koje su definirane Priručnikom za izradu i recenzije ispitnih zadataka. S obzirom na veliki broj zadataka koje je bilo potreb-no recenzirati te na složene postupke recenzija, bilo je potrebno napraviti i mrežnu aplikaciju za recen-ziju zadataka. Stoga se nakon narudžbe zadataka, u travnju 2012. nastavilo raditi na mrežnoj aplikaciji za recenzije zadataka te su procedure i kriteriji za recenzije postale sastavni dio aplikacije. Predmetni i psihometrijski koordinatori izvršili su finalno testiranje aplikacije u svibnju 2012. nakon čega su zapo-čele recenzije zadataka. Osim Priručnika, za potrebe recenzija zadataka napisane su Procedure i upute za recenzije zadataka.

Sadržajne recenzije zadataka započele su 21. 5. 2012., a za sadržajnu recenziju zadataka bili su odgovor-ni predmetni koordinatori zajedno sa skupinom za razvoj ispita. Od svibnja do kraja rujna 2012. održano je ukupno 20 sastanaka predmetnih koordinatora s članicama skupine na kojima su zadatci recenzirani te prema potrebi dorađivani. Oni zadatci koji su dobili negativnu recenziju vraćeni su putem aplikacije autorima ispitnih zadataka uz obrazloženje odbijanja.

Od svibnja do kraja listopada 2012. odvijali su se paralelni procesi izrade zadataka, sadržajne i metodo-loške recenzije i završne sadržajne recenzije zadataka. Metodološke recenzije zadataka započele su 25. 5. 2012. nakon pozitivne sadržajne recenzije. U drugoj recenziji zadatci su također mogli biti prihvaćeni ili odbijeni. U srpnju 2012. održani su sastanci predmetnih koordinatora i psihometrijskoga koordina-tora na kojima su revidirani zadatci koje je psihometrijski koordinator zbog stručnih i metodoloških ra-zloga smatrao upitnima. U srpnju 2012. godine naručeno je dodatnih 225 zadataka kako bi se osigurao dovoljan broj zadataka u svim dijelovima sadržajne strukture ispita (s obzirom na broj zadataka koji su dobili negativnu recenziju). Novi su zadatci također prošli sadržajnu i metodološku recenziju.

Od srpnja do sredine listopada 2012. trajale su završne recenzije zadataka koju su napravile dvije sa-držajne stručnjakinje neovisno što znači da je svaki zadatak prošao dodatnu dvostruku provjeru. Re-cenzije zadataka vršile su se unutar mrežne aplikacije prema Uputama za završnu recenziju zadataka. Recenzentice su u srpnju 2012. dobile pristupne podatke za rad u aplikaciji čime su mogle započeti s recenzijama. Recenzenticama je kroz cijelo vrijeme recenzija zadataka bila pružena tehnička i stručna podrška.

Oni zadatci koji su dobili negativnu recenziju ili prijedlog za doradom od jedne ili obje recenzentice bili su još jednom pregledani od koordinatora. Takvi zadatci mogli su biti dorađeni prema uputama recen-zentica, ili odbijeni. U listopadu 2012. završen je proces recenzija zadataka kada je prikupljen dovoljan broj kvalitetnih zadataka za probno ispitivanje. Broj prihvaćenih zadataka nakon treće recenzije bio je 383. U Tablici 5.3. vidljivi su konačni podatci vezani uz proces izrade i recenzija zadataka.


135



PredmetBroj

naručenih zadataka




u drugoj recenziji


Broj prihvaćenih


recenzije

Fizika 823 822 822 436 425 383


Nakon završnih recenzija zadataka moglo se pristupiti i samoj provedbi radionice određivanja pragova za razine postignuća učenika. U Projektu su korištene tri razine postignuća učenika za koje je trebalo odrediti pragove prolaznosti. To su osnovna, srednja i napredna razina postignuća učenika.

Određivanje pragova za ispite iz Fizike provedeno je na četverodnevnim radionicama između 29. 10. i 2. 11. 2012. godine, a u postavljanju pragova je sudjelovala skupina od šest nastavnika Fizike odabrana putem Javnoga poziva u listopadu 2012. godine. Radionicu je vodio konzultant Projekta uz pomoć psi-hometrijskoga koordinatora i voditeljice Projekta, a radionici su prisustvovali i predmetni koordinatori. Na radionicama su prvo revidirani opisivači razina postignuća učenika koje je u ožujku/travnju 2012. godine izradila skupina za razvoj ispita. Zatim su procijenjene težine svakoga zadatka za tri razine posti-gnuća te su u dva kruga određeni preliminarni pragovi prolaznosti za svaku razinu.

Procijenjene težine zadataka koristile su se u izradi paralelnih ispitnih inačica za probno ispitivanje, a dobiveni pragovi za razine postignuća revidirani su temeljem psihometrijske analize nakon probnoga ispitivanja zadataka 2013. godine (vidjeti poglavlje 5.3.6.).


Ispitne inačice izrađene su prema nacrtu ispitnih inačica. Prema nacrtu, ispit je podijeljen u 16 ispitnih inačica kroz koje je bilo podjednako raspoređeno 298 ispitnih zadataka prema sadržajnoj strukturi/nacrtu ispita te procijenjenoj težini zadataka. Svaka inačica sastavljena je od 16 blokova (klastera) s 18 zadataka po bloku i jednoga sidrišnog bloka s 10 zadataka. U jednoj ispitnoj inačici nalazila su se tri blo-ka, od toga dva rotacijska i jedan sidrišni. Ukupno je svaka inačica sadržavala 46 zadatka. Svaki zadatak, odnosno blok nalazili su se u dvije ispitne inačice dok su se sidrišni zadatci, odnosno blokovi nalazili u svim ispitnim inačicama. Sve inačice i svaki blok u najvećoj su mogućoj mjeri pratili nacrt ispita, od-nosno opterećenja područja sadržajne strukture predmeta Fizike u osnovnoj školi (zaključno s krajem prvoga polugodišta osmog razreda).


136


Za potrebe slaganja i niveliranja ispitnih inačica preko dodjele zadataka u blokove izrađena je Excel bazirana aplikacija. Putem nje je omogućena jednostavna kontrola niveliranja početnih verzija inačica prema nizu parametara dobivenih na radionicama postavljanja pragova za razine postignuća te prema nacrtu ispita, kao i promjene i redefiniranje blokova nakon sadržajnih provjera. Unificirani izlazni set podatka prilagođen je za jednostavnu komunikaciju između ove aplikacije i sistema u kojemu su pohra-njeni zadatci41 putem kojega su se prema izlaznim parametrima aplikacije za slaganje ispitnih inačica raspoređivali zadatci u finalne verzije ispitnih inačica. Prilikom ujednačavanja ispitnih inačica vodila se briga i o ujednačenosti vremena koje je potrebno za rješavanje svake inačice.

Krajem studenoga 2012. napravljeno je 16 ispitnih inačica od strane psihometrijskoga koordinatora koje su generirane pomoću aplikacije (iz banke zadataka), a prema gore opisanim specifikacijama. Izrađene ispitne inačice prošle su dvije sadržajne provjere, odnosno provjere preklapanja sadržaja zadataka unu-tar svake inačice. Nakon prve provjere od strane predmetnih koordinatora slijedila je korekcija ispitnih inačica od strane psihometrijskoga koordinatora. Skupine za razvoj ispita su, zajedno s predmetnim koordinatorima napravile završnu sadržajnu provjeru ispitnih inačica. Nakon te provjere i unesenih ko-rekcija, početkom prosinca 2012. ispitne su inačice pripremljene za grafičko oblikovanje.


Prema nacrtu ispita, za probno ispitivanje bilo je odabrano 298 zadataka iz Fizike koji su raspoređeni u 16 povezanih ispitnih inačica. Kako bi bili zadovoljeni statistički preduvjeti za korištenje dvoparametar-skoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješa-vati svaki zadatak. S obzirom na nacrt ispita, svaku ispitnu inačicu treba rješavati najmanje 300 učenika što znači da ispit treba pisati najmanje oko 4800 učenika. U skladu s navedenim uzorak je rađen s obzi-rom na nacrt ispita te na potrebe psihometrijskih analiza unutar modela Teorije odgovora na zadatak.42

Za sudjelovanje u probnome ispitivanju preliminarno je odabrano ukupno 300 škola i 7405 učenika za pisanje ispita iz Fizike. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja sugla-snosti roditelja/skrbnika ispit je trebalo pisati 5487 učenika iz 293 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Fizike bio je 5130, što je bio dovoljan broj učenika za potrebe planiranih psihome-trijskih analiza.


Probno ispitivanje provedeno je između 4. i 8. ožujka 2013. godine. Nakon povrata ispitnih materijala iz škola i provjere podataka ustanovljeno je da je ispite iz Fizike pisalo ukupno 5130 učenika.

Nakon skeniranja ispita i optičkoga čitanja odgovora učenika slijedile su psihometrijske analize ispita. S obzirom na primjenu novih vrsta analiza te na uporabu novoga programa za analiziranje, konzultant

41 Aplikacija za izradu i recenzije zadataka.42 Povratne informacije bile su namijenjene isključivo učenicima i njihovim roditeljima/skrbnicima, a podijeljene su im u

školama u zapečaćenim kuvertama.


137


Projekta pružio je potporu psihometrijskim koordinatorima u analizi podataka. Sastanci psihometrijskih koordinatora s konzultantom održali su se između 6. i 10. 5. 2013. Tijekom ovih sastanaka psihome-trijski koordinatori su prošli postupak konkurentne kalibracije zadataka na rezultatima iz Engleskoga jezika koji su dobiveni na probnome ispitivanju. Kalibracija se provodila korištenjem Parscale programa u okviru Teorije odgovora na zadatak. Na temelju dogovorenoga postupka provedene su analize iz svih predmeta pa tako i iz Fizike.

Prvo je napravljena preliminarna psihometrijska analiza ispita kako bi učenici koji su sudjelovali u ispiti-vanju mogli dobiti povratnu informaciju o svome uspjehu na ispitu. U prvome koraku dobiveni rezultati analizirani su u okviru Klasične teorije testova uz pomoć programa TiaPlus kako bi se dobili podatci o diskriminativnosti i funkcioniranju ometača (distraktora/netočnih odgovora) svakoga pojedinog za-datka. Zadatci koji su imali negativnu diskriminativnost i/ili nefunkcionalne ometače su izostavljeni iz daljnjih analiza. U sljedećemu koraku provedena je konkurentna kalibracija zadataka u sklopu analiza Teorije odgovora na zadatak za ispit u cjelini. Temeljem dobivenih rezultata analize iz daljnje obrade su isključeni zadatci koji nisu zadovoljavali osnovne kriterije diskriminativnosti i težine. Sljedeći korak je bio napraviti skaliranje rezultata po pojedinim ispitnim inačicama kako bi se dobili precizniji podatci o uspjehu za svakoga učenika.

Nakon finalizacije preliminarne analize sve ispitne inačice su međusobno nivelirane na zajedničku skalu od 100 do 400 bodova s aritmetičkom sredinom od 250 i standardnom devijacijom od 50. Na skali su prikazane razine znanja učenika te rezultat svakoga učenika koji je pristupio ispitivanju. Rezultati za po-jedinoga učenika bili su pripremljeni krajem svibnja 2013. godine, nakon čega se moglo pristupiti izradi izvješća za učenike. Izvješća s povratnim informacijama učenicima koji su pisali ispit iz Fizike poslane su školama u lipnju 2013. godine.43

Za daljnje analize, odnosno za daljnji odabir zadataka korišteni su stroži kriteriji težine i diskriminativ-nosti zadataka, kako bi se odabrali najkvalitetniji zadatci za izradu ispitnih inačica za glavno ispitivanje. Stručnu potporu psihometrijskim koordinatorima u daljnjim analizama ponovno je pružio konzultant na radionici koja se održala između 10. i 14. 6. 2013. Radionice su započele s predstavljanjem prelimi-narnih analiza i rezultata dobivenih za izvještavanje učenika. Nakon svake prezentacije raspravljalo se o dobivenim rezultatima te o planu za daljnje analize. Do kraja radionice psihometrijski koordinatori prošli su postupak daljnje psihometrijske analize ispita prema strožim kriterijima u računalnim progra-mima Parscale i TiaPlus. Dogovorena je i procedura određivanja finalnih pragova za razine postignuća učenika.

Nakon radionice napravljene su podrobne psihometrijske analize ispita i ispitnih zadataka iz Fizike te su određeni pragovi za razine postignuća. Kriteriji za analizu i selekciju zadataka bili su stupanj diskri-minativnosti zadatka, težina zadatka te funkcionalnost ometača kao dodatni kriterij. Prelagani/preteški zadatci, zadatci koji nisu dovoljno diskriminativni te zadatci s nefunkcionalnim ometačima isključeni su iz daljnjih analiza. Tako je nakon primjene ovih kriterija za analizu u programu Parscale preostalo 200 kvalitetnih zadatka, tj. oko 67% od ukupnog broja zadataka iz probnoga ispitivanja.

Nakon provedenih analiza moglo se pristupiti određivanju finalnih pragova za razine postignuća uče-nika. Pri određivanju pragova korišteni su rezultati postavljanja pragova za razine postignuća koje je



138


provedeno na radionici u studenome 2012. godine te rezultati dobiveni nakon psihometrijske analize probnoga ispitivanja. Kako bi u sklopu trećega kruga procedure određivanja pragova procjenjivači vi-djeli samo one zadatke koji su prošli eliminaciju na temelju prethodno opisanih kriterija, za procjene prolaznosti uzeti su podatci samo zadataka koji su probno ispitani, odnosno koji su prošli sve kriterije za ulazak u finalnu analizu. Uzimajući u obzir i Beukovu korekciju dobiven je podatak o postotku riješenosti ispita koji su nastavnici Fizike na radionicama odredili za ulazak u pojedinu skupinu prema znanju iz Fizi-ke. Tako su za ulazak u kategoriju „osnovna razina postignuća“ odredili 36,5% točno riješenih zadataka, za kategoriju „srednja razina postignuća“ 53,5% te za kategoriju „napredna razina postignuća“ 78,5%.

Kako bi uz mišljenje odnosno rezultat skupine nastavnika Fizike na radionici postavljanja pragova u obzir bila uzeta i teorijska raspodjela, učinjena je korekcija. Najprije je izračunata razlika između postignuća potrebnih za pojedini prag (eng. cut point) određenih na temelju rezultata postavljanja pragova na radionici i onih teorijski utemeljenih na pretpostavci normalne raspodjele. Zatim je procjena dobivena na radionici postavljanja pragova pomaknuta za polovicu te razlike. Tako dobiveni pragovi za razine postignuća, kao i pogreške mjerenja, prikazane su u Tablici 5.4.

Tablica 5.4. Pragovi za pojedine razine postignuća učenika i pogreška mjerenja na pojedinom pragu


Prag postignuća učenika (radionica




(nakon korekcije)

Pogreška mjerenja

1. osnovna razina 209,5 175 192,25 21,8956

2. srednja razina 260,5 250 255,25 19,2135

3. napredna razina 335,5 325 330,25 24,5952

Psihometrijski koordinatori predstavili su preliminarne rezultate ispita predmetnim koordinatorima na zajedničkome sastanku s konzultantom održanome 13. 6. 2013. Na sastanku je također predstavljen daljnji plan analiza ispita i izrade inačica za glavno ispitivanje.


139




Nakon provedenih preliminarnih analiza ispita, eliminacije zadataka sa slabim metrijskim karakteristi-kama, finalizacije analize ispita i određivanja pragova prolaznosti, pristupilo se izradi ispitnih formi od-nosno inačica za glavno ispitivanje. Nacrt ispitnih inačica za glavno ispitivanje određivao se s obzirom na broj preostalih zadataka s dobrim metrijskim karakteristikama u pojedinim područjima/podpodručjima prema sadržajnoj strukturi i nacrtu ispita.

Između 9. i 13. 9. 2013. održani su sastanci psihometrijskih koordinatora svih predmeta i voditeljice Projekta s konzultantom kako bi se definirao nacrt ispitnih inačica za glavno ispitivanje. Psihometrijski su koordinatori predstavili način provedbe analiza ispita i rezultate provedenih analiza. Nakon toga je provedena rasprava i dogovor o nacrtu ispitnih inačica na temelju rezultata provedenih analiza.

Nakon finalne analize preostalo je 200 zadataka koji su zadovoljili zadane kriterije. Dogovoreno je da će u glavnome ispitivanju zadatci biti raspodijeljeni u dvije osnovne ispitne forme (forma A i B), a zado-voljavajući strukturu predviđenu nacrtom ispita. Svaka forma sadržava zajedničke sidrišne zadatke (20 zadataka) te za formu jedinstvene zadatke (26 zadataka), čime je broj zadataka za ispitivanje ostao 46 po ispitnoj formi.

Na sastancima s konzultantom raspravljena je mogućnost probnoga ispitivanja novih zadataka unutar glavnoga ispitivanja, kako bi se „banka zadataka“ mogla puniti zadatcima provjerenih metrijskih karak-teristika. Odlučeno je unutar glavnoga ispitivanja probno ispitati određeni broj zadataka koji se ne bi bodovali u konačnome rezultatu.

U tome kontekstu, u sklopu ispita iz Fizike probno se ispitalo 24 nova zadatka. Svaka forma je podi-jeljena u tri inačice kojima se uz osnovnu strukturu forme dodaju i dodatna 4 jedinstvena zadatka za probno ispitivanje. Time je dobiveno 6 inačica ispita (2 forme po tri inačice svaka) od kojih svaka sadrži 50 zadataka (Grafički prikaz 5.1.). Predviđeno vrijeme za pisanje ispita povećano je na 80 minuta s ob-zirom na to da dodatna 4 zadatka ne bi trebala produljiti potrebno vrijeme za više od 10 minuta (izvr-šena je kontrola procijenjenoga vremena kod odabira zadataka za probno ispitivanje). Kriteriji za odabir zadataka za probno ispitivanje bili su sadržajno područje u kojima ima malo visokokvalitetnih probno ispitanih zadataka, procijenjena težina zadatka i kognitivna razina. S obzirom na nedovoljno zadataka za procjenu viših razina znanja iz Fizike odabrani su uglavnom zadatci s procijenjenom višom razinom mi-saonoga procesa i težinom. Zadatci koji su probno ispitani nisu predviđeni za izračun rezultata učenika odnosno sume ispita te time ne utječu na raspodjelu prema sadržajnim područjima kao niti na krivulje informativnosti.


140























50 50 50 50 50 50

Prilikom odabira zadataka za glavne forme vodilo se računa o sadržajnome području koji zadatak po-kriva, informativnosti zadataka i težini, odnosno položaju zadatka na bodovnoj skali, tj. regiji u kojoj se zadatak nalazi. U odabiru zadataka prema sadržajnim područjima poštivan je nacrt ispita te obje forme u potpunosti slijede nacrt.

Odabir prema sadržajnim područjima usporedno je vršen s kontrolom položaja zadataka na bodovnoj skali, tj. regijama. S obzirom na navedene kriterije odabira prvo su odabrani najprimjereniji zadatci za sidrišne zadatke (20) koji ulaze u obje forme ispita (A i B). Za 20 sidrišnih zadataka izabrani su najinfor-mativniji, ovisno o regiji i sadržajnome području. Na isti način birani su i jedinstveni zadatci koji ulaze u formu A (26) i formu B (26), pazeći pritom da forme budu što ujednačenijih krivulja informativnosti.

Ovim načinom odabira zadataka osim sadržajne pokrivenosti dobivene su visoko međusobno usklađe-ne forme ispita, odnosno komplementarne forme ispita prema krivuljama informativnosti na bodovnoj skali sposobnosti (Grafički prikaz 5.2.).


141


Grafički prikaz 5.2. Krivulje informativnosti forme A i forme B na temelju podataka probnoga ispitivanja

Psihometrijski koordinatori su konzultantu na sastancima održanima između 21. i 25. 10. 2013. pred-stavili izrađene forme ispita te pripadajuće statističke i psihometrijske parametre. Konzultant je iskazao zadovoljstvo provedenim analizama i ujednačavanjem formi ispita. Zaključak provedenih konzultacija bio je da su forme ispita iz Fizike standardizirane, odnosno ujednačene prema sadržaju, težini i informa-tivnosti te spremne za glavno ispitivanje.


Prema nacrtu ispita, svaka od dvije forme ispita sastojala se od 20 zadataka koji su zajednički svakoj ina-čici te od 26 jedinstvena zadatka. S obzirom na potrebu za probnim ispitivanjem novih zadataka, svaka je forma podijeljena u tri inačice kojima su dodani jedinstveni zadatci za probno ispitivanje. Time je do-biveno šest inačica ispita koje sadrže jedinstvene zadatke za probno ispitivanje. Kako bi bili zadovoljeni statistički preduvjeti za korištenje dvoparametarskoga modela Teorije odgovora na zadatak prilikom analize rezultata, najmanje 600 učenika mora rješavati svaki zadatak. S obzirom na nacrt inačica, svaku ispitnu inačicu treba rješavati najmanje 600 učenika, što znači da ispite treba pisati najmanje 3600 učenika. Uzorak je rađen s obzirom na nacrt ispita te na potrebe za psihometrijskim analizama unutar modela Teorije odgovora na zadatak.44

Za sudjelovanje u glavnome ispitivanju preliminarno je odabrano 225 škola i 5253 učenika za pisanje ispita iz Fizike. Nakon faze provjere preliminarnoga popisa učenika te faze prikupljanja suglasnosti ro-



142


ditelja/skrbnika ispit je trebalo pisati 3985 učenika iz 220 osnovnih škola. Konačan broj učenika koji su pisali ispit iz Fizike bio je 3776 učenika što je bio dovoljan broj učenika za potrebe planiranih psihome-trijskih analiza.



Ispit iz Fizike pisalo je 3776 učenika, od čega je 1897 rješavalo formu A, a 1879 formu B. U Tablici 5.5. prikazan je broj učenika koji su pisali pojedine forme i inačice ispita.

Tablica 5.5. Broj učenika koji su pisali pojedine forme i inačice ispita iz Fizike

A1 A2 A3 Ukupno A B1 B2 B3 Ukupno B Sveukupno

Broj učenika

629 631 637 1897 631 621 627 1879 3776

Postotak učenika

16,7% 16,7% 16,9% 50,2% 16,7% 16,4% 16,6% 49,8%

Rezultati su analizirani i inačice kalibrirane u okviru Teorije odgovora na zadatak u računalnome progra-mu Parscale. U ovoj analizi nisu korišteni zadatci koji su u glavnome ispitivanju probno ispitani. Analiza je provedena na sidrišnim i jedinstvenim zadatcima pojedine inačice (46 zadataka unutar inačice: 20 sidrišnih zadataka te 26 jedinstvenih zadataka za inačicu).

Dodatna provjera parametara zadataka rađena je u računalnome programu TiaPlus kako bi se ispitala diskriminativnost i težina zadataka te provela analiza ometača. Dobiveni parametri svih zadataka bili su unutar postavljenih kriterija te su svi zadatci korišteni u daljnjim obradama. Koeficijent pouzdanosti Alpha u prvoj inačici iznosi 0,89, a u drugoj 0,88. Prosječna diskriminativnost zadataka je srednje visoka (0,41, tj. 0,40). Svega nekoliko zadataka imalo je relativno niske koeficijente diskriminativnosti te bi ih u budućim inačicama ispita trebalo postepeno zamijeniti s kvalitetnijim zadatcima. Možemo zaključiti kako su inačice međusobno ujednačene i prema parametrima pouzdanosti i diskriminativnosti.

Individualni rezultati normirani su na skali od 100 do 400 bodova s aritmetičkom sredinom 250 i stan-dardnom devijacijom 50. Distribucija rezultata učenika je blago pomaknuta prema nižim vrijednostima rezultata (Grafički prikaz 5.3.).


143


Grafički prikaz 5.3. Distribucija rezultata učenika na ispitu iz Fizike

Grafički prikaz 5.4. Informativnost ispita iz Fizike

Iz Grafičkog prikaza 5.4. je razvidno kako je informativnost najviša u intervalu između -2,2 i 1,6 uz naj-nižu pogrešku mjerenja. U tom intervalu se nalazi oko 93 % učeničkih rezultata iz čega proizlazi kako je ispit bio zadovoljavajuće informativnosti za većinu učenika. Također, pragovi pojedinih razina postignu-ća učenika se nalaze u spomenutome rasponu, što znači kako se s priličnom preciznošću može utvrditi je li neki od učenika u jednoj ili drugoj graničnoj kategoriji. Nešto veća pogreška mjerenja zamjetna je na zadnjemu pragu.

U Tablici 5.6. prikazani su pragovi za razine postignuća učenika i pripadajuće pogreške mjerenja, a u Ta-blici 5.7. prikazani su postotci učenika koji su na osnovu određenih pragova raspoređeni u četiri razine postignuća. Pragovi prolaznosti korišteni na glavnome ispitivanju određeni su nakon probnoga ispitiva-nja zadataka (vidjeti poglavlje 5.3.6.).


144



Razina postignuća učenika Prag razine postignuća učenika Pogreška mjerenja




Tablica 5.7. Broj i postotak učenika u pojedinoj kategoriji razine postignuća (vještina i znanja iz Fizike) određenoj na temelju određenih pragova


Ispod osnovne razine 434 11,5

Osnovna razina 1748 46,3

Srednja razina 1336 35,4

Napredna razina 258 6,8

Iz Tablice 5.7. razvidno je kako se većina učenika nalazi u „osnovnoj“ (nešto više od 46%) ili „srednjoj ra-zini postignuća“ (nešto više od 35%). Prema određenim pragovima gotovo je 7% učenika na „naprednoj razini postignuća“, a 11,5% učenika nije doseglo ni „osnovnu razinu postignuća“.

* * *

Analiza zadataka i ispita koji su korišteni u glavnome ispitivanju ukazuje na stabilnost ispita te ade-kvatnost odabranih zadataka nakon probnoga ispitivanja. Krivulje informativnosti ispita prije i nakon glavnoga ispitivanja sličnoga su tijeka i vrijednosti, dok su svi zadatci i u glavnome ispitivanju opravdali kriterije na osnovu kojih su odabrani u probnome ispitivanju. Ovim nalazima indirektno se potvrđuje i sam postupak standardizacije, odnosno adekvatnost postupka za stabilizaciju i standardizaciju ispita.

Rezultati procjene učeničkih znanja ukazuju na nešto slabiju usvojenost znanja iz Fizike naspram oče-kivanih. Taj pomak prema nižim vrijednostima nije velik, a detaljnije sadržajne analize mogle bi pružiti precizniji uvid u eventualne sadržajne uzroke.

Usporedno gledano parametri ispita dobro prate populacijski okvir te ispit svojim karakteristikama naj-preciznije mjeri znanja u rasponu najveće gustoće populacije. S obzirom na predodređene pragove ispit visoko zadovoljava metrijskim karakteristikama dva od tri praga razine postignuća učenika te ostavlja prostora za dodatno poboljšanje metrijskih karakteristika na posljednjem pragu napredne razine.


145




U kontekstu dodatnih prikaza uspjeha na ispitu iz Fizike testirane su razlike između učenika i učenica u uspjehu na ispitu iz Fizike, odnosno u dobivenoj procjeni postignuća učenika u obje skupine. U Tablici 5.8. prikazani su prosječni rezultati učenika i učenica na ispitu iz Fizike te test značajnosti razlika.

Tablica 5.8. Razlike u rezultatima na ispitu iz Fizike s obzirom na spol – prosječni rezultat na ispitu i značajnost razlike

Broj učenika (N)

Postotak (%) Aritmetička sredina (M)


t-test

Učenici 1840 48,7 250,73 50,553 t=-0,869df=3774p=0,385

Učenice 1936 51,3 249,31 49,485

UKUPNO 3776

Nisu utvrđene statistički značajne razlike između učenica i učenika u rezultatima na ispitu iz Fizike te možemo zaključiti da obje skupine posjeduju jednaku prosječnu sposobnost, odnosno jednake vještine i znanja iz Fizike. Gledano prema kategorizaciji na osnovu predodređenih razina postignuća prosječni rezultat obje skupine nalazi se u kategoriji „osnovne razine postignuća“.


S obzirom na regionalni položaj škole koju učenici pohađaju analizirani su njihovi rezultati odnosno procijenjena postignuća. U Tablici 5.9. nalaze se prosječni rezultati učenika iz Sjeverozapadne Hrvatske, Središnje i Istočne (Panonske) Hrvatske, te Jadranske Hrvatske te test značajnosti razlika.45



146


Tablica 5.9. Razlike u rezultatima na ispitu iz Fizike s obzirom na regiju – prosječni rezultat na ispitu i značajnost razlike

RegijaBroj učenika

(N)Postotak

(%)Aritmetička sredina (M)


ANOVA


1425 37,7 254,15 50,725

F(2, 3773)=48,762,p=,000

(Tamhane 1≠2, 2≠3)


1227 32,5 238,69 47,499


UKUPNO 3776

Iz Tablice 5.9. vidljivo je kako postoje statistički značajne razlike u uspjehu učenika s obzirom na regiju iz koje dolaze. Učenici iz Sjeverozapadne Hrvatske i Jadranske Hrvatske postigli su statistički značajno više rezultate na ispitu iz Fizike od učenika iz Središnje i Istočne (Panonske) Hrvatske. Nije utvrđena statistički značajna razlika između prosječnih rezultata učenika iz Sjeverozapadne Hrvatske i Jadranske Hrvatske. Gledano prema kategorizaciji na osnovu predodređenih razina postignuća, prosječni rezul-tati učenika iz Sjeverozapadne Hrvatske i Središnje i Istočne (Panonske) Hrvatske nalaze se u kategoriji „osnovne razine postignuća“, dok se prosječan rezultat učenika iz Jadranske Hrvatske nalazi u kategoriji „srednje razine postignuća“.

Odnos rezultata na ispitu iz Fizike i školskoga uspjeha u 7. razredu

U Tablicama 5.10. i 5.11. prikazani su prosječni rezultati na ispitu iz Fizike s obzirom na ocjene iz Fizike te opći uspjeh u 7. razredu. Analizirane su značajnosti razlika uspješnosti na ispitu među kategorijama ocjena kao i rang-korelacije rezultata učenika na ispitu s ocjenama iz Fizike i općim uspjehom.


147


Tablica 5.10. Prosječni rezultati na ispitu iz Fizike i ocjene iz Fizike u 7. razredu

Ocjena iz FizikeBroj

učenika (N)Postotak



ANOVA / Spearman ρ

Dovoljan (2) 846 22,4 210,27 32,566 F(3, 3757)=762,706,

p=,000(Tamhane

2≠3, 2≠4, 2≠5, 3≠4, 3≠5, 4≠5)

/Spearman ρ

r=,615p=,000

Dobar (3) 1012 26,8 233,28 35,504

Vrlo dobar (4) 965 25,6 259,56 40,446

Odličan (5) 938 24,8 294,49 47,365

UKUPNO 3761 99,6

Nedostaju podatci

15 0,4

Testiranjem značajnosti razlika među kategorijama ocjena iz Fizike u 7. razredu s obzirom na postignut rezultat na ispitu dobivene su statistički značajne razlike među svim kategorijama. Iz rezultata je vidljivo da s porastom ocjene iz Fizike raste i prosječan rezultat učenika. Gledano prema kategorizaciji na osno-vu predodređenih razina postignuća, prosječni rezultat kategorija ocjena dovoljan i dobar nalazi se u kategoriji „osnovne razine postignuća“ dok se prosječni rezultati kategorija ocjena vrlo dobar i odličan nalaze u kategoriji „srednje razine postignuća“. Korelacijskom analizom utvrđena je značajna poveza-nost između školskih ocjena iz Fizike i rezultata na ispitu.

Tablica 5.11. Prosječni rezultati na ispitu iz Fizike i opći uspjeh u 7. razredu

Opći uspjehBroj

učenika (N)Postotak



ANOVA / Spearman ρ

Dovoljan (2) 26 0,7 185,01 28,452 F(3, 3770)=786,887,

p=,000(Tamhane

2≠3, 2≠4, 2≠5, 3≠4, 3≠5, 4≠5)

/Spearman ρ

r=,632p=,000

Dobar (3) 898 23,8 209,35 31,710

Vrlo dobar (4) 1492 39,5 241,41 37,966

Odličan (5) 1358 36,0 287,67 44,827

UKUPNO 3774 99,9

Nedostaju podatci

2 0,1


148


Statistički značajne razlike među kategorijama ocjena općega uspjeha u 7. razredu s obzirom na posti-gnut rezultat na ispitu dobivene su među svim kategorijama. Iz rezultata je vidljivo da s porastom opće-ga uspjeha raste i prosječan rezultat učenika. Gledano prema kategorizaciji na osnovu predodređenih razina postignuća, prosječni rezultat kategorije ocjene dovoljan nalazi se u kategoriji „ispod osnovne ra-zine postignuća“, rezultat kategorija dobar i vrlo dobar nalazi se u kategoriji „osnovne razine postignu-ća“, dok se prosječni rezultati kategorije ocjene odličan nalazi u kategoriji „srednje razine postignuća“. Korelacijskom analizom utvrđena je značajna povezanost između školskoga općeg uspjeha i rezultata na ispitu.

U Grafičkome prikazu 5.5. prikazani su odnosi školskih ocjena iz Fizike i općega uspjeha te prosječnoga uspjeha na ispitu gdje je primjetan porast prosječnih rezultata na ispitu s porastom kategorije školskih ocjena.

Grafički prikaz 5.5. Odnos školskih ocjena i prosječnoga uspjeha na ispitu

Dobivene korelacije između ocjene iz Fizike kao i općega uspjeha u 7. razredu s uspjehom na ispitu su relativno visoke i značajne (Tablice 5.4.10. i 5.4.11.) te su suprotne očekivanima s obzirom da oče-kujemo veću korelaciju uspjeha na ispitu sa školskom ocjenom iz Fizike nego s općim uspjehom koji sadrži ocjene i ostalih predmeta. Dodatnim pregledom raspodjela školskih ocjena (Grafički prikaz 5.6.) primjetni su odmaci od očekivanih normaloidnih distribucija (očekuje se manji broj učenika u katego-rijama dovoljan i odličan, a veći u kategorijama dobar i vrlo dobar). U slučaju ocjena iz Fizike nalazi se gotovo identičan broj učenika u svakoj kategoriji (totalni raspon među kategorijama je 4,4%). U slučaju općega uspjeha u kategoriji ocjene dovoljan gotovo da i nema učenika (0,7%) dok se za preostale kate-gorije može reći da je zamjetna očekivana normaloidnost distribucije.


149


Grafički prikaz 5.6. Distribucije školskih ocjena

Distribucije prikazane na Grafičkome prikazu 5.6. upućuju na određene probleme u školskim ocjenama iz Fizike, odnosno u kriterijima ocjenjivanja iz Fizike. U slučaju općega uspjeha postoji normaloidna distribucija, ali uz izraženo odstupanje u nepostojanju kategorije ocjene dovoljan i pomaknutosti cijele distribucije prema višim kategorijama ocjena (75,5% učenika ima opći uspjeh vrlo dobar i odličan). S obzirom na korištene rang-korelacije efekt distribucije je umanjen, ali korelacija je i dalje pod utjecajem obje mjere znanja koje ulaze u analizu, kako rezultata ispita, tako i školske ocjene. U tome kontekstu očekivana normaloidna distribucija upućuje i na objektivnost ocjenjivanja kao realne procjene znanja. Većom objektivnošću općega uspjeha mogla bi se objasniti dobivena veća korelacija rezultata ispita s općim uspjehom nego s ocjenom iz Fizike.


150


5.5. ZAKLJUČAK

U sklopu projekta Razvoj završnih ispita od 2011. godine do 2015. godine razvijeni su i provedeni stan-dardizirani ispiti iz Fizike temeljem suvremenih pristupa ispitivanju znanja učenika. Primijenjene su nove procedure u razvoju ispita, u radu sa skupinama i drugim vanjskim suradnicima te u radu pred-metnih i psihometrijskih stručnjaka iz Centra. Navedene promjene unaprijedile su sustav osiguranja kvalitete u izradi ispitnoga materijala, a poseban doprinos razvoju ispita bila je i uporaba mrežnih apli-kacija u različitim fazama izrade ispitnoga materijala.

Što se tiče razvijenoga ispita iz Fizike u sklopu Projekta, možemo zaključiti kako konačan ispit iz Fizike zadovoljava visoke metrijske i sadržajne standarde. Takvim standardiziranim ispitom može se garanti-rati dugogodišnje zadržavanje kvalitete objektivnoga ispitivanja znanja. Važan čimbenik takvoga ispita je i mogućnost unapređenja koje neće ugroziti stabilnost standardizacije kao osnove za longitudinalno praćenje rezultata uspješnosti učenika i nastavnoga procesa. Budući razvoj nužno bi trebao sadržavati i proširenje prilagodbe ispita na skupine učenika koje nisu bile uključene u faze razvoja uz nužne kontrole i prilagodbe standardizacije u postupku proširenja.


DODATAK: OBJAŠNJENJA OSNOVNIH POJMOVA VEZANIH ZA IZRADU I ANALIZU ISPITA TE PRIKAZ REZULTATA

Pripremio: Josip Šabić


152


PSIHOMETRIJSKE ANALIZE ZADATAKA/ISPITA

Psihometrijskim analizama utvrđuju se metrijska svojstva zadataka poput njihove težine i diskrimi-nativnosti te svojstva cijeloga testa poput težine i pouzdanosti testa. Poznavanje metrijskih svojstava zadataka i testova omogućuje konstrukciju novih testova s boljim svojstvima koji će na pravedniji način razlikovati učenike prema njihovom znanju.

U Klasičnoj teoriji testova (Novick, 1966.) indeks težine zadatka izražen je proporcijom riješenosti za-datka od strane učenika. Test se obično sastoji od zadataka različitih težina. Primjerice, lagani zadatci dobro razlikuju učenike najslabijega znanja koji će u prosjeku imati manju vjerojatnost točnoga odgo-varanja čak i na te zadatke nego ostali učenici. Teški zadatci služe za razlikovanje učenika koji posjeduju najviše znanja jer će u prosjeku takvi učenici imati veću vjerojatnost rješavanja takvih zadataka. Zadatci-ma srednje težine može se razlikovati prema znanju najveći broj učenika. Koeficijent diskriminativnosti zadatka izražen je kao korelacija uspjeha učenika na pojedinačnome zadatku i ostatku testa. Poželjno je da koeficijent diskriminativnosti bude pozitivan i relativno visok (iznad 0,3), što ukazuje na to da zada-tak vjerojatno mjeri isti predmet mjerenja kao i ostatak testa. U okviru Klasične teorije testova provodi se i analiza ometača (netočnih odgovora) na zadatcima višestrukoga izbora, kao i računanje korelacija ometača s ostatkom testa. Pouzdanost testa se obično izražava Cronbachovim Alpha koeficijentom koji se temelji na interkorelacijama među zadatcima testa. Ovaj koeficijent može se kretati u rasponu od 0 do 1, pri čemu više vrijednosti (npr. 0,95) ukazuju na veću homogenost zadataka i veću pouzdanost testa. Međutim, visoke vrijednosti mogu biti i nusprodukt velikoga broja zadataka u testu. Analize u okviru Klasične teorije testova koje su prikazane u ovome izvješću provedene su u računalnome progra-mu TiaPlus (Heuvelmans, 2001.).

Teorija odgovora na zadatak (npr. Hambleton, Swaminathan i Rogers, 1991.) je noviji pristup u kojemu se pokušava naći odgovarajući matematički model kojim se može opisati vjerojatnost točnoga odgova-ranja na zadatak u funkciji postignuća učenika. Karakteristična funkcija zadatka u dvoparametarskome modelu koji je korišten u ovome Projektu ovisi o parametrima diskriminativnosti (a) i težine (b) za-datka. Parametar b u ovome slučaju odgovara točki na skali postignuća u kojoj učenik ima vjerojatnost točnoga odgovaranja na zadatak od 50%. Parametar a je proporcionalan nagibu krivulje karakteristične funkcije zadatka u točki b. Što je nagib krivulje veći, veći je i parametar a, tj. diskriminativnost toga za-datka. Zadatak ima najveću informativnost u području skale postignuća u kojemu je nagib karakteristič-ne funkcije zadatka najveći, dakle u točki b. Vrijednosti informativnosti zadatka na različitim dijelovima skale postignuća moguće je prikazati informacijskom krivuljom zadatka. Informacijske krivulje pojedi-nih zadataka u testu moguće je zbrojiti te na taj način dobiti informacijsku krivulju testa. Ova krivulja pokazuje u kojemu je dijelu skale postignuća test najinformativniji, odnosno, na kojoj razini postignuća test najbolje razlikuje učenike. To je istodobno i razina postignuća na kojoj je standardna pogreška mje-renja, odnosno, nesigurnost u zaključivanju o stvarnome rezultatu učenika, najmanja. Za određivanje parametara zadataka u okviru Teorije odgovora na zadatak korištena je tzv. konkurentna kalibracija u kojoj su parametri svih zadataka iz svih ispitnih inačica kalibrirani istovremeno, a što omogućuju sidrišni zadatci zajednički svim ispitnim inačicama.

Parametri zadataka dobiveni u okviru Teorije odgovora na zadatak (a,b, informativnost) su manje ovi-sni o uzorku učenika na kojemu je test primijenjen nego parametri dobiveni u okviru Klasične teorije testova (indeks težine, koeficijent diskriminativnosti, Cronbachov Alpha koeficijent), te su stoga njihove


153

DODATAK: OBJAŠNJENJA OSNOVNIH POJMOVA VEZANIH ZA IZRADU I ANALIZU ISPITA TE PRIKAZ REZULTATA

vrijednosti stabilnije i primjenjivije kao informacija koja se pohranjuje u banku zadataka. Ti su parametri vrlo korisni prilikom sastavljanja standardiziranih inačica testa koje se zatim mogu koristiti na različitim ispitnim rokovima. Također, moguće je birati zadatke u test na način da se biraju zadatci koji imaju najveću informativnost baš na onome dijelu skale postignuća koji autora testa zanima. Ovakav pristup omogućuje i da se rezultati učenika izraze na jedinstvenoj skali što omogućava i usporedbu rezultata učenika koji su polagali test na različitim rokovima. Teorija odgovora na zadatak olakšava i neke druge napredne tehnike u modernome testiranju poput računalnoga adaptivnog testiranja. Analize u okviru Teorije odgovora na zadatak koje su prikazane u ovome izvještaju provedene su u računalnome progra-mu Parscale (du Toit, 2003.).

Nakon probnoga ispitivanja, psihometrijske analize se provode kako bi se utvrdila metrijska svojstva zadataka. Na temelju tih informacija kasnije se sastavljaju inačice ispita za glavno ispitivanje. Poznava-nje metrijskih svojstava zadataka omogućuje konstrukciju standardiziranih inačica ispita koje su ujed-načene ne samo sadržajno, već i prema težini i informativnosti na različitim razinama. Analize se pro-vode i nakon glavnoga ispitivanja.

PRIKAZ REZULTATA UČENIKA

Aritmetička sredina (M) je prosječni rezultat skupine učenika izračunat na način da se individualni ra-zultati učenika zbroje, a onda se taj zbroj podijeli brojem učenika. Standardna devijacija (SD) je mjera raspršenja rezultata učenika oko aritmetičke sredine. Kada se rezultati učenika distribuiraju normalno, tada se najveći broj individualnih rezultata (oko 68%) nalazi u rasponu M ± 1SD. U rasponu M ± 2SD nalazi se 95% rezultata, a u rasponu M ± 3SD nalazi se 99% rezultata (Petz, 1997.).

U ovome Projektu korištena je skala postignuća učenika s M=250 i SD=50. Velika većina učenika je imala rezultate u rasponu od 100 do 400 bodova. Rezultati izvan toga raspona su svedeni na vrijednost 100 ako se radilo o ekstremno niskome rezultatu, odnosno 400 ako se radilo o ekstremno visokome rezultatu.

Definirane su tri razine postignuća: osnovna, srednja i napredna. Ove razine su određene pragom po-stignuća, tj. brojem bodova koje učenik mora postići kako bi iskazao osnovno, srednje ili napredno postignuće. Pragovi postignuća su različiti za testove iz različitih predmeta.

Prilikom određivanja pragova postignuća, u obzir je bila uzeta i tzv. Beukova korekcija. Beukova korek-cija praga postignuća (Beuk, 1984.; Bowers i Shindoll, 1989.) uzima u obzir stupanj u kojem su procje-njivači skloni apsolutnom ili relativnom standardu prilikom određivanja praga postignuća (drugim riječi-ma, jesu li u većoj mjeri usmjereni na postotak zadataka koje učenik mora točno riješiti kako bi postigao određenu razinu postignuća ili na postotak učenika koji se trebaju naći na određenoj razini postignuća).

U prikazu postignuća učenika na ispitu s obzirom na demografske i školske pokazatelje rađene su anali-za varijance (ANOVA) i t-test. Analiza varijance (ANOVA) je statistički postupak za testiranje statističke značajnosti razlika među aritmetičkim sredinama. Obično se koristi za usporedbu prosječnih rezultata različitih skupina pristupnika. T-test je poseban slučaj ANOVA-e u kojemu se testira statistička značaj-nost razlike između dvije aritmetičke sredine (Petz, 1997.).



155


LITERATURA

AERA, APA, NCME (2006). Standardi za pedagoško i psihološko testiranje. Jastrebarsko: Naklada Slap.

Beuk, C. H. (1984). A method for reaching a compromise between absolute and relative standards in examinations. Journal of Educational Measurement, 21, 147-152.

Bowers, J. J. i Shindoll, R. R. (1989). A comparison of the Angoff Beuk, and Hofstee methods for setting a passing score. Iowa City, IA: ACT Research Report Series, 89-2.

Cito/International (2009). Nacionalni ispiti – Nacionalna procjena postignuća. Mjerila, smjernice, postupci. Poveznica: http://dokumenti.ncvvo.hr/Projekti/Projekt/mjerila_smjernice_cito.pdf

Cohen, L., Manion L., Morrison K. (2007). Metode istraživanja u obrazovanju. Jastrebarsko: Naklada Slap.

Gjeri Robić, N., Muraja, J. (2013). Possibilities of implementing concepts and methods used in national and international surveys in the development of final examinations in Croatia. Poveznica: http://www.aea-europe.net/index.php/paris-conference-papers

Gronlund, N. E. (2003). Assessment of Student Achievement. Boston: Allyn & Bacon Publishing.

Hambleton, R. K., Swaminathan, H. i Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, CA: Sage.

Heuvelmans, T. (2001). TiaPlus - User’s Manual. Arnhem: CitoGroup.

Ministarstvo znanosti, obrazovanja i sporta (2012.a.). Strateški plan za razdoblje 2012. – 2014. Poveznica: http://public.mzos.hr/fgs.axd?id=18602

Ministarstvo znanosti, obrazovanja i sporta (2012.b.). Strateški plan za razdoblje 2013. – 2015. Poveznica: public.mzos.hr/fgs.axd?id=19105

Nacionalna klasifikacija prostornih jedinica za statistiku (NKPJS). Narodne novine, br. 35/2007.

Nastavni plan i program za osnovnu školu (2006). Zagreb: Ministarstvo znanosti, obrazovanja i športa.

Novick, M. R. (1966). The axioms and principal results of classical test theory. Journal of Mathematical Psychology, 3(1), 1-18.

Plan razvoja sustava odgoja i obrazovanja 2005. – 2010. (2005.). Zagreb: Ministarstvo znanosti obrazovanja i športa. Poveznica: public.mzos.hr/fgs.axd?id=14193

Strategija obrazovanja, znanosti i tehnologije (2014.). Narodne novine, br. 124/2014.

The Association for Educational Assessment – Europe. European Framework of Standards for Educational Assessment 1.0. Poveznica: http://www.aea-europe.net/images/downloads/SW_Framework_of_European_Standards.pdf

du Toit, M. (2003). IRT from SSI: BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Lincolnwood, IL: Scientific Software International.


NACIONALNI CENTAR ZA VANJSKO VREDNOVANJE OBRAZOVANJA

Petračićeva 4

10 000 Zagreb, Hrvatska

Kontakt:

[email protected]

www.ncvvo.hr


0

5

25

75

95

100

Documents

100 95 75dokumenti.ncvvo.hr/Razvoj_ispita/RZI_zavrsno_projektno_izvjesce.pdf · sadrŽaj predgovor 5 1. prikaz aktivnosti i ostvarenih ciljeva projekta razvoj zavrŠnih ispita na