11

ALGEBRA · ALGEBRA Ispit i ispitni sustav Ispit je osnovni element aplikacije i prilikom izrade ispitnog sustava glavni cilj je bio maksimalna kontrola nad što većim brojem parametara

Embed Size (px)

Citation preview

ALGEBRA

ALGEBRA Maksimirska 58a 10000 Zagreb Croatia Tel: ++385 1 2442 050 Fax: ++385 1 2305 004

[email protected] myqtest.htnet.hr www.algebra.hr

ALGEBRA

Znanje kao dio ljudskih resursa poduzeća dinamička je kategorija. Zahtijevana razina znanja neprekidno raste, a edukacija zaposlenih bitna je za dostizanje te razine. Kako kvalitetno mjeriti udaljenost između željenog i trenutnog?

Kvalitetna provjera znanja važan je segment u procesu upravljanja ljudskim resursima, bilo da se radi o ulaznom testiranju kandidata za posao ili provjeri razine znanja već zaposlenih. Rezultati testiranja temelj su odlučivanja menadžmenta i pomažu proces postavljanja “pravog čovjeka na pravo mjesto”.

Stručnjaci Učilišta Algebra, na temelju višegodišnjeg iskustva u edukaciji, izradili su aplikaciju koja administrira provjeru znanja. Na taj način se uz pomoć samo jednog alata obuhvaća cijeli proces testiranja i svi njegovi elementi stavljaju pod kontrolu.

Što je myQtest?Aplikacija myQtest predstavlja kopleksan ispitni sustav a može se koristiti samostalno ili kao komplement sustavu e-learninga. Smještajem cijele edukacijske vertikale na računalnu mrežu ili Internet postižu se znatne uštede pri investiranju u obrazovanje zaposlenih. Povrat investicije mjerljiv je uštedom vremena i troškova inače potrebnih za klasičnu edukaciju ili testiranje.

myQtest sustav administrira cijeli put od kreiranja svakog pitanja, ispita, bodovnog sustava, pojedinaca i grupa ljudi koji ispitima pristupaju, te osoba koje vode ispitni proces. Poput e-learninga ne poznaje klasična vremenska i prostorna ograničenja jer se odvija u okvirima lokalne računalne mreže ili Interneta.

Iako je prvenstveno namijenjen testiranju znanja, fleksibilnost i jednostavna administracijska kontrola omogućuje da myQtest služi kao kvalitetan alat za ispitivanje javnog mišljenja, anketiranje bilo koje vrste, interkorporacijsku analizu mišljenja/stavova koji pomažu u menadžerskom odlučivanju.

Zašto myQtest?• Provjera znanja bilo kada, bilo gdje – dovoljno je računalo i priključak na Internet ili računalnu mrežu

– mogućnost ispitivanja velikog broja ljudi bez njihovog geografskog izmještanja• Anketiranje velikog broja ljudi, ispitivanje mišljenja, stavova sa kvalitetnom i informativnom statistikom/

prikazom rezultata• Fleksibilno upravljanje bazom pitanja (kreiranje, uređivanje, skaliranje)• Fleksibilno upravljanje bazom korisnika (definiranje grupa, podgrupa)• Korištenje ‘rich media’ tehnologije – dinamička pitanja koja simuliraju stvarne situacije ili rad na pravim

softverskim alatima.• Opširna statistika cijelog sustava, mogućnost dugoročne pohrane podataka omogućuje kvalitetne odluke

nakon testiranja

Kome je namijenjen myQtest?Aplikacija myQtest namijenjena je klijentima koji imaju stalnu ili privremenu potrebu za testiranjem/anketiranjem ljudi. Budući da aplikacija omogućuje kontrolu i pregled nad izuzetno velikim količinama podataka inicijator upotrebe aplikacije bit će menadžment malih, srednji ili velikih tvrtki s naglaskom na upravljanje ljudskim resursima. Pored uloge unutar korporacije, myQtest se izuzetno dobro snalazi i kod korisnika poput agencija za istraživanje tržišta, znanstvenih ustanova koje provode testiranje ili anketiranje na lokalnoj, regionalnoj ili nacionalnoj razini (ili više)

ALGEBRA

ArhitekturaServerski sustav osnova je aplikacije. On je zadužen za generiranje pitanja, vođenje evidencije o polaznicima, vođenje naplate, administriranje korisnika, definiranje pitanja, davanje izvještaja o uspjehu korisnika… Navedeni sustav razvijen je u Microsoft ASP.NET okružju što omogućuje vrlo složenu funkcionalnost sustava, laku nadogradivost i maksimalnu brzinu rada.

Aplikacija je vezana na bazu podataka MS SQL Server 2000 koja služi za pohranu svih podataka potrebnih za rad sustava, podataka o korisnicima, rezultatima ispita, naplati... Serverska aplikacija omogućuje razmjenu i obradu informacija kroz ostvarene web servise. Na taj način, nakon autorizacije, administrator sustava ovisno o razini za koju je ovlašten može kroz MS Internet Explorer pregledavati rezultate ispita, kreirati nova pitanja, parametrirati ispite, ažurirati podatke o korisnicima i grupama korisnika, itd. S druge strane klijentska aplikacija koja je razvijena u Macromedia Flash tehnologiji, primjenom XML-a dobiva ispitne parametre za pojedinog korisnika te rezultate ponovo prosljeđuje serveru za vrijeme trajanja ispita i po njegovom završetku.

Ovisno o broju korisnika koji će sustav koristiti moguće ga je instalirati na jedno serversko računalo, ili pak koristiti infrastrukturu web farme s distribuiranim dijelovima serverske aplikacije na nekoliko računala.

DizajnDizajneri sučelja vodili su se isključivim ciljem – jednostavnost upotrebe. Zahvaljujući preglednom izborniku smještenom u samo jednu razinu sve komande odmah su dostupne, tako da se novi korisnik vrlo brzo nauči koristiti čak i napredene funkcije aplikacije. Dizajn je nenametljiv i u službi je upotrebljivosti.

Posebno je važno istaknuti da svi tekstovi prikazani klijentskim i administracijskim sučeljem kao i logotip mogu lako biti prilagođeni potrebama naručitelja, prevedeni na bilo koji jezik, itd.

Osoba koja ispitu pristupa ne treba imati gotovo nikakva informatička znanja ili iskustvo. Dizajn omogućuje i korištenje touch screen-ova radi dodatnog povećanja jednostavnosti upotrebe, a aplikacija je prilagođena i polaznicima s posebnim potrebama, ljudima koji ne raspoznaju boje, itd.

UpotrebaKorisnik myQtesta može pribaviti cijeli sustav i instalirati ga na svojoj hardverskoj infrastrukturi. Ovaj način korištenja može tražiti određena ulaganja u infrastrukturu.

Drugi način korištenja je iznajmljivanje sustava. Ovaj način ne traži nikakva ulaganja u infrastrukturu ili instaliranje. Dovoljan je internetski pristup, a aplikacija se izvodi na Internet serveru Algebre (myqtest.htnet.hr).

ALGEBRA

Ispit i ispitni sustavIspit je osnovni element aplikacije i prilikom izrade ispitnog sustava glavni cilj je bio maksimalna kontrola nad što većim brojem parametara ispita. Ispit je dinamički definiran tj. definiraju se njegovi okviri poput težine, trajanja, broja pitanja iz pojedine skupine, itd.

Snaga sustava dodatno se očituje u činjenici da je izbor pitanja prezentiranih polazniku uvijek drugačiji jer se prema zadanim ključevima pitanja nasumično izvlače iz baze pitanja. Naravno, moguće je i ne koristiti mogućnosti nasumičnog izvlačenja pitanja kada je to potrebno.

IspitiIspiti i njihovo generiranje predstavljaju značajan dio sustava. myQtest sustav omogućuje slijedeće dvije temeljne vrste ispita:

Jednostavni skup pitanja – question poolJednostavni skup pitanja – question pool je zapravo grupa koja sadrži određeni broj pitanja iz nekog uskog područja. To je ujedno i najmanja sastavna jedinica ispitnog sadržaja unutar sustava.

Ovakva granulacija skupina pitanja izuzetno je značajna jer omogućuje sastavljanje složenih ispita kojim se provjeravaju znanja iz točno određenih područja, tako da je kod testiranja znanja iz npr. MS Word-a moguće ustanoviti da korisnik dobro oblikuje tekst i da se dobro snalazi prilikom ispisa ali nedovoljno poznaje izradu tablica...

Svako pitanje koje je kreirano u sustavu mora se pridružiti barem jednoj jednostavnoj skupini pitanja, a može u isto vrijeme biti pridruženo mnogim jednostavnim skupinama.

Složeni ispitSloženi ispit je uvijek sastavljen od određenog broja pitanja iz izabranih jednostavnih skupova pitanja. Kod kreiranja složenog ispita moguće je izabrati koliko pitanja iz pojedinog jednostavnog skupa pitanja se pojavljuju unutar složenog ispita odnosno ukoliko se jednostavni skup pitanja sastoji od pitanja različitih stupnjeva težine moguće je dodatno izabrati koliko će se pitanja iz pojedinog stupnja težine nekog jednostavnog skupa pitanja pojaviti. Na ovaj način moguće je osmisliti složeni ispit različite težine.

Ono što predstavlja dodatnu vrijednost myQtest sustava je činjenica da rezultat za svakog kandidata detaljno pokazuje njegovo znanje svakog segmenta ispitnog gradiva. Također, i kriterij prolaska mogao bi biti postavljen npr. tako da se od kandidata traži da ima barem 50% uspješnosti ukupno te najmanje npr. 30% uspješnosti unutar nekog segmenta…

ALGEBRA

Trajanje ispitaVrijeme predviđeno za rješavanje ispita može biti ograničeno na jedan od dva načina, što nadalje uvijetuje i način prezentiranja ispitnih pitanja prema polazniku:

1. Ukupno vrijeme za čitav ispit (za sva pitanja)

Ovaj način podešavanja trajanja ispita omogućuje korisniku da se za vrijeme trajanja ispita vraća na pojedina već odgovorena pitanja, mijenja ili poništava odgovore, preskače neka pitanja te ih označava za kasniji ponovni pregled.

2. Vrijeme za svako pitanje je ograničeno (podesivo za svako pitanje posebno)

Ovaj način podešavanja ispita pretpostavlja sekvencijalno odgovaranje na pitanja – jedno za drugim, bez mogućnosti preskakanja pojedinih pitanja, povratka na pitanja koja su već odgovorena… Trajanje svakog pitanja podešava se u sekundama.

Dostupnost ispitaAdministrator svake pojedine organizacije može unutar grupa korisnika odrediti pojedine podgrupe i za svaku od njih podesiti dostupnost pojedinog ispita. Na taj način daje se nekoj skupini korisnika (podgrupi) pravo korištenje nekog od ispita koji organizacija ima pripremljen i to kroz podešavanje slijedećih kriterija:

a) Broj pristupa ispitu

Može biti 1 ili više, a predstavlja podatak koliko puta svaki korisnik unutar podgrupe može pristupiti konkretnom ispitu.

b) Raspoloživost ispita

Predstavlja vremenski raspon u satima i danima od kada do kada je pojedini ispit dostupan korisnicima neke podgrupe. Moguće je podesiti da je ispit uvijek dostupan.

Ovi kriteriji važni su zbog činjenice da se radi o Internet aplikaciji koja omogućuje administratorima da podese kriterije unaprijed te da myQtest sustav dalje automatski administrira korisnike ispita u smislu mogućnosti polaganja ispita.

PitanjaPitanja i njihovo kvalitetno pripremanje najveći su posao ali kasnije i najveća vrijednost sustava. Posebno je važno naglasiti da točnost, jasnoća i nedvosmislenost te pravilno razvrstavanje svakog pitanja u odgovarajuću od 4 kategorije težine osiguravaju pravilan rad sustava ispitivanja u cjelini. Upravo zbog toga osigurana je mogućnost korištenja nekoliko vrsta pitanja, kao što je u uvodnom dijelu već napomenuto, te praćenje njihovih promjena i revizija te uspješnosti njihovog polaganja u prošlosti kao i broja pojavljivanja pojedinog pitanja u ispitu.

Ovi podaci omogućuju dobro konfiguriranje rada sustava s administracijskog aspekta. Izrada pitanja izvodi se upisivanjem teksta u odgovarajuće rubrike administracijskog sučelja te dodavanjem putanje do pojedinih slika ili animacija koje se koriste unutar pitanja ili predstavljaju ponuđene odgovore. U svakom trenutku, ovisno o pravima, administratori mogu ispravljati i mijenjati pitanja.

ALGEBRA

Vrste pitanjaPregled osnovnih vrsta pitanja prikazan je slikama i opisom u nastavku:

1. Match Case pitanja - pitanja s ponuđenim tekstualnim odgovorima a. jedan točan odgovor b. više točnih odgovora

2. Pitanje s ponuđenim slikovnim odgovorima (jedan ili više točnih odgovora)

3. Hot Spot – klik na sliku

4. Pitanje s prostorom za upis odgovora (Fill in the blank)

5. Interaktivno pitanje

Interaktivna pitanja izrađuju se Macromedia Flash ili Authorware tehnologijom tako da je sadržaj svakog pitanja potpuno proizvoljan. Također, broj koraka koje korisnik treba izvesti kako bi uspješno riješio postavljeni zadatak također je proizvoljan i razlikovati će se od pitanja do pitanja. Zajedničko je svim ovakvim pitanjima da korisnika procjenjuju uspješnošću od 0 – 100% i na temelju te uspješnosti korisnik ostvaruje proporcionalan broj bodova u odnosu na ukupne bodove koje pitanje donosi.

Ova pitanja posebno su korisna kod provjere poznavanja pojedinih akcija unutar raznih računalnih aplikacija. Za razliku od klasičnog načina ispitivanja gdje se od korisnika obično traži da prepozna koja je funkcija pojedinog alata ili izbornika, ovdje se simulacijom rada na stvarnom alatu od korisnika traži da izvede kompletnu akciju – npr. da korištenjem MS Outlook-a pošalje e-mail poruku i doda joj odgovarajuću signaturu...

Bodovanje pitanjaBodovanje pitanja moguće je izvesti na jedan od 2 temeljna načina:

a) Slobodno definiranje

Ovaj oblik bodovanja pitanja koristi se obično za interaktivna pitanja. Takva pitanja zahtijevaju da korisnik interakcijom sa samim sučeljem pitanja izvede pojedine akcije. Točnost u izvođenju akcija prikazuje se u postotku, a vrijednost bodova koje korisnik prikuplja računa se umnoškom postotka uspješnosti rješavanja i broja bodova koje takvo pitanje maksimalno donosi. Iznos bodova u odnosu na ostale vrste pitanja određuje administrator slobodnom procjenom, jer su ovakva pitanja vrlo specifična i zapravo je svako drugačije.

b) Prema predefiniranom kriteriju

Ovakav oblik pretpostavlja 4 različite razine težine pitanja i u skladu s time i odgovarajuće bodovanje

Za svako pojedino pitanje moguće je odrediti vrijednosti broja bodova po želji, kako za točan tako i za netočan odgovor.

ALGEBRA

Kriteriji prolaza ili padaIspitni sustav myQtest omogućuje postavljanje kriterija prolaska na 4 načina:

a) postotak broja bodova od ukupno maksimalne vrijednosti broja bodova predstavlja najjednostavniji kriterij prolaska. Na ovakav način se može npr. definirati da je za prolaz ispita potrebno sakupiti 67% od ukupnog broja bodova.

b) postotak broja bodova od ukupno maksimalne vrijednosti broja bodova po svakoj kategorije težine svakog jednostavnog skupa pitanja. (Ovo konkretno znači da ukoliko se složeni ispit sastoji od 2 jednostavna skupa pitanja tada je za ukupni prolaz potrebno imati npr. minimalno 30% broja bodova od lakih pitanja prvog skupa, minimalno 45% broja bodova od srednje teških pitanja prvog skupa …

c) postotak broja bodova od ukupno maksimalne vrijednosti broja bodova i minimalni postotci po svakoj kategoriji težine svakog jednostavnog skupa pitanja kao pod točkom B.

d) postotak broja bodova od ukupno maksimalne vrijednosti broja bodova ili minimalni postotci po svakoj kategoriji težine svakog jednostavnog skupa pitanja kao pod točkom B.

Izborom odgovarajućeg kriterija prolaska moguće je iskoristiti snažnu infrastrukturu sustava koja će na najbolji način ocijeniti kompetentnost korisnika za svaku pojedinu primjenu. Posebno je važno naglasiti da sustav omogućuje davanje negativnih bodova za krivo odgovorena pitanja što znatno disperzira korisnike ovisno o njihovom znanju odnosno potencira razliku između polaznika koji znaju i onih koji ne znaju. Ukoliko se na neko pitanje ne odgovara odnosno ako se odgovori ponište sustav za takvo pitanje ne daje niti pozitivne niti negativne bodove. Moguće je, naravno, ne koristiti negativne bodove za pogrešne odgovore.

Administracija korisnikaSustav myQtest predviđen je za istovremeno neovisno korištenje od strane više različitih ispitnih centara – organizacija. U tom smislu je i dostupnost administracijskog sučelja, ispita i svih podataka vezanih uz korisnike izvedena tako da pojedina organizacija ili ispitni centar u potpunosti samostalno funkcionira, neovisno o drugim organizacijama koje koriste istu serversku infrastrukturu. Sigurnost i tajnos podataka svake organizacije prema drugoj organizaciji koja koristi istu infrastrukturu je u potpunosti ostvarena. U tom smislu izvedena je organizacija sustava u 4 razine:

a) Razina cjelokupnog sustava – predstavlja mogućnost da se kroz sučelje dobiju podaci o svim korisnicima, organizacijama i ispitima koje sustav podržava. Ovo sučelje koristi samo glavni administrator sustava.

b) Razina organizacije (ispitnog centra) – predstavlja najvišu administracijsku razinu unutar neke organizacije koja koristi sustav. Na ovoj razini moguće je organizirati jednostavnije cjeline (grupe i podgrupe korisnika) i davati im određena prava korištenja ispita te im dodjeljivati administratore, kreirati pitanja...

c) Grupa – predstavlja najnižu operativnu organizacijsku jedinicu unutar neke organizacije. Na ovoj razini moguće je definirati administratore sa ovlastima samo za tu grupu (npr. u jednoj grupi mogu se naći svi zaposlenici u marketingu). Oni mogu imati svog administratora koji nema dostup drugim grupama, nego je zadužen za korisnike i ispite unutar svoje grupe.

ALGEBRA

d) Podgrupa – funkcionalna cjelina kojom se pojedinim polaznicima unutar neke grupe dodjeljuje pravo korištenje pojedinog ispita. Na razini podgrupe ne postoji administrator, nego podgrupe servisira grupni administrator grupe, ali je moguće definirati osobu (examiner) koja je zadužena za praćenje ispita pojedine podgrupe.

Ovakva organizacijska struktura omogućuje zaštitu privatnosti podataka kako o polaznicima tako i o ispitima na svim razinama. U tom smislu myQtest sustav poznaje 4 razine administratora:

1. Glavni administratori – dodaju i brišu korisnike, administratore, pitanja… Imaju ovlasti na razini čitavog sustava.

2. Administratori – osobe koje imaju određena prava na razini organizacije.

3. Grupni Administrator – predstavlja najnižu razinu administriranja. On je zadužen za korisnike unutar svoje grupe.

4. Examiner – osoba koje nema ovlasti osim praćenja ispita pojedine podgrupe

KorisniciKorisnici sustava su osobe koje se primjenom sustava testiraju. Dodavanje korisnika moguće je izvesti na dva načina:

a) Upis korisnika od strane administratora

Na ovaj način pojedini administrator upisuje korisnike u svoju grupu.

b) Samostalni upis korisnika

Ovo je značajna funkcionalnost kada se sustav koristi npr. za besplatno testiranje korisnika na Internetu. Na ovakav način moguće je upisom odgovarajućeg koda u pojedine Internet stranice s koje polaznici pristupaju ispitu automatski odrediti grupu u koju se oni dodaju i time njihove dostupne ispite...

Osobne podatke upisuju sami korisnici, bez mogućnosti promjene grupe u koju su dodijeljeni i time prava korištenja ispita unutar sustava.

Statistika i analiza rezultataNajveća dodatna vrijednost myQtesta je podrobna statistička obrada rezultata. Statistika poslije ispita svojom funkcionalnošću prati zamišljenu strukturu ispita i prikazuje rezultate prema elementima koji se u ispitu testiraju.

Tako će ispitanik koji rješava ispit sastavljen od cjelina (kategorija) dobiti posebno rezultate za svaku cjelinu.

Prikaz rezultata odnosno statistiku možemo dakle podijeliti u četiri skupine:

Statistika pojedincaPored detaljnog prikaza rezultata ispita po kategorijama ispitanik će vidjeti i konačne rezultate. Administrator ispita može odrediti da li ispitanik uopće može vidjeti pojedinačne rezultate ili samo konačne. Takav prikaz omogućuje administratoru ispita da ima kristalan uvid u znanje ispitanika i da na temelju detaljnih rezultata može planirati odgovarajuću edukaciju za svakog ispitanika ili donositi kvalitetne druge odluke na temelju tih rezultata. Ukoliko je administracija podešena tako da ispitanik vidi rezultate po kategorijama, on se može na temelju rezultata upoznati sa nedostacima u svom znanju i poduzeti daljnje korake.

Statistika grupe Ovaj način prikaza podataka omogućuje osobi koja vodi testiranje da donosi zaključke u grupi kao posebnoj cjelini. Na ovaj način se ujedno prati i uspješnost na razini grupe što otvara dodatne mogućnosti analize – poput npr. kvalitete prethodno provedene edukacije. Statistika grupe dat će i informacije o tome da li je testiranje uspješno i kvalitetno provedeno. Parametri koji govore o kvaliteti su ukupni broj bodova grupe, ukupna prolaznost, prosječno vrijeme trajanja ispita, prosječna prolaznost itd.

Statistika ispitaNa temelju ovih podataka moguće je analizirati jedan ispit zasebno i njegov presjek s različitim grupama. Na temelju dobivenih rezultata ispit je moguće korigirati radi povećanja njegove reprezentativnosti.

Statistika pitanjaKao i praćenje ispita moguće je također pratiti pojedinačno svako pitanje u cijelom sustavu. Rezultati ove statistike omogućavaju kreatoru ispita da korigira eventualne pogreške u pitanjima. Npr. ako velik broj polaznika nije uspio odgovoriti na to pojedino pitanje i sl.

Sigurnost i tehnička rješenja:Unutar sustava ostvarena su brojna sigurnosna tehnička rješenja koja doprinose stabilnosti sustava kao i sigurnosti korisnika a korištenjem SSL Internet komunikacije moguće je osigurati privatnost i sigurnost podataka u najvećoj mogućoj mjeri. Pored navedenog, sustav svojim načinom rada i optimizacijom baze podataka koju koristi osigurava veliku razinu robusnosti u slučaju kako pada klijentskog tako i pada serverskog računala.

U slučaju pada računala odnosno prekida komunikacije sa serverom klijenti ponovnim ‘logiranjem’ nastavljaju prekinuti ispit tako da se:

• pamti preostalo vrijeme do kraja ispita (vrijeme u trenutku pada) • pamte svi odgovori na pitanja odgovorena do pada sustava

Na navedeni način čak i u slučaju kompletnog pada sustava nakon njegovog ponovnog uključenje svi klijenti mogu nastaviti prekinuti ispit kao da do pada nije niti došlo.

Tehnički podaci:Minimalne tehničke pretpostavke za klijentsko računalo:MS Windows NT 4.0 workstation, MS Windows 98, MS Windows 2000 Professional ili MS Windows XPMacromedia Flash PLayer 7.0, Microsoft Internet Explorer 5.5+, 56K modemska Internet veza

Hardver: min. PII 566 MHz, 50 kbps, 64MB, 17” (min: 1024x768)

Qualified enough?

Not sure?

Then use myQtest!