Časopis Edupoint – broj 47edupoint.carnet.hr/casopis/cimages/edupoint/ep_55_1.pdfCARNet - Časopis Edupoint godište VII | broj 55 | Zagreb | 31.05.2007. | ISSN 1333-5987 6 339

Časopis Edupoint - broj 55

CARNet - Časopis Edupoint godište VII | broj 55 | Zagreb | 31.05.2007. | ISSN 1333-5987 1

Časopis Edupoint – broj 55 (svibanj 2007)

Uvodnik................................................................................................................................................... 2 Izdvajamo ................................................................................................................................................ 3 Novosti .................................................................................................................................................... 4

Predstavljen prijedlog Strategije e-učenja Sveučilišta u Zagrebu....................................................... 4 Besplatan pristup knjigama................................................................................................................. 4

Zanimljivosti ........................................................................................................................................... 5 Je li Obrazovanje 1.0 spremno za studente Web 2.0 generacije? ....................................................... 5 339 savjeta za primjenu LMS ili LCMS sustava ................................................................................ 6

Renata Šimunko: Web 2.0 konferencija.................................................................................................. 7 Uvod.................................................................................................................................................... 7 Web 2.0 ............................................................................................................................................... 8 Program dogañanja ............................................................................................................................. 9 Primjeri uspješnih Web 2.0 projekata ............................................................................................... 10 Zaključci ........................................................................................................................................... 11

George Brown: Procjena znanja: Priručnik za predavače (drugi dio) ................................................... 13 Metode, izvori i instrumenti procjene znanja.................................................................................... 13 Metode procjene znanja .................................................................................................................... 14 Izvori procjene znanja....................................................................................................................... 19 Instrumenti procjene znanja .............................................................................................................. 19 Bodovanje i moderiranje................................................................................................................... 21 Povratne informacije studentima ...................................................................................................... 22 Procjena znanja kod velikog broja studenata .................................................................................... 23 Olakšavanje procjene znanja............................................................................................................. 23 Utvrñivanje postupka za pružanje povratnih informacija ................................................................. 23 Raspodjela poslova oko bodovanja................................................................................................... 24 Provjera sustava modula ................................................................................................................... 24 Problem plagiranja ............................................................................................................................ 24 Ispiti ili radni zadaci na neviñeno?.................................................................................................... 25 Procjena znanja kod studenata s poteškoćama u učenju ................................................................... 26 Zamjena uloga: od nastavnika do vanjskog ispitivača...................................................................... 26 Obvezan ispit za sve procjenitelje znanja ......................................................................................... 27 Anotirana biografija .......................................................................................................................... 27 Tekstovi na temu procjene znanja..................................................................................................... 28 Procjena znanja kod učenika s poteškoćama u učenju...................................................................... 29 Procjena znanja na temelju eseja....................................................................................................... 29 Pitanja s višestrukim izborom odgovora ........................................................................................... 29 Plagiranje .......................................................................................................................................... 30

Kassandra Barnes, Raymond C. Marateo, S. Pixy Ferris: Poučavanje i učenje s internetskom generacijom ........................................................................................................................................... 31

Internetska generacija želi učiti......................................................................................................... 31 ...ali internetska generacija uči drugačije .......................................................................................... 32 Neovisnost, samostalnost i učenje..................................................................................................... 32 Mediji, višezadaćni rad i učenje........................................................................................................ 34 Društveno meñudjelovanje i učenje .................................................................................................. 37 Zaključak........................................................................................................................................... 38



Uvodnik

Dragi čitatelji, za prvi ljetni broj u 2007. godini pripremili smo vam izvještaj s konferencije "Web 2.0" koja je sredinom prošlog mjeseca održana u San Franciscu. Kolegica Renata Šimunko posjetila je navedeno godišnje okupljanje tehničkih, dizajnerskih, marketinških i poslovnih profesionalaca koji grade web sljedeće generacije te na licu mjesta doznala mnoge važne informacije. O čemu se točno radi pročitajte u njenom članku napisanom ekskluzivno za naš časopis. U ovom broju objavljujemo i drugi dio "Priručnika za predavače" Georgea Browna u kojem možete čitati o izboru adekvatne metode procjene znanja, o instrumentima procjene znanja te o sveprisutnom problemu plagiranja. Iako je ovaj Priručnik prvenstveno namijenjen polaznicima CARNetove E-learning akademije, vjerujemo da će biti koristan i ostalim čitateljima koje zanima procjena znanja. U članku "Poučavanje i učenje s internetskom generacijom" opisana je nova generacija učenika i studenata koju karakterizira izrazita posvećenost obrazovanju i postizanju ciljeva ali i drugačiji pristup učenju. Budući da je odgajana u doba zasićenosti medijima i jednostavnog pristupa digitalnim tehnologijama, ova internetska generacija razvila je svojstven način razmišljanja, komuniciranja i učenja. Po čemu se sve razlikuje od prijašnjih generacija i što sve iz toga proizlazi saznajte iz članka kojeg potpisuju stručnjaci sa Sveučilišta William Paterson. Pripremili smo vam i novosti i zanimljivosti iz svijeta e-learninga te poveznice koje vode k besplatnim knjigama. Do idućeg broja, ugodno čitanje želi vam... Robert Majetić, glavni urednik



Izdvajamo U srijedu 20. lipnja 2007. godine u prostorijama Kluba Studentskog centra u Zagrebu, pod sloganom Nawikni se na wiki!, održat će se radionica o wikiju u organizaciji Hrvatske akademske i istraživačke mreže – CARNet i Kulture promjene. Radionica je namijenjena svima koji su zainteresirani za ovaj jednostavni, dinamični i zanimljiv alat, bez obzira na godine, zanimanje ili prethodno iskustvo. Za lakše praćenje sadržaja potrebne su tek osnove snalaženja na Internetu. Wiki je alat za jednostavno editiranje i objavu sadržaja na Internetu koji nudi brojne mogućnosti, a izuzetno je jednostavan za upotrebu. U svojoj najčišćoj inačici, wiki je potpuno otvoren i svatko može ureñivati, mijenjati ili brisati sadržaj bilo koje wiki stranice. Danas nezaobilazna slobodna enciklopedija Wikipedija počiva upravo na principima otvorenosti, razmjene znanja i jednostavnosti koje donosi wiki.

Termini radionice su: 11:00 – 12:00, 13:00 – 14:00, 14:30 – 15:30 i 16:00 – 17:00. Zbog ograničenog broja mjesta, za sudjelovanje u jednom od termina prijavite se putem maila na adresu [email protected]. Radionica je dio promotivnih aktivnosti ovogodišnjeg CARNetovog Webfestivala, pratećeg dogañanja CARNetove korisničke konferencije – CUC 2007. Tema ovogodišnjeg Webfestivala, natjecanja autora i korisnika sadržaja na Internetu, ove je godine upravo wiki. Na natjecanje se mogu prijaviti svi koji već imaju ili žele izraditi wiki stranice, a to mogu učiniti u tri kategorije:

• Wiki Labos (obrazovni i znanstveni sadržaji), • Wiki Atelje (umjetnost, kultura, stvaralaštvo, kreativne aktivnosti i sl.) i • Wiki (Re)Publika (zajednica, društvo, društvene aktivnosti).

Više saznajte na adresi http://webfestival.carnet.hr.

mailto:[email protected]

http://www.elearningguild.com/pbuild/linkbuilder.cfm?selection=doc.1300



Novosti

Predstavljen prijedlog Strategije e-učenja Sveučilišta u Zagrebu

U prostorijama Sveučilišnog računskog centra 18. je svibnja 2007. godine održano javno predstavljanje Strategije e-učenja Sveučilišta u Zagrebu. Nakon izlaganja prof. dr. sc. Ljiljane Pinter, prorektorice za studije i upravljanje kvalitetom i ujedno predsjednice Povjerenstva, otvorena je rasprava na kojoj su članovi Povjerenstva za izradu strategije e-učenja odgovarali na pitanja sudionika.

Više informacija o Strategiji možete pročitati na web stranici http://www.unizg.hr/nastava_studenti/strategija_eucenja.html

Besplatan pristup knjigama

Centar za online baze podataka osigurao je besplatan pristup do više od 500 e-knjiga na ScienceDirect platformi.

Pretraživanje naslova moguće je s iste adrese, a popis naslova se nalazi na web stranici http://www.sciencedirect.com/science/books. Probni pristup traje do 31. srpnja i moguć je samo iz IP adresnog prostora CARNet mreže.

http://www.srce.hr/

http://www.unizg.hr/nastava_studenti/strategija_eucenja.html

http://www.sciencedirect.com/science/books



Zanimljivosti

Je li Obrazovanje 1.0 spremno za studente Web 2.0 generacije? Razvojem Weba 2.0 Internet je napredovao od neinteraktivnog medija (read only medium), u medij kojeg danas bilo koji korisnik može sastavljati, preoblikovati i ureñivati. Upravo tim razvojem bavi se i profesor John Thompson, predavač na više od 70 online tečajeva. Prema njegovom mišljenju, ključno je pitanje na koji će način ova tehnološka preobrazba utjecati na pedagošku praksu viših škola i sveučilišta.

U svom članku objavljenom na web stranicama časopisa Innovate, on istražuje značenje i primjenu Weba 2.0 te procjenjuje kako će internetska generacija studenata - koja će ulaziti u učionicu s očekivanjima i iskustvima proizašlima iz Weba 2.0 - preoblikovati više škole i sveučilišta. Meñu ostalim, prof. Thompson ističe činjenicu da je nastavno osoblje dužno prepoznati promjene u studentskoj populaciji te da bi na te promjene svakako trebalo adekvatno reagirati.



339 savjeta za primjenu LMS ili LCMS sustava eLearning Guild je udruženje e-learning profesionalaca koje okuplja 25.000 dizajnera, razvojnih stručnjaka, autora, konzultanata i menadžera iz područja e-learninga. Elektroničke knjige (koje eLearning Guild nudi bez naknade) jamče vam bogatstvo informacija na dohvat ruke te u njima možete pronaći korisne informacije primjenjive svakodnevnom radu.

Ovog vam puta predstavljamo elektroničku knjigu koja sadrži odličnu zbirku savjeta stotina stručnjaka s područja e-learninga. Na web stranicama udruženja eLearning Guild ističu kako vjerojatno nigdje nećete pronaći sveobuhvatniji skup savjeta iskoristivih za unapreñenje primjene LMS i LCMS sustava. Je li to doista tako provjerite sami.

Knjigu "339 savjeta za primjenu LMS ili LCMS sustava" možete bez naknade preuzeti na web adresi: http://www.elearningguild.com/pdf/4/lmstips-implementation.pdf

http://www.elearningguild.com/pdf/4/lmstips-implementation.pdf

http://www.elearningguild.com/pbuild/linkbuilder.cfm?selection=doc.1300



Renata Šimunko: Web 2.0 konferencija S ciljem ispunjavanja rastućih potreba za razumijevanjem i razvojem vještina vezanih uz Web 2.0, u San Franciscu je od 15. do 18. travnja 2007. godine održan prvi Web 2.0 Expo u zajedničkoj organizaciji tvrtki CMP Technology i O'Reilly Media. Organizatori ovo dogañanje opisuju kao 'godišnje okupljanje tehničkih, dizajnerskih, marketinških i poslovnih profesionalaca koji grade web sljedeće generacije', što je potvrñeno sudjelovanjem vodećih svjetskih tvrtki i imena iz područja informacijsko-komunikacijskih tehnologija i posebno weba.

Uvod

Web 2.0 Expo je dogañanje u trajanju od četiri dana, sastavljeno od radionica, predavanja i sajma, no i pojedinačnih predstavljanja tvrtki i proizvoda, a sve podijeljeno u sedam tematskih cjelina:

• osnove Weba 2.0 (Web 2.0 Fundamentals) • usluge i platforme Weba 2.0 (Web 2.0 Services & Platforms) • djelovanje weba (Web Operations) • marketing i zajednica (Marketing & Community) • dizajn i kreiranje pozitivnog korisničkog iskustva (Design & User Experience) • strategija i poslovni modeli (Strategy & Business Models) te • proizvodi i usluge (Products & Services).

Konferencija je bila namijenjena voditeljima poslovanja, web dizajnerima i kreatorima korisničkog iskustva, voditeljima proizvoda, marketinškim profesionalcima, menadžerima, programerima, tvrtkama koje prate nove tehnologije te poduzetnicima.

Ovo dogañanje je prateći dogañaj već tri puta održanom Web 2.0 summitu. Web 2.0 Expo održao se u kongresnom centru Moscone West u centru San Francisca, a sudjelovalo je oko dvije tisuće ljudi – polaznika konferencije, predavača, voditelja radionica i izlagača na sajmu.



Web 2.0

Termin "Web 2.0" prvi put je upotrijebio 2003. godine Tim O'Reilly, osnivač tvrtke O'Reilly Media.

Web 2.0 predstavlja novu generaciju web usluga kojima je naglasak na sudjelovanju korisnika, interaktivnosti i komunikaciji. Korisnici više nisu samo čitatelji već aktivni stvaraoci sadržaja koji se konstantno kreira, nadopunjuje i mijenja svoje oblike.

Definicija Weba 2.0 ne postoji, no moguće ga je opisati navodeći njegove glavne karakteristike:

• web se tretira kao platforma • korisnici su vlasnici informacija na webovima i imaju kontrolu nad njima • webovi su kreirani tako da korisnici mogu doprinijeti aplikaciji i sadržaju koristeći ih

(architecture participation) • bogato, interaktivno sučelje jednostavno za korištenje, bazirano na programu Ajax ili

sličnom • pojedini aspekti društvenog umrežavanja (social networking).

Više podataka i informacija o konceptu Web 2.0 moguće je pronaći u članku Tima O'Reillya pod nazivom: What Is Web 2.0? i internetskim stranicama tvrtke O'Reilly na http://www.oreilly.com/ i http://radar.oreilly.com/web2/.

http://www.oreillynet.com/pub/au/27

http://en.wikipedia.org/wiki/Architecture_of_participation

http://en.wikipedia.org/wiki/Ajax_programming

http://en.wikipedia.org/wiki/Social_networking

http://www.oreillynet.com/pub/a/oreilly/tim/news/2005/09/30/what-is-web-20.html

http://www.oreilly.com/

http://radar.oreilly.com/web2/



Program dogañanja

Na prvi dan ovog dogañanja održano je 11 radionica u trajanju po tri sata koje su pokrivale sljedeće teme:

1. Building Social Applications 2. Going 2.0: How to Run a Business Entirely on Web 2.0 Applications & Services 3. Community Evangelism: Tools & Techniques 4. High Performance Webpages 5. The Iterative App: From Discord to Design 6. What is Web 2.0: The Rules for Creating Successful Online Products in the 21st

Century 7. Starting Up 2.0: Strategies for Pitching, Financing & Growing Your Web 2.0 Startup

Scalable Web Architectures: Common Patterns and Approaches 8. Introduction to Search Engine Optimization and Search Engine Marketing 9. Ruby on Rails 10. Web 2.0 as a UI Paradigm: Design and Development

Sljedeća tri dana konferencije održavala su se predavanja podijeljena u 7 navedenih tematskih cjelina.

Konferencija je otvorena vrlo zanimljivim filmom u trajanju od pet minuta koji prikazuje koncept Weba 2.0, a moguće ga je pogledati na stranici www.youtube.com/v/6gmP4nk0EOE. Na otvaranju konferencije polaznicima se obratio Tim O'Reilly te je održan intervju s Jeffreyjem P. Bezosom, osnivačem i izvršnim direktorom tvrtke Amazon. Osim Jeffa Bezosa, tijekom konferencije održani su intervjui i s Ericom Schmidtom, predsjednikom uprave tvrtke Google, Inc. & Novell, Inc. i Jeffom Weinerom, izvršnim potpredsjednikom mrežnog odjela tvrtke Yahoo! Inc.

Popis glavnih predavača na konferenciji je opsežan, pa je tako bilo moguće prisustvovati predavanjima i raspravama koje su vodili osnivači, menadžeri i predstavnici tvrtki kao što su: Digg, Flickr, Adobe, Nokia, Vodafone, Sun Microsystems, Technorati… Sveukupno je održano više od 110 predavanja.

Tijekom tri dana, uz predavanja bilo je moguće posjetiti i sajam na kojemu se predstavilo više od 100 tvrtki, takoñer mnogo vodećih svjetskih imena,kao što su: Google, Yahoo, AOL, PayPal, eBay, Amazon, Ask.com, Juniper Netwrorks, Microsoft, Nokia….

http://www.web2expo.com/cs/webex2007/view/e_sess/10806













http://www.youtube.com/v/6gmP4nk0EOE

http://www.web2expo.com/cs/webex2007/view/e_spkr/1848



http://www.web2expo.com/pub/w/53/keynotes.html



Uz predavanja, na samoj konferenciji održala su se i dogañanja poput Ignitea (predstavljanje prisutnih u 5 min), Birds of a Feather Sessions (BoFs, neformalne konverzacije sudionika o temama po njihovom odabiru, uz tehničku i organizacijsku podršku) i Web 2.0 open (unaprijed rezervirani termini otvorenog karaktera gdje se polaznici konferencije slobodno uključuju u rasprave ili prezentiraju sebe i svoje tvrtke).

Primjeri uspješnih Web 2.0 projekata

Na ovom dogañanju predstavljeno je i spomenuto mnoštvo dobrih primjera Weba 2.0, od kojih su neki:

• www.flickr.com • www.myspace.com • www.youtube.com • http://en.wikipedia.org/ • http://www.ebay.com/ • http://www.dodgeball.com/ • http://www.digg.com • http://technorati.com/tag/blogosphere • http://del.icio.us/ • http://twitter.com/ • http://www.yelp.com/ • http://www.dogster.com/ • http://www.catster.com/ • http://www.topix.net/ • http://www.craigs list .org/ • http://www.change.org/ • http://www.kiva.org/ • http://www.jpgmag.com/ • http://www.threadless.com/ • http://www.facebook.com/

http://www.flickr.com/

http://www.myspace.com/

http://www.youtube.com/

http://en.wikipedia.org/

http://www.ebay.com/

http://www.dodgeball.com/

http://www.digg.com/

http://technorati.com/tag/blogosphere

http://del.icio.us/

http://twitter.com/

http://www.yelp.com/

http://www.dogster.com/

http://www.catster.com/

http://www.topix.net/

http://www.craigslist.org/

http://www.change.org/

http://www.kiva.org/

http://www.jpgmag.com/

http://www.threadless.com/

http://www.facebook.com/



Zaključci

Najveće razlike izmeñu prve i druge generacije weba su u tome što je u prvoj komunikacija bila jednosmjerna, dok je u drugoj dvosmjerna. Sadržaj za web prve generacije kreirale su tvrtke, dok su u drugoj za to najzaslužniji korisnici, koji su na konferenciji nazvani 'ljudi koji su nekad bili poznati kao publika' ('the people formerly known as the audience').

U prvoj generaciji bilo je nekoliko miliona ljudi online koji su sadržaju na webu pristupali isključivo web preglednika, dok se sad priča o milijardi ljudi koji na različite načine ostvaruju interakciju s webom.

Mike Beltzner iz tvrtke Mozilla opisao je iskustvo gdje je za razvoj koda Firefox web preglednika od studenog 2006. godine u 37/% zasluga korisnika; Beltzner je u sklopu predavanja „Embracing The Chaos: Designing For & With Community“ dao smjernice za kvalitetno usmjeravanje aktivnosti korisnika za prilagoñavanje proizvoda zajednici i uz pomoć zajednice:

1. slušajte svoju zajednicu korisnika i njihove potrebe (što ne znači da treba raditi sve što korisnici kažu)

2. vodite svoju zajednicu (vodstvo je ključ za razlikovanje signala od buke) 3. dopustite svojoj zajednici da se igra i eksperimentira (idejama je potrebno mjesto za

rast i razvoj).

Web 2.0 dobiva snagu iz povezivanja ljudi, njihovih ideja, informacija i virtualnog postojanja koje sam omogućuje. Najveća vrijednost Weba 2.0 su korisnici i podaci kojima doprinose razvoju weba; glavna karakteristika ovog koncepta je sudjelovanje korisnika u stvaranju, obogaćivanju i razvoju web sjedišta i aplikacija.

U stilu tagova koji karakteriziraju Web 2.0 navodim pojmove i koncepte upotrebljavane na ovim predavanjima koji opisuju Web 2.0:




Na webu konferencije na http://www.web2expo.com moguće je pronaći dio održanih prezentacija, kao i druge informacije o dogañanju, govornicima, tvrtkama koje su sudjelovale, te o održavanju prvog Web 2.0 Expo-a u Europi, 6.-8. studenog 2007.

http://www.web2expo.com/

http://www.web2expo.com/berlin/



George Brown: Procjena znanja: Priručnik za predavače (drugi dio) Ovaj je priručnik zamišljen kao pomoć predavačima u provjeri, osvježavanju i dotjerivanju svojega pristupa procjeni znanja. Temelji se na usklañivanju planiranih ishoda učenja, procjene znanja, kriterija, bodovanja i pružanja povratnih informacija. Usklañivanje pruža temelj učinkovitom sustavu za procjenu znanja i novom pristupu Akademskoj provjeri koju vrši Agencija za osiguranje kvalitete.

Metode, izvori i instrumenti procjene znanja

Za početak bi možda bilo korisno definirati razliku izmeñu tri pojma u procjeni znanja: metode, izvore i instrumente. Metoda podrazumijeva pristup koji se koristi u procjeni učenja, primjerice eseji, problemski zadaci, testovi s višestrukim izborom odgovora, i tako dalje. Izvor označava osobu, primjerice predavača, studenta, poslodavca ili grupu kolega studenata. Instrument podrazumijeva plan bodovanja, eksplicitne kriterije ili implicitne kriterije. Strogo govoreći, instrument procjene znanja je izvor zajedno s instrumentom. Tablica 4 prikazuje raspon metoda, izvora i instrumenata. Dio polemika oko novih pristupa procjeni znanja javlja se zbog nejasnoća vezanih uz izvore i sredstva.

Tablica 4: Metode procjene, izvori i instrumenti

Primjeri metoda Izvori Instrumenti

Eseji Nastavnik* Implicitni kriteriji

Problemski zadaci Drugi instruktori Globalni

Proza "na neviñeno" Postdiplomski instruktori

Eksplicitni kriteriji

Laboratorijski nalazi Demonstranti Ocjenjivanje prema referentnim kriterijima

Prezentacije Sami studenti Specifični kriteriji

Projekti Kolege studenti Plan bodovanja

Grupni projekti Poslodavci Dimenzije

Posteri Mentori Plan ocjenjivanja

Učenje temeljeno na radu

Kontrolni popisi

* odnosi se na nastavnika odgovornog za modul ili kolegij

Samoprocjena i studentska meñusobna procjena nisu metode procjene znanja, već izvori procjene koji bi se mogli upotrijebiti s bilo kojom metodom ili instrumentom. Stoga meñusobna procjena i samoprocjena grupnoga projekta mogu biti koristan način ohrabrivanja studenata da razmisle o svojem timskom radu i njegovu rezultu, izvještaju o projektu. Eksplicitni kriteriji se trebaju koristiti radi osiguravanja dosljednosti i pravednosti.

S druge strane, završni godišnji bodovi temeljeni isključivo na samoprocjeni i implicitnim kriterijima većini bi se činili potpuno neprikladni. Pojedinac mora odlučiti odgovara li



kombinacija izvora, sredstava i metoda rezultatima, te jesu li troškovi, u smislu vremena i drugih sredstava, odgovarali pristupu.

Metode procjene znanja

Metode procjene znanja ukratko su prikazane na Prikazu 5. Uz svaku metodu nalazi se komentar o njezinoj primjeni, lakoći primjene, potencijalnoj valjanosti i pouzdanosti. Najčešće od ovih metoda su eseji, rješavanje problema, izvještaji o vježbama i projektima ili pisanje disertacija. Takoñer se sve više koriste metode procjene temeljene na suradničkom radu, izradi portfolija i drugim vrstama reflektivnog učenja. Što je metoda uspješnija u prizivanju stečenih znanja i/ili dobrim rješenjima to je pouzdanija, ali ne nužno i bolja. Kao i obično, potrebno je uskladiti meñusobno sukobljene zahtjeve valjanosti i pouzdanosti, te učinkovitosti (je li taj pristup dobar za procjenu rezultata učenja) i uspješnosti (vrijeme koje je studentima potrebno za izvršenje zadanog zadatka i procjeniteljima za bodovanje tih zadataka). Učinkovitost metode procjene ovisi o ishodima učenja koji se procjenjuju te o konkretnim zadatacima a ne o samoj metodi procjenjivanja.

U okviru svake metode mogu se primijeniti različiti pristupi i kognitivni zahtjevi. Umjesto uobičajenih eseja može se zadati pisanje recenzije knjiga, osvrta na znanstveno-istraživačke radove ili pisanje članaka za ozbiljne novine. Kritičko mišljenje može se procjenjivati pomoću pitanja s višestrukim izborom odgovora ili pitanja na koje se očekuje kratak odgovor, na temelju znanstvenog članka ili slučaja.

U idealnom slučaju, studenti bi se tijekom studijskog programa trebali susresti sa širokim nizom metoda procjene. Kako je ranije navedeno, matrica ishoda programa u usporedbi s metodama procjene znanja koje se primjenjuju u svakom kolegiju otkriva obrazac i bilo kakve manjkavosti. Ishode programa nije potrebno procjenjivati u svakom modulu, no bi bilo dobro da se tijekom cijelog programa ishodi poučavaju, vježbaju i procjenjuju. Dodatni podaci o metodama procjene znanja objašnjeni na Prikazu 5 mogu se pronaći u anotiranoj bibliografiji.

Prikaz 5: Koje metode procjene znanja primjenjujete?

Slučajevi i otvoreni problemi

Mogu mjeriti primjenu znanja, analizu, rješavanje problema i vještine vrednovanja. Kratke je slučajeve razmjerno lako osmisliti i bodovati. Teže je osmisliti i razviti složenije slučajeve i njihove planove bodovanja. Bodovanje i davanje povratnih informacija odvijaju se jednako brzo kao i bodovanje eseja.



Računalna procjena znanja

O ovoj se vrsti procjene mnogo govori. Obično se za oblikovanje pitanja s višestrukim izborom odgovora, bodovanje i analizu rezultata koriste programi kao što je Questionmark. Mogu se koristiti raznolike grafike i simulacije. Možete koristiti i optičke čitače – no uzmite u obzir mogućnost da neki studenti neće jasno označiti elemente. Sastavljanje je dugotrajno no bodovanje se provodi vrlo brzo. Pouzdanost je visoka, ali valjanost (usklañenost s ishodima) zahtijeva veliku pažnju.

Izravno promatranje

Korisno je za pružanje izravnih povratnih informacija, za razvojne svrhe te za procjenu uspješnosti – ukoliko se koristi jednostavan, strukturiran sustav. Prisutnost promatrača može promijeniti uspješnost, pa je ovu metodu potrebno oprezno koristiti. Impresionističko promatranje može biti korisno ako ga potkrijepite konstruktivnom povratnom informacijom. Može se koristiti u grupi vršnjaka za pružanje povratnih informacija kao i za procjenu znanja. Ukoliko se koriste detaljni popisi za provjeru, za visoku pouzdanost potrebna je intenzivna, opširna obuka. Pouzdanost, valjanost i upravljivost prilično su visoki kada se primjenjuje strukturirano promatranje.

Eseji

Standardna metoda. Postoji nekoliko vrsta eseja kojima se ispituju različiti stilovi pisanja i načini razmišljanja. Esejima se mjeri razumijevanje, sinteza i vrednovanje, pod uvjetom da postavljate prava pitanja. Zadaju se razmjerno lako. Bodovanje temeljeno na impresionističkom bodovanju je brzo. Bodovanje u cilju davanja povratnih informacija može biti dugotrajno. Neka vam kriteriji budu jednostavni. Meñusobne razlike meñu procjeniteljima mogu biti velike – kao i razlike kod jednoga Procjenitelja.

Zapisnici/dnevnici učenja

Postoji širok raspon formata koji se kreću od nestrukturiranih zabilješki o svakom danu do strukturiranog obrasca temeljenog na zadacima. Preporučuju se vježbe razmišljanja. Vremenski zahtjevni za studente. Zahtijevaju visoku razinu povjerenja izmeñu procjenitelja znanja i studenata. Teško im je mjeriti pouzdanost. Imaju visoku valjanost ukoliko struktura odgovara ishodima učenja.

Mini testovi

Niz mini testova koji se provode prema vremenski ograničenim uvjetima. Omogućuju ispitivanje širokog niza praktičnih, analitičkih i interpretativnih vještina. Početno je osmišljavanje dugotrajno. Dio, ili čak cjelokupno bodovanje, može se izvršiti odmah, te je postupak brz. Pružanje povratnih informacija studentima je brzo. Pouzdani su, ali zahtijevaju obuku procjenitelja znanja.



Modificirana esejska pitanja

Niz pitanja utemeljenih na analizi slučaja. Nakon što studenti odgovore na jedno pitanje, dobivaju daljnje informacije i novo pitanje. Postupak obično traje jedan sat. Razmjerno ih je lagano zadati. Mogu se koristiti pri poučavanju ili procjeni u razvojne ili prosudbene svrhe. Mogu biti računalna ili zadana na papiru. Potiču razmišljanje i analizu. Imaju visoku pouzdanost, valjanost i upravljivost.

Pitanja s višestrukim izborom odgovora

Standardna metoda. Omogućuje brzo uzorkovanje širokog raspona znanja. Služe za mjerenje razumijevanja, analize, rješavanja problema i vještina vrednovanja. Brojni oblici pitanja "točno/netočno" i "tvrdnja/razlog". Ne preporučuju se složeniji oblici: oni nepotrebno zbunjuju studente i njihovo je osmišljavanje dugotrajno. Postavljanje zahtjevnijih pitanja s višestrukim izborom odgovora zahtijeva više vremena. Ona bolja pitanja temelje se na analizama slučajeva ili na znanstveno-istraživačkim radovima. Lako je bodovati i analizirati njihove rezultate. Korisna su za samoprocjenu i provjeravanje. Imaju visoku pouzdanost, valjanost i upravljivost. Pružanje povratnih informacija studentima je brzo. Postoji opasnost od testiranja samo površnog znanja. Kako biste uštedjeti vrijeme, dodatne podatke potražite na Internetu ili u američkim udžbenicima. Tim procjenitelja usmjerenih k istim rezultatima učenja može zajednički osmisliti nekoliko pitanja tijekom jednog poslijepodneva.

Usmeni ispiti

Ispituju komunikaciju, razumijevanje, kapacitet brzog razmišljanja pod pritiskom te poznavanje postupaka. Nude mogućnost pružanja povratne informacije. Bodovanje može biti brzo, no potrebna je odreñena standardizacija postupka intervjuiranja da bi se osigurala pouzdanost i valjanost.

Objektivni strukturirajući klinički ispit (OSCE)

U početku su se koristili u medicini, ali mogu se primjenjivati u obrazovanju iz poslovanja, prava, upravljanja, psihologije, prirodnih znanosti i socijalnog rada. Osobito su korisni za brzu procjenu praktičnih i komunikacijskih vještina. Prilično ih je teško osmisliti i organizirati, ali su laki za bodovanje i pružanje povratne informacije. Mogu se koristiti u početnoj fazi za procjenu ključnih praktičnih vještina. Grupni OSCE ispiti korisni su za poučavanje, pružanje povratnih informacija te za razvojne svrhe. OSCE ispiti mogu se primjenjivati potkraj kolegija za pružanje povratnih informacija ili za ispitivanje uspješnosti u odnosu na očekivane ishode. Imaju visoku pouzdanost, valjanost i upravljivost. Vjerojatno su manje radno intenzivni od drugih planova bodovanja, no zahtijevaju nekoliko procjenitelja istovremeno. U početku je njihovo osmišljavanje dugotrajno – ali vrijedno je truda.

Portfoliji

Postoji širok raspon vrsta portfolija, od prikupljanja zadataka do razmišljanja o ključnim incidentima. Potonji su vjerojatno najkorisniji za razvojne potrebe. Mogu poslužiti kao temelj za usmene ispite. Bogat potencijal za razvoj reflektivnog učenja ako su studenti uvježbani u tim tehnikama. Zahtijevaju visoku razinu povjerenja izmeñu procjenitelja i studenata. Mjerenje pouzdanosti je teško. Mogu imati visoku valjanost ako struktura odgovara ciljevima obuke.



Poster sekcije

Provjeravaju sposobnost prezentiranja naučenog i tumačenja na jezgrovit i dopadljiv način. Opasnost od pretjeranog usredotočivanja na samu prezentaciju može se izbjeći korištenjem jednostavnih kriterija. Mogućnost davanja povratnih informacija: od instruktora, samih sebi i od vršnjaka. Bodovanje je brzo. Korištenje kriterija smanjuje varijabilnost.

Prezentacije

Provjeravaju pripremanje, razumijevanje, znanje, sposobnost strukturiranja, činjenice i vještinu usmene komunikacije. Mogućnosti davanja povratnih informacija: od instruktora, samih sebi i od vršnjaka. Bodovanje temeljeno na jednostavnim kriterijima brzo je i potencijalno pouzdano. Moguće je uključiti mjerenje sposobnosti odgovaranja na pitanja i voñenja rasprave.

Problemski zadaci

Standardna metoda. Ima potencijal za mjerenje primjene, analize i strategije rješavanja problema. Složeni problemski zadaci i planovi njihova bodovanje teško se osmišljaju. Bodovanje je brzo za lagane problemske zadatke. Bodovanje složenih problemskih zadataka može biti sporo. Bodovanje u cilju davanja povratnih informacija može biti sporo. Razlike meñu procjeniteljima su prilično niske kada se procjena temelji na modelu odgovora ili plana bodovanja. Moguće je očekivati kreativna, valjana rješenja od boljih studenata.

Projekti, grupni projekti i dizertacije

Dobra, zaokružena provjera. Mogućnost provjeravanja širokog niza praktičnih, analitičkih i interpretativnih vještina. Šira primjena znanja, razumijevanja i vještina na stvarne/simulirane situacije. Omogućuje mjerenje upravljanja projektom i vremenom. Grupni projekti omogućavaju mjerenje vještina i voñenja u timskom radu. Motivacija i timski rad mogu biti visoki. Bodovanje može biti dugotrajno. Bodovanje u cilju davanja povratnih informacija može se reducirati meñusobnim procjenama sudionika, samoprocjenom i prezentacijama. Korist za učenje može biti vrlo velika, posebice ako je reflektivno učenje jedan od kriterija. Testira metode i procese, ali i završne rezultate. Moguće su razlike meñu procjeniteljima. Korištenje kriterija smanjuje varijabilnost, ali razlike u zahtjevnosti projekta ili rada mogu utjecati na pouzdanost.

Upitnici i obrasci za izvještaje

Opća metoda koja uključuje širok niz tipova. Strukturirani upitnici pružaju vam željene informacije, ali poluotvoreni ili otvoreni upitnici mogu vam pružiti informacije koje su vam zaista potrebne. Predlaže se mješavina strukturiranih i otvorenih pitanja. Ocjenjivanje prema referentnom kriteriju predlaže se za potrebe prosuñivanja. Široki kriteriji su pouzdaniji i točniji od vrlo detaljnih kriterija. Detaljni kriteriji potiču korisnike da reagiraju negativno ili s prezirom.

Reflektivni praktični zadaci



Mjeri sposobnost analiziranja i vrednovanja iskustva u svjetlu teorija i rezultata istraživanja. Relativno ih je lako postaviti. Mogućnost povratnih informacija od vršnjaka, samih sebi i od instruktora. Bodovanje u cilju davanja povratnih informacija može biti sporo. Bodovanje u cilju ocjenjivanja uglavnom je isto kao i za eseje. Korištenje kriterija smanjuje varijabilnost.

Izvještaji o praktičnim zadacima

Standardna metoda. Imaju mogućnost mjerenja znanja o proceduri izvoñenja eksperimenta, analizi i tumačenju rezultata. Mjere znanje o praktičnim vještinama, ali ne i same vještine. Bodovanje pomoću jednostavnih strukturiranih obrazaca relativno je brzo. Bodovanje u cilju davanja povratnih informacija s jednostavnim strukturiranim obrascima brže je nego bez njih. Razlike meñu procjeniteljima, bez strukturiranih oblika, mogu biti visoke. Ova se metoda često pretjerano koristi. Da bi se smanjila opterećenost studenata i težina procjene, za različite se pokuse predlažu različita težišta procjenjivanja znanja.

Pitanja za samoprocjenu temeljena na fleksibilnom učenju (materijali za učenje na daljinu i uz pomoć računalna)

Strogo govoreći, ovo je metoda učenja, a ne procjenjivanja. Ali mogla bi se više koristiti. Pitanja za samoprocjenu mogla bi biti sastavni dio Otvorenog učenja. Ona se mogu temeljiti na kontrolnim popisima, pitanjima s višestrukim izborom odgovora, pitanjima koja zahtijevaju kratke odgovore, modificiranim esejskim pitanjima i drugim metodama. Njihova primarna svrha je pružiti korisnicima povratnu informaciju i usmjeravanje. Mogu se koristiti za ujedinjavanje otvorenog i učenja temeljenog na radu kada su u pitanju zaposleni studenti. Pouzdanost i valjanost dugoročno su vjerojatno umjereno visoki i lako upravljivi, ali su u početku niski.

Pitanja koje zahtijevaju kratak odgovor

Standardna metoda. Ima mogućnost mjerenja analize, primjene znanja, rješavanje problema i vještine vrednovanja. Lakša su za oblikovati od kompleksnih pitanja s višestrukim izborom, ali je oblikovanje još uvijek relativno sporo. Bodovanje korištenjem modela odgovora je relativno brzo, npr. u usporedbi s bodovanjem problemskih zadataka, ali ne i u usporedbi s pitanjima s višestrukim izborom odgovora. Bodovanje u cilju davanja povratnih informacija može biti relativno brzo.

Simulirani intervjui

Korisni za procjenu vještina usmenog komuniciranja i za razvijanje vještine pružanja i primanja povratnih informacija o uspješnosti. Snimanje intervjua oduzima više vremena, ali je korisno za pružanje povratnih informacija i procjenu. Može se primjenjivati meñusobno ocjenjivanje polaznika i samoprocjenjivanje. Savjetujemo taktično usmeno davanje povratnih informacija o izvedbi. Procjena pomoću jednostavnog plana bodovanja ili kontrolnih popisa može biti pouzdana ako su procjenitelji, pa bili to i studenti, za to obučeni.

Ispit u obliku eseja na zadanu temu

Tri sata za pripremljenu temu. Relativno lagano za osmisliti, ali potrebno je posvetiti pažnju kriterijima. Testira se širok raspon sposobnosti uključujući mogućnost zaključivanja na temelju raznovrsnih znanja, sintetiziranje i uočavanje tema koje se ponavljaju. Bodovanje u



cilju davanja povratnih informacija je relativno sporo. Bodovanje u cilju ocjenjivanja je relativno brzo, pod uvjetom da su kriteriji jednostavni.

Procjenjivanje znanja temeljenog na radu

Moguće je primijeniti raznovrsne metode, uključujući dnevnike učenja, portfolije, projekte, strukturirane izvještaje voditelja ili mentora. Važno je voditelje i mentore obučiti za korištenje kriterija. Radna iskustva se mogu mijenjati, pa pouzdanost može biti niska. Valjanost, kao i obično, ovisi o jasnim očekivanim ishodima učenja.

Izvori procjene znanja

Glavni izvor procjene znanja je nastavnik, iako se sve više koriste i drugi izvori. Hounsell i Thompson (1995) pružaju praktične prijedloge za postdiplomske instruktore i demonstratore. Ashworth i Saxton (1992) daju primjere voñenja i procjenjivanja znanja kod učenja temeljenog na radu i korištenje mentora (voditelja), a Brennan i Little (1996) preispituju teoriju i praksu učenja temeljenog na radu i ulogu procjene znanja. Bez obzira na izvor procjene znanja, važno je osigurati dosljednost izmeñu različitih procjenitelja i kod svakog pojedinog procjenitelja (samodosljednost). Kratka obuka, temeljena na kriterijima koji će se koristiti, poboljšat će dosljednost, ali ne treba očekivati savršenstvo.

Instrumenti procjene znanja

Instrumenti procjene znanja variraju od korištenja holističkog pristupa do vrlo detaljnih kontrolnih popisa. Glavni tipovi kriterija objašnjeni su na Prikazu 6: Korištenje kriterija nije tako lako kao što se čini. Ne mogu se svi kriteriji jasno izraziti ili priopćiti početnicima, a značenja kriterija ovise o kontekstu.

Prikaz 6: Tipovi kriterija

Intuitivni: implicitni kriteriji. Skriveni od drugih bodovatelja i studenata.

Globalni: temeljeni na ključnim obilježjima, kao što su organizacija, dokaz o pročitanoj literaturi. Procjena znanja izravno dovodi do jednoge ocjene. Bodovanje može biti brzo i vrlo pouzdano. Pružanje povratnih informacija studentima može biti sporo.

Ocjenjivanje prema referentnom kriteriju: opći kriteriji za ocjenjivanje studentskog rada. Obično ovise o vrsti i razini obrazovanja. Ocjenjivanje može biti brzo, kao i pružanje povratnih informacija studentima.

Široki kriteriji: temeljeni na ocjenama ili bodovima. Koriste se za procjenu one kvalitete koja se proteže kroz cijeli zadatak, na primjer tečnost stila ili organiziranost. Obično su pouzdani, a povratne se informacije mogu brzo pružiti na temelju kriterija.



Specifični kriteriji: detaljniji od širokih kriterija. Često se preklapaju i imaju nejasna značenja. npr. Koja je razlika izmeñu strukture i organizacije? Može ih biti teško primijeniti, varijacije izmeñu bodovatelja kod odreñenih kriterija mogu biti male, povratne informacije studentima mogu biti brze, ali ne nužno i korisne. Brojevi na ljestvici ne govore studentima kako da poboljšaju svoj uspjeh.

Planovi bodovanja: često se koriste za linearno ocjenjivanje, na primjer sadržaja odreñenog predmeta, operacija ili postupaka, poput primjene standardnog integrala, pravilnog korištenja pluskvamperfekta ili točnog prijevoda odlomka proznog djela. Mogu oduzeti puno vremena ako greške nose posljedice pa, ako je moguće, odaberite problemske zadatke koji imaju samo nekoliko putanja. Obično su pouzdani i točni.

Kontrolni popisi: mogu se koristiti za procjenu sekvencijalnih zadataka i jednostavnih specifikacija. Oduzimaju mnogo vremena kod procjenjivanja složenih zadataka. Mogu biti pouzdani.

Detaljni kontrolni popisi: teški za primjenu. Nisu nužno korisni studentima. Potrebna je intenzivna obuka da bi se osigurala pouzdanost.

Detaljni kriteriji: vjerojatno metoda s najmanjom pouzdanošću i instrument za procjenu znanja koji oduzima najviše vremena.

"Dobro strukturirano" može imati različita značenja u biologiji, engleskoj književnosti i povijesti, a ono što vrijedi kao ‘dobro argumentirano' može imati različita značenja za studente na različitim razinama programa. Ocjene na ljestvicama procjenjivanja ne prenose nužno značenje, a pisane povratne informacije temeljene na kriterijima će možda različito interpretirati studenti s različitim razinama sposobnosti. Kriteriji ili planovi bodovanja mogu promijeniti studentov pristup učenju, dovršavanju zadataka, ponavljanju gradiva i ispitima. Ako se objavljeni plan bodovanja ili kriteriji bave samo specifičnim znanjem, studenti bi mogli zanemariti strukturu, stil i sintaksu. To tada ima učinak skrivenih kriterija. Pitanja s višestrukim izborom temeljena na negativnom bodovanju kažnjavaju studente nesklone riskiranju, a tako će postupiti žene češće od muškaraca. Pazite na kriterije koji mogu nepotrebno zaoštriti spolne razlike.

Sve navedeno ukazuje da je korisno raspraviti sa studentima i kolegama o različitim vrstama kriterija i načinima ocjenjivanja, što oni mogu značiti i kako bi se trebali koristiti. Ove smjernice mogu vam pomoći u raspravama.

Ključna načela su:

• odlučite se za ključne kriterije • učinite kriterije ili kontrolne popise jednostavnima za upotrebu • omogućite kratke komentare općenitih dojmova • upoznajte studente s kriterijima prije nego počnu rješavati zadatak • ako je moguće, uključite ih u oblikovanje kriterija i kontrolnih popisa • potaknite studente na korištenje kriterija.

Dobri kriteriji su oni koji:



• odgovaraju obliku procjene znanja i ishodu učenja • omogućuju dosljednost bodovanja • mogu odrediti područja neslaganja meñu procjeniteljima • pomažu studentima da ostvare rezultate učenja • omogućavaju pružanje korisnih povratnih informacija studentima.

Imaju li vaši kriteriji ova obilježja?

Bodovanje i moderiranje

Temelji procesa bodovanja i moderiranja su pitanja valjanosti, izvedivosti i pouzdanosti. U procjeni znanja valjanost je stvar prosudbe: odgovaraju li kriteriji obliku procjene znanja i predviñenim ishodima učenja? Izvedivost se bavi praktičnim dijelom, s obzirom na vrijeme i raspoloživa financijska sredstva.

Pouzdanost je vezana uz dosljednost bodovanja s obzirom na zadane kriterije. Ona osigura pravedno bodovanje studenata. Za procjenu znanja samodosljednost je važnija od dosljednosti izmeñu različitih procjenitelja. Ako je samodosljednost visoka, moguće je prilagoditi bodove. Ako je niska, tada nikakve statističke manipulacije ne mogu poboljšati pouzdanost. Samodosljednost je izazov. Svatko treba biti dobro upoznat sa svojim vrijednostima, predrasudama i kriterijima, bodovati po pitanjima, a ne po literaturi, a tajna je u sljedećem: ponoviti bodovanje u slučaju nedosljednosti.

Zadatak moderatora je provjeriti dosljednost pojedinog procjenitelja. To je važnije od činjenice slažu li se prvi ili drugi bodovatelji. Što je veća složenost ili otvorenost zadatka, to je teže postići sklad meñu procjeniteljima. Ovo dobro poznato otkriće slaba je utjeha procjeniteljima, vanjskim ispitivačima i Agenciji za osiguranje kvalitete. Srećom, dosljednost izmeñu različitih procjenitelja može se poboljšati korištenjem jednostavnih kriterija i probnim bodovanjem od strane tima nastavnika. Korištenje sveobuhvatnijih ocjena povećava suglasnost oko bodova – ali ne nužno i oko razloga. Druge metode osiguravanja dosljednosti su zahtjevnije i ne nužno korisnije. Dvostruko slijepo ocjenjivanje udvostručuje administrativni i teret procjene znanja, a istraživanja (npr. Murphy, 1979.; Newton, 1996.) pokazuju da ono nije ništa pouzdanije od jednostrukog ocjenjivanja i moderiranja temeljenog na graničnim i središnjim uzorcima za svaku ocjenu. Postupak moderiranja treba se baviti provjerom, a ne ponovnim bodovanjem. Kada se dva bodovatelja ne slažu, obično se angažira treći. Treći bodovatelj može doći u iskušenje da sklopi kompromis, radije nego da strogo primijeni kriterije.

Nedavno se raspravljalo o ideji vraćanja bodovanih testova studentima kako bi dobili povratnu informaciju i na taj način poboljšati svoj uspjeh. Ta će aktivnost oduzimati mnogo vremena. Ona pretpostavlja da će studenti imati korist od povratnih informacija i da će se njihovo učenje poboljšati. Prije nego što krenete tim putem, bilo bi pametno napraviti niz dobro kontroliranih pokusa da biste utvrdili što predavači i studenti gube, a što dobivaju tim postupkom.

Anonimno bodovanje testova i zadataka sve je popularnije. Taj pristup može smanjiti neke pristranost pripisive procjeniteljevoj predodžbi o studentu, ali neće smanjiti odstupanja uslijed razlika u vrijednostima. Anonimnost je teško očuvati u malim odjelima što može oslabiti



cjelokupan učinak procjene znanja na poboljšanje učenja i motivaciju studenata. Osobni kontakt još uvijek ima važnu ulogu u visokom obrazovanju. Koliko je dosljedno vaše bodovanje i bodovanje vaših kolega? Kako to znate?

Povratne informacije studentima

Svrha povratnih informacija je motivirati studente, informirati ih o njihovoj uspješnosti i savjetovati ih kako da se poboljšaju. Poboljšati mogu znanje, razumijevanje, strategije rješavanje problema i vještine pisanja. Ta se svrha treba postaviti u kontekst ishoda učenja, očekivanja od studenata s obzirom na zadatak i kriterija koji se primjenjuju.

Pristupi pružanju povratnih informacija kreću se od vrlo blagih do vrlo strogih. Danas su takvi pretjerani primjeri svedeni na manju mjeru zahvaljujući korištenju obrazaca za povratne informacije, iako su neki obrasci nespretni za upotrebu i nisu uvijek od pomoći studentima. Kakvi su vaši? Pokazalo se da su povratne informacije najučinkovitije kada su pravovremene, kada ih se smatra važnima, smislenima, poticajnima i kada nude prijedloge za poboljšanje uspješnosti koji su u okviru mogućnosti studenta. Svi praktični savjeti o pružanju povratnih informacija mogu se izvesti iz ovih saznanja, a postoje i prateća svojstva tih saznanja za upravljanje modulima, vlastitim vremenom i pristupom pružanju povratnih informacija. Nažalost, studenti rijetko čitaju povratne informacije, a kamoli da ih koriste. Stoga je možda nužno naučiti studente kako koristiti povratne informacije i provjeriti jesu li primijenili povratne informacije dobivene nakon prethodnog zadatka. Ponekad povratne informacije nisu dostupne studentima kada su im potrebne. Neki odjeli i škole čuvaju sve zadatke u slučaju da ih Agencija za osiguranje kvalitete ili druge službe požele pregledati. Ovaj pristup ometa svrhu pružanja povratnih informacija studentima. Cijenu i korisnost alternativnih strategija trebaju razmotriti više rukovodstvo i Agencija za osiguranje kvalitete.



Procjena znanja kod velikog broja studenata

Veći dio vremena za procjenu znanja studenata troši se na procjenjivanje znanja u cilju davanja povratnih informacija ili za potrebe Agencije za osiguranje kvalitete. Za uštedu i upravljanje vremenom, a uz pružanje korisnih povratnih informacija studentima, mogu se koristiti sljedeće strategije:

• olakšavanje procjenu znanja • utvrñivanje postupka za pružanje povratnih informacija • raspodjela poslova oko bodovanja • provjera sustava modula.

Olakšavanje procjene znanja

Možete zadati manje zadataka ili pripremiti kraće zadatke. Pobrinite se da količina posla bude ravnomjerno raspodijeljena kroz skupinu modula koju nudi vaš odjel. Provjera ukupne količine rada koji se zahtijeva od studenata može mnogo toga otkriti. Možete zadati testove ili zadatke koje treba dovršiti i/ili ocijeniti za vrijeme nastave. Iskoristite informacijsko-komunikacijsku tehnologiju koristeći pitanja s višestrukim izborom odgovora (MCQ), tražite da zadaci budu računalno obrañeni i za obradu, usporeñivanje i bilježenje bodova.

Utvrñivanje postupka za pružanje povratnih informacija

Da bi olakšali upravljanje vremenom, predavači mogu na početku modula odrediti datum kada trebaju vratiti ocijenjene zadaće studentima. Istovremeno, odredite u svojem dnevniku dane ili dijelove dana rezervirane za ocjenjivanje. Držite se tih rasporeda osim u krajnje hitnim slučajevima. Recite 'ne' kolegama i studentima koji vam žele oduzeti to vrijeme. Najkorisnija strategija za poboljšanje učenja je stavljati bodove i komentare na probni nacrt zadaće. Čuvajte primjerak svojih komentara. Ocijenite konačnu verziju i dodajte kratak opći komentar. Ovaj je pristup korisniji za učenje nego za temeljito bodovanje konačne verzije zadaće. On pokazuje studentima da mogu poboljšati svoju uspješnost. Nakon što su zadaće bodovane, studenti ih uglavnom odlažu i često ne primjenjuju ta saznanja na sljedeću zadaću.

Individualnu nastavu koristite samo za studente kojima je zaista potrebna. Primjenjujte kriterije ili kontrolne popise te osobne napomene, ili se poslužite standardnim obrascima. Neka budu jednostavni, inače ćete potrošiti više, a ne manje vremena za upisivanje svojih komentara. Umjesto toga možete napraviti opći izvještaj temeljen na studentskim zadaćama. ‘Najuspješnije su zadaće imale sljedeće karakteristike... dobre zadaće... lošije zadaće...' Ova se metoda može primijeniti za problemske zadatke, primjere i eseje, te može tvoriti temelj grupne nastave ili individualne nastave.



Raspodjela poslova oko bodovanja

Podijelite bodovanje s timom postdiplomskih instruktora ili mentora s viših godina. Pružite postdiplomskim instruktorima obuku, kriterije ili plan bodovanja i primjere. Ovaj je pristup takoñer korisno iskustvo za postdiplomske instruktore u ocjenjivanju rada drugih ljudi i u pružanju povratnih informacija. Primijenite meñusobnu procjenu studenata za jedan zadatak. Pružite, ili još bolje, odredite kriterije zajedno s cijelim razredom i omogućite im obuku u bodovanju na temelju načina ili kriterija ocjenjivanja. Podijelite učenike u grupe od četiri ili pet učenika. Dajte svakoj grupi kriterije i neke zadaće koje je potrebno ocijeniti. Ovaj se zadatak može iskoristiti kao dio programa individualne nastave. Ovaj pristup ne samo da smanjuje količinu posla vezanu uz poučavanje i ocjenjivanje, već takoñer uči učenike ocjenjivanju vlastitog rada, davanju i primanju povratnih informacija i radu u samostalnim grupama. Ocjene i napomene predaju se vama na pregled. Možete dodijeliti mali dio bodova za grupni rad na bodovanju eseja.

Provjera sustava modula

Što je veći broj modula, to je veći teret procjene znanja i za učenike i za nastavnike. Stoga izvršite procjenu postojećeg sustava modula i potražite načine olakšavanja procjene. Dugoročno, to će vam uštedjeti vrijeme za druge aktivnosti.

Predložene strategije imaju ograničene mogućnosti. Realno, ako je broj učenika veći, tada će i teret procjene biti veći. Vrijeme nije elastično, i to nosi svoje posljedice.

Problem plagiranja

Pritisci na studente, bilo akademski ili financijski, mogu ih navesti na plagiranje. Protiv toga se mogu primijeniti tri opsežne strategije: prevencija, praćenje i kazna. Možda najvažnija preventivna mjera je poučiti studente što jest, a što nije plagijat, kako parafrazirati i raditi sažetke i kako citirati. Nemojte pomiješati pitanje plagijata s drugim oblicima akademskog nedoličnog ponašanja ili varanja. (Vidjeti Izvješće o plagijatima LTSN Generic Centra, 2001.) Ako se od studenata traži da pišu eseje, napravite model eseja (uključujući reference). Na taj način možete biti sigurni da ste dali odgovarajuće informacije i upute o praksi u svojoj disciplini vezanima uz navoñenje izvora i citata. Jedan od načina je zadati zadatke koji ograničavaju mogućnosti plagiranja. Na primjer, kritičko bi analiziranje raznih novijih članaka ili korištenje prošlotjednih novinskih članaka moglo biti od koristi. Čini se da neki studenti radije troše vrijeme tražeći odgovore na webu nego razmišljajući. Posvetite dovoljno vremena informiranju studenata o točnim kriterijima procjene koji će se primjenjivati. Nagrañujete li studente za puko pronalaženje informacija ili i za njihovu analizu i vrednovanje? Ako ih ne nagrañujete za samo pronalaženje informacija, već za njihovu značajnu primjenu, vaši izgledi za smanjivanje plagijata prilično su visoki.



Uključite studente što više u oblikovanje testova za procjenu znanja i u postavljanje kriterija procjene. Danas postoje mnoga sredstva namijenjena za različite nastavne predmete koja pokazuju način na koji se učenici mogu uključiti u taj proces. Ako osjećaju nekakav stupanj uključenosti i udjela u procesu, to će potaknuti pozitivniji stav prema učenju.

Nemojte vrijeñati svoje student zadavanjem istih tema svake godine. Učenici će pozitivnije reagirati na procjenu znanja ako osjećaju da ona ima neko značenje. Korištenje istih zadataka svake godine govori studentima da zapravo ne marite – pa zašto bi oni?

Praćenje stilova pisanja ili prezentiranja rješenja u esejima relativno je lagan posao. Možete iskoristiti pomoć tehnologije i poslužiti se pretraživačima kao što je ‘Google' da biste provjerili odlomke pronañene na webu i stranicama koje nude pismene zadatke (vidjeti Evans, 2000.). Kazna, ili prijetnja kaznom, može spriječiti plagiranje ali, dugoročno gledano, jednom kada se ta prijetnja ukloni, takvo se ponašanje može ponovo pojaviti pa je stoga bolje raditi na stavovima i vrijednostima. Prevencija je bolja od kazne.

Ispiti ili radni zadaci na neviñeno?

Brz porast broja studenata tijekom prošlog desetljeća i posljedični porast plagiranja naveo je mnoge nastavnika da preispitaju pozitivne i negativne strane ispita i radnih zadataka. Ispite „na neviñeno“ lakše je osmisliti i bodovati, ali oni sužavaju raspon rezultata koji se mogu mjeriti. Isključuju plagijate, ali pružaju tek jednokratan uzorak sposobnosti studenata, potiču mehaničko učenje i pogoduju onima koji mogu podnijeti snažan pritisak. Za razliku od njih, radni zadaci povećavaju teret procjene znanja nastavnicima i administrativnom osoblju i studentima, ali omogućuje pouzdaniju procjenu studentskih sposobnosti i mogu pomoći studentima da poboljšaju svoje rezultate. Takoñer neizravno mjere sposobnost upravljanja vremenom i podnošenja dugotrajnog pritiska.

Stres zbog ispita može se smanjiti tako da se studentima unaprijed daju teme ispita, ili da im se dopusti da na ispit ponesu svoje tekstove i bilješke. Činjenice pokazuju da ovi pristupi ne mijenjaju ljestvicu uspješnosti studenata. Ako je primarna svrha procjene znanja rangiranje studenata, tada je vjerojatno dovoljno tek četiri ili pet zadataka po studijskom programu da se izradi točna procjena studentskih sposobnosti. (Ako ne vjerujete ovu tvrdnju, provjerite obrazac bodova u zadacima u različitim modulima.) Ako, meñutim, želite usporediti uspješnost s rezultatima programa, tada su vam potrebni raznovrsni oblici procjene znanja temeljeni na ispitima i zadacima „na neviñeno“. U sklopu studijskog programa, korištenje isključivo ispita „na neviñeno“ vjerojatno je jednako loše kao i nekorištenje bilo kakvih ispita „na neviñeno“.



Procjena znanja kod studenata s poteškoćama u učenju

I ispiti i radni zadaci predstavljaju posebne probleme studentima s poteškoćama. Neke od njihovih poteškoća su vezane uz pristup izvorima, fizičko okruženje, njihovu sposobnost i brzinu obrade podataka i sposobnost priopćavanja o naučenom. Mnoga sveučilišta izrañuju priručnike za pomoć studentima koji imaju poteškoća s učenjem. Web stranica Sveučilišta Bath (http://www.bath.ac.uk/Students/learningsupport/webb/d33.html) nudi korisne podatke o procjenjivanju znanja učenika s poteškoćama u učenju, a DISinHE centar (www.disinhe.ac.uk) pruža savjete za procjenu znanja učenika s poteškoćama u učenju. Suština problema je održavanje osjetljive ravnoteže izmeñu brige o potrebama učenika s poteškoćama u učenju i procjenom njihove akademske uspješnosti.

Zamjena uloga: od nastavnika do vanjskog ispitivača

Uloga vanjskog ispitivača je čuvanje normi, zaštita učenika i zastupanje kvalitete. To je produžetak uloge nastavnika. Zahtijeva razumijevanje predmeta, dizajna tečaja, prilika za učenje, oblika procjene znanja, kriterija i uzorkovanja, zajedno s poznavanjem odgovarajućih mjerila i strategija i sustava procjena znanja koji se koriste u školi. Posljednje, ali ne i manje važno, ta uloga zahtijeva sposobnost donošenja i iznošenja prosudbe cjelokupne kakvoće studentskog rada, procesa procjene znanja i učenja.

Suština vanjskog ispitivanja je: poznavanje programa koji se procjenjuje, poznavanje sustava procjene znanja i poznavanje svoje uloge u njemu. Predavačima kojima je uloga vanjskih ispitivača još uvijek nova od koristi će biti tekst Partingtona, Browna i Gordona (1993.), QAA Code of Practice for External Examiners i video paket o Sastancima o unapreñenju ispitivača čiji su autori Partington et al. (1995.) za UCoSDA sada Higher Education Staff Development Agency. Kontrolni popis u Partington et al. (str. 64-5) predstavlja koristan sažetak zadataka vanjskih ispitivača. Neka sveučilišta nude uvodne dane za novoimenovane vanjske ispitivače, a ostala nude radionice o vanjskom ispitivanju, dok Wisker (1997.) pruža skup dokumenata koji se tiču, izravno ili neizravno, najučinkovitijeg oblika suradnje s vanjskim ispitivačima. Temeljna poruka glasi: kratko ih uputiti u njihovu ulogu, omogućiti strukturiran oblik njihovih povratnih informacija i odgovoriti na njihove primjedbe. Uključite ih u oblikovanje zadataka, kao i u postupke ispitivanja i moderiranja, i savjetujte se s njima o novim razvojima dogañaja. Imajte na umu da nisu svi vanjski ispitivači blaognakloni prema promjenama, a neki zahtijevaju promjene koje nisu izvedive.

http://www.bath.ac.uk/Students/learningsupport/webb/d33.html

http://www.disinhe.ac.uk/



Obvezan ispit za sve procjenitelje znanja

Odgovorite na sva pitanja. Ovaj ispit nije vremenski ograničen. Savjetovanje s drugima (uključujući studente) i citiranje tekstova i ostalih izvora SE PREPORUČUJE.

1. Koje planirane ishode učenja procjenjujete? Kako se vaš pristup procjeni znanja slaže s tim ishodima?

2. Opravdajte i kritički se osvrnite na svoj izbor metoda procjene znanja i zadatke koje koristite za procjenu rezultata iz pitanja br. 1.

3. U svojem odgovoru navedite mjerodavna istraživanja na polju procjene znanja. 4. Opišite, opravdajte i kritički se osvrnite na svoju primjenu kriterija, metoda

ocjenjivanja i/ili bodovanja. 5. Kratko opišite i obrazložite svoj pristup pružanju povratnih informacija učenicima. U

svojem se odgovoru osvrnite na mjerodavna istraživanja. 6. Osvrćući se na otkrića istraživanja, opišite, obrazložite i kritički se osvrnite na svoje

tehnike bodovanja za svladavanje sljedećeg: a) varijacije u standardima u jednoj prilici; b) varijacije u standardima u različitim prilikama; c) varijacije meñu procjeniteljima; d) razlike u rukopisima studenata

7. Kako osiguravate da su vaši standardi slični standardima usvojenima u drugim sličnim procjenama znanja i ispitima?

8. Koje vrijednosti čine temelj vašega pristupa procjeni znanja u visokom obrazovanju? Kako se one očituju u vašoj praksi?

Ocijenite svoje odgovore na pitanja 1–7.

Anotirana biografija

Tekstovi o procjeni znanja imaju različite svrhe. Neki su pretežno usmjereni na pregled istraživanja, dok su drugi više zaokupljeni pružanjem praktičnih savjeta. Uz opće tekstove o procjeni znanja, često postoje i poglavlja o procjeni znanja u tekstovima o učenju i poučavanju. Web stranice posvećene knjigama, kao što su Amazon.com i Blackwell.com, vrijedan su izvor takvih tekstova i treba ih istražiti. Na webu se nalazi golema količina materijala o procjeni znanja. Pretraga na Googleu ili drugim kvalitetnim pretraživačima oduzet će vam mnogo vremena – stoga koristite tekstove, ili pričekajte nekoga da napravi priručnik o materijalima na webu korisnima za procjenu znanja.



Tekstovi na temu procjene znanja

Atkins, M., Beattie, J. and Dockrell, B. (1993) Assessment Issues in Higher Education. Sheffield: Employment Department. A substantial and scholarly commentary on assessment and the purposes of higher education. Vrijedan i stručan tekst o procjeni znanja i svrsi visokog obrazovanja.

Brown, G., Bull, J., and Pendlebury, M. (1997) Assessing Student Learning in Higher Education. London: Routledge. This text describes in detail all the topics in this guide and it reviews the relevant research. Several workshop activities are included. Useful for lecturers and staff developers. Ovaj tekst detaljno opisuje sve teme iz ovog priručnika i iznosi pregled relevantnih istraživanja. Uključuje i nekoliko praktičnih aktivnosti. Vrlo korisno za nastavnike i zadužene za usavršavanje nastavnika.

Brown, S. and Knight, P. (1994) Assessing Learners in Higher Education. London: Kogan Page A lively discussion of assessment replete with hints and persuasive arguments. Živahna diskusija o procjeni znanja prepuna savjeta i argumenata

Brown, S., Race, P. and Smith, B. (1996) 500 Tips on Assessment. London: Kogan Page A rich compendium of suggestions on different methods and procedures of assessment. Bogati pregled prijedloga o različitim metodama i postupcima procjene znanja.

Gibbs, G., Habeshaw, S., & Habeshaw, T. (1988) 53 Interesting Ways of Assessing Your Students. 2nd ed. Bristol: Technical and Educational Services. A useful set of hints on different approaches to assessing student learning. Koristan priručnik sa savjetima o različitim pristupima procjeni znanja.

Gibbs, G. (1992) Assessing more students. London: PCFC (now HEFCE) A useful summary of approaches to assessment that focuses upon the problems of assessing larger numbers of students. Koristan pregled pristupa procjeni znanja, posebno posvećen procjeni velikog broja studenata.

Heywood, J. (2000) Assessment in Higher Education: Student learning, Teaching, Programmes and Institutions. London: Jessica Kingsley For a detailed review of the literature on assessment. Considers Australian and US findings as well as assessment of competencies and examinations in secondary education. Invaluable for researchers. Za detaljan pregled literature o procjeni znanja. Uzima u obzir australska i američka istraživanja kao i procjenu znanja u srednjoj školi. Neprocjenjivo za znanstvenike.

Miller, A., Imrie, B. and Cox, K. 1998 Student Assessment in Higher Education. London: Kogan Page. A practical guide to assessment supported by research findings. Praktični priručnik o procjeni znanja temeljen na znanstvenim istraživanjima.



Rowntree, D. (1987) Assessing Students - how shall we know them?. 2nd ed. London: Harper & Row A seminal work. A stimulating discussion of the ideas and assumptions underlying assessment. Poticajan rad i diskusija o zamislima i pretpostavkama na kojima se temelji procjena znanja.

Posebne teme vezane uz procjenu znanja

Procjena znanja kod učenika s poteškoćama u učenju.

Disability in Higher Education (www.disinhe.ac.uk) http://www.bath.ac.uk/Students/learningsupport/webb/d33.htm Both these sites contain articles and links relevant to the assessment of learning of disabled students. Na obje web stranice nalaze se članci i linkovi o procjeni znanja kod učenika s poteškoćama.

Procjena znanja na temelju eseja

Hounsell, D. (1995) Marking and Commenting on Essays. In F. Forster, D. Hounsell. and S. Thompson (eds.) Tutoring and Demonstrating: A Handbook. Sheffield: HESDA A useful practical guide on marking essays for tutors. Koristan praktični priručnik za tutore o ocjenjivanju eseja.

Procjena znanja temeljena na računalima

Brown, S., Bull, J. and Race, P. (eds) (1999) Computer-assisted assessment for students. A set of articles on different ways of using computers for assessment purposes. Više članaka o različitim načinima korištenja računala u procjeni znanja.

Korištenje vanjskih ispitivača

Partington, J.,Brown, G. and Gordon, G. (1993) Handbook for External Examiners in Higher Education. Sheffield: HESDA (formerly UCoSDA) Covers all aspects of External Examining including the examination of theses Pokriva sve aspekte vanjskog ispitivanja uključujući i ocjenjivanje disertacija.

Laboratorijska nastava

Hegarty-Hazel, E. (ed.) The student laboratory and the science curriculum. London: Routledge A useful collection of readings on teaching and assessing laboratory work. Koristan skup članaka o procjeni znanja i poučavanju u laboratorijima.

Pitanja s višestrukim izborom odgovora

Gronlund,N.E. (1988) How to Construct Achievement tests. Englewood Cliffs: Prentice Hall. A comprehensive text on designing assessments that focuses upon MCQ’s and allied methods.

http://www.disinhe.ac.uk/

http://www.bath.ac.uk/Students/learningsupport/webb/d33.htm



Sveobuhvatan tekst o kreiranju procjene znanja putem pitanja s višestrukim izborom i sličnih metoda. Meñusobna procjena znanja ravnopravnih sudionika i samoprocjena

Brown, S. and Dove, P. (eds) (1991) Self and Peer Assessment. Birmingham: SCED Paper 63. A collection of articles that provide hints and some research on self and peer assessment. Skup članaka sa savjetima i rezultatima istraživanja o samoprocjeni i procjeni meñu studentima.

Falchikov, N. (2001) Peer assessment and peer tutoring. Buckingham: Open University Press (in press). A comprehensive text on peer assessment and tutoring which includes theory as well as reports of practical approaches to peer assessment. Sveobuhvatan tekst o meñusobnoj procjeni studenata i poučavanju. Uključuje teoriju, rezultate istraživanja i praktične savjete.

Plagiranje

Evans, J.A. (2000) The New Plagiarism in Higher Education: From Selection to Reflection [online]. Available from: http://www.warwick.ac.uk/ETS/interactions/vol4 no2/evans.htm A well referenced, thought provoking discussion of plagiarism. Provokativna diskusija o plagijarizmu, sadrži dobre reference.

Rješavanje problema

Schoenfeld, A.H. (1985) Mathematical Problemsolving. New York: Academic Press. A text with a strong mathematical application. Tekst o primjeni u matematici.

Učenje temeljeno na radu

Ashworth, P. and Saxton, J. (1992) Managing Work Experience. London: Routledge. It contains some useful suggestions about assessments and arguments in favour of workbased learning. Sadrži neke korisne savjete o procjeni znanja s argumentima u prilog radnih zadataka.

Higher Education Research & Development. 17, 2 June 1998. The whole of this issue is devoted to work-based learning. Assessment issues are scattered throughout the issue. Cijelo izdanje posvećeo je učenju temeljenom na radu. Kroz cijeli tekst mogu se naći dijelovi o procjeni znanja.

http://www.warwick.ac.uk/ETS/interactions/vol4



Kassandra Barnes, Raymond C. Marateo, S. Pixy Ferris: Poučavanje i učenje s internetskom generacijom

Pred deset godina prvi je val internetske generacije krenuo na sveučilišta, prisiljavajući obrazovne ustanove da se snalaze s novom populacijom studenata koja ima jedinstvene osobine. Budući da internetska generacija čini gotovo 7% današnje populacije (Bartlett 2005.) te da se 2003. godine gotovo 49,5 milijuna studenata upisalo u škole (Izvješće o upisnim kvotama, 2005.), ispunjavanje specifičnih potreba ove generacije studenata postaje sve važnije. Izazov razvoja pedagogije radi ispunjavanja potreba studenata vještih na Internetu izaziva odreñenu bojazan, no predavačima pomaže činjenica da ova generacija cijeni proces obrazovanja. Ovi studenti u odnosu na prethodne generacije uče na različit način, no činjenica je da oni žele učiti. Ovim člankom utvrdit ćemo obilježja stila učenja internetske generacije i razmotriti kako ih predavači mogu najbolje iskoristiti.

Internetska generacija želi učiti...

Jedna od ključnih osobina ove generacije njezina je izrazita posvećenost obrazovanju. Pripadnici internetske generacije pritisak obrazovanja osjećaju vrlo rano - već su u prvim godinama srednje škole odreñeni njihovi ciljevi vezani uz sveučilišno obrazovanje. Pripadnici internetske generacije tvrde da njihov trud u srednjoj školi izravno odražava njihovu usmjerenost na onu vrstu fakulteta na koji se žele upisati. Starije generacije često prihvaćaju stereotipe o tinejdžerima kao opsjednutima oblačenjem, ljubavnim vezama i odnosima s prijateljima.

Doista, većina se tinejdžera osjeća zarobljenima izmeñu želje za uspješnim svladavanjem školskih zadataka i želje za stvaranjem bliskih odnosa s vršnjacima. No mnogi roditelji internetske generacije tvrde da njihova djeca najveći broj večeri provode u rješavanju domaće zadaće, a ne u društvenim aktivnostima (Whitney-Vernon 2004.). Izvješće o istraživanju trendova iz 2004. godine pokazuje da je fakultetska školarina prva stvar za koju je internetska generacija u dobi izmeñu 12. i 24. godine spremna štedjeti novac (Marketing Magazine 2005.). Istraživanje provedeno na 100.000 kanadskih tinejdžera otkriva da je briga, koju tinejdžeri pokazuju za obrazovanje, daleko veća nego što su to odrasle osobe iz istraživanja očekivale. U izvješću se zaključuje da se mnogi tinejdžeri toliko brinu za školski uspjeh i buduću karijeru, da se „subotnje večeri pretvaraju u večeri pisanja domaćih zadaća“ (Whitney-Vernon 2004. 4).

Ova je generacija potpuno posvećena postizanju ciljeva, a ostvarenje ambicija vezanih uz karijeru podrazumijeva dobro obrazovanje. Na sreću za predavače, njezini se obrazovni ciljevi na fakultetu ne mijenjaju. Od većine se može očekivati da će svoje vikende i dalje žrtvovati zbog učenja, da će ozbiljno shvaćati posljedice loših ocjena i redovito pohañati predavanja. Internetska generacija općenito želi postići uspjeh na fakultetu, čak i ako je to samo zbog budućeg uspjeha u odabranoj karijeri.



...ali internetska generacija uči drugačije

Iako visoko cijeni obrazovanje, internetska generacija uči drugačije od prethodnih. Ova je generacija jedinstvena s obzirom na činjenicu da je prva odrastala u doticaju s digitalnom tehnologijom i kibernetikom. Internetska generacija nije samo naučila usvajati tehnologije, ona je njima čak i zasićena. Do svoje 21. godine života, prosječni pripadnik internetske generacije provede:

• 10.000 sati igrajući video igre • 200.000 sati na e-pošti • 20.000 sati gledajući TV • 10.000 sati razgovarajući na mobilni telefon i • manje od 5.000 sati čitajući knjige (Bonamici i ostali. 2005.).

Budući da je internetska generacija odgajana u doba zasićenosti medijima i jednostavnog pristupa digitalnim tehnologijama, razvila je svojstven način razmišljanja, komuniciranja i učenja (Oblinger and Oblinger 2005.; Prensky 2006.; Tapscott 1998.).

Neovisnost, samostalnost i učenje

Internetska generacija teži neovisnosti i samostalnosti u stilovima učenja što utječe na širok raspon obrazovnih izbora i ponašanja, počevši od toga "koju vrstu obrazovanja kupuju" do odabira "sadržaja, mjesta i načina učenja" (Carlson 2005. 4). To je ono što pripadnike internetske generacije čini odlučnijima u potrazi za informacijama te oblikuje način na koji oni pristupaju učenju u učionicama. Studenti te generacije svjesno odabiru one tehnike učenja koje su se pokazale najučinkovitijima, kao na primjer čitanje bilješki s predavanja na Internetu, gledanje interaktivnih medija, npr. Power Point prezentacija ili digitalnih slika, ili grupni rad.

Obrazovno osoblje i znanstvenici potvrñuju ovu procjenu na temelju vlastitih iskustava, koja pokazuju da studenti internetske generacije imaju veću želju za aktivnim i angažiranim iskustvima učenja. Prema zapažanjima Oblingera i Hagnera (2005.) studenti digitalnog doba izražavaju potrebu za raznovrsnijim oblicima komunikacije tvrdeći da im tradicionalne metode učenja brzo dosade. Glenn (2000.) navodi da internetska generacija treba mogućnosti učenja samonavoñenjem, interaktivna okružja, raznovrsne oblike povratnih informacija te odabir onih zadataka u kojima se koriste različita sredstva za stjecanje iskustava u učenju od osobnog značenja. S druge strane, prema mišljenju Haya (2000.) internetska generacija želi praktičnije pristupe učenju, temeljene na istraživanju i sve je manje voljna samo upijati sadržaje koji joj se poslužuju. Kako objasniti te promjene u stilovima učenja? Tapscott (1998.) tvrdi da ovaj neovisniji stil učenja potječe iz usvojene navike traženja i dobivanja informacija s Interneta, po čemu se internetska generacija izrazito razlikuje od prethodnih generacija studenata, koji su informacije dobivene od autoriteta usvajali na pasivniji način.



No ostali članovi obrazovnog osoblja protive se pritisku za preoblikovanjem visokoškolskog obrazovanja radi zadovoljavanja očekivanja internetske generacije. Naomi Baron, primjerice, tvrdi kako potez integriranja tehnologije, smanjivanja trajanja predavanja i preoblikovanja zadataka s ciljem motiviranja nestrpljive internetske generacije samo još više potiče nedostatak discipline. Baron tvrdi da „smo u odreñenom trenutku počeli uništavati visokoškolsko obrazovanje“ (navod iz Carlson 2005., „Not So Different?“, 6).

Baronova zapažanja možda imaju odreñenu vrijednost. Visokoškolsko obrazovanje u Sjedinjenim Državama uživa dugačku i uglednu demokratsku tradiciju, koja iza sebe ima dva stoljeća prakse. Za razliku od mnogih sličnih ustanova u ostalim zemljama, američka su sveučilišta (relativno) dobro odgovarala na novi razvoj i pokazivala spremnost u ispunjavanju promjenjivih potreba svojih studenata. Uvoñenje većeg stupnja samostalnosti u proces učenja može promijeniti, pa čak i unaprijediti obrazovanje, meñutim pokušaj brzog odgovora na zamijećene potrebe internetske generacije može naštetiti obrazovnom sustavu. Iako se često koriste elektroničkim alatima, pripadnicima internetske generacije u pravilu nedostaju potrebne vještine informacijske pismenosti, a vještine kritičkog razmišljanja često su im slabo razvijene (Oblinger i Oblinger 2005.). Iako možda jesu dobri poznavatelji digitalnih tehnologija, to ne znači da razumiju kako korištenje tehnologije utječe na njihovu pismenost i navike učenja.

Što se obrazovnih djelatnika tiče, motiviranje internetske generacije uporabom dodatnih tehnoloških alata možda nije toliko učinkovito i presudno kao poboljšanje njihove informacijske pismenosti i razvoj vještina kritičkog razmišljanja.

Isto je tako moguće da obrazovni djelatnici ne rade u korist svojih studenata zadovoljavajući još jednu tipičnu potrebu internetske generacije pri učenju: njihovu sklonost neposrednosti, koju sami iskazuju. Njihova upotreba Interneta za trenutačni pristup informacijama internetsku je generaciju naučila očekivati vrlo brze odgovore. To ih je uvjetovanje učinio općenito manje spremnima prihvatiti odgoñene nagrade za rad, kako u učionicama, tako i izvan njih. Hay (2000.) nudi priču koja je dobar primjer toga. U učionici jedne osnovne škole, tijekom lekcije o Australiji, jedan je učenik postavio pitanje: „Čime se hrane klokani?“ Učiteljica, priznavši da ne zna točan odgovor, učenicima je obećala odgovor čim ga sazna, na što se iz klupe ustao jedan učenik te predložio da će sam „vrlo brzo“ pronaći odgovor na internetu(9). Predavačima je u pravilu teško oduprijeti se ovom zahtijevanju brzih odgovora u izravnom kontaktu s učenicima. Mnoge ustanove pokušavaju pomoću tehnologije ponovno povezati studente digitalnog doba s tradicionalnim praksama iz učionica, a znatan broj sveučilišta (preko 150, prema Carnivaleu i Youngu 2006.) sada od studenata zahtijeva kupnju prijenosnih računala. Pružajući internetskoj generaciji pristup Internetu koji toliko želi, ova joj strategija jamačno može biti od koristi.

Neki obrazovni djelatnici zabrinuti su da bi borba profesora za pažnju učenika pomoću Interneta, trenutačnog dopisivanja (eng. instant messaging) i računalnih igara mogla imati negativan učinak na djelotvornost podučavanja (Carnivale 2006.). No možda je takva zabrinutost uzrokovana više stavovima i pretpostavkama obrazovnih djelatnika o učenju, koji proizlaze iz njihovih vlastitih stilova učenja, nego što odražava stavove i način rada internetske generacije. Poznati predavač Seymour Papert niz godina ističe činjenicu da računala i tehnologija mogu poslužiti kao učinkoviti alati pri podučavanju, ali da obrazovni djelatnici, koji ih rabe kao izdvojene alate, nepovezane sa životom i učenjem studenata, ustvari ne iskorištavaju u potpunosti njihove mogućnosti (Papert 1993.). Internetskoj



generaciji, koja je odrastala "u digitalnom svijetu", društvena interakcija i struktura razreda značajnija je od potencijalnih ometanja s Interneta.

Najbolje je to izrazio Ben McNeely (2005.), i sam pripadnik internetske generacije, koji tvrdi da studenti njegove generacije "vole društvenu interakciju koja nastaje kad su u učionici, okruženi svojim kolegama" (44). Njima su, tvrdi McNeely, „odnosi pokretačka snaga učenja [i] . . . učenje kroz društvenu interakciju je važno“ (2005. 44). McNeely citira Armana Assaa, studenta MBA-a i predsjednika Mac Users grupe na Sveučilištu Sjeverne Karoline, koji tvrdi da primjena tehnologije u učionicama nije loša, ali da bi ona samo trebala „unaprjeñivati već postojeće sadržaje“ u smislu interakcije, podučavanja i učenja (2005. 45). Ovakvo rasuñivanje dovodi do zaključka da obrazovni djelatnici mogu najbolje zadovoljiti potrebe internetske generacije i ostvariti nastavne ciljeve tako da prilagode pedagoški pristup podržavanju potreba internetske generacije za neovisnošću i samostalnošću u učenju.

Mediji, višezadaćni rad i učenje

Priučenost internetske generacije na korištenje raznih formata medija još je jedno jasno istaknuto obilježje njihovog stila učenja. Višezadaćni rad sastavni je dio životnog stila internetske generacije (Oser 2005.). Revolucionarno istraživanje otkrilo je da pripadnici internetske generacije u dobi izmeñu 8 i 18 godina navode da istovremeno koriste različite vrste medija, kao npr. računala i Internet istovremeno s video igrama, tiskovnim medijima, glazbom i telefonom (Zaklada obitelji Kaiser 2005.). Drugo je istraživanje pokazalo da mladi pripadnici internetske generacije (u dobi izmeñu 6-14 godina) uspiju obuhvatiti 8,5 sati korištenja medija u razdoblju od samo 6 sati (Zaklada obitelji Kaiser 2005.).

Budući da su navikli na višestruke podražaje, pripadnici internetske generacije tvrde da se dosañuju u tradicionalnoj učionici, a u isto se vrijeme stariji obrazovni djelatnici žale na njihov ograničen kapacitet pažnje. Baron objašnjava da studenti imaju ograničen kapacitet pažnje djelomice zbog medija, čiju upotrebu potičemo mi, kao nastavnici i roditelji, a djelomice i zbog toga što ih nismo podučili duljem održavanju koncentracije (navod iz Carlson 2005. „Millennials and 'Me'“, 5).

No internetska generacija u pravilu ne prihvaća ideju da ima problema s nedostatnim kapacitetom pažnje, nego uporno tvrde da ih nedostatak vremena prisiljava na višezadaćni rad. Važno je da obrazovni djelatnici razumiju da barem ponekad prigovori pripadnika internetske generacije, o tome da im se odreñeni sadržaj čini nepotrebnim, ne znači njihovu nezainteresiranost. Vjerojatnije je da zbog raspona aktivnosti koji traže njihovo vrijeme i pažnju mladi mogu postati nestrpljivi sa sadržajima koji nisu izravno vezani uz karijeru za koju su se odlučili. Višezadaćni rad, kako tvrde pripadnici internetske generacije, samo im pomaže da stignu sve obaviti. Bez obzira čime je motiviran, obrazovni se djelatnici moraju pomiriti s činjenicom da je višezadaćni rad način života mnogih današnjih studenata.



Zanimljivo je kako Baron tvrdi da nastavno osoblje snosi veliku odgovornost za ovaj problem. Pokušavajući izići u susret stilovima učenja internetske generacije, nastavnici često potiču studente na korištenje raznih medija u radu, a istovremeno ih ne uspijevaju podučiti jednako važnim prednostima usporavanja, usredotočenosti i dubokog promišljanja o sadržaju. Kao posljedica toga, tvrdi ona, predavači odustaju od ključne lekcije: podučavanja studenata samostalnom razmišljanju i jasnom izražavanju ideja. „Rekli smo im, „Želimo čuti vaše stavove, oni su važni, sve što kažete je ispravno — mi ih samo možemo upotpuniti,“ kaže Baron. „Sve je češća pretpostavka da je važan način na koji ćete nešto izraziti, a ne može li netko razumjeti to što ste izrazili“ (navod iz Carlson 2005. „Millennials and 'Me“, 7).

Iako pribjegavanje medijskoj upućenosti internetske generacije može donijeti kratkoročnu prednost povećane uključenosti studenata, takav pomak često ide na ruku onim studentima koji posao žele završiti uz ulaganje minimalnih napora (Carlson 2005.). Dvojba u ovom slučaju potječe iz pedagoških strategija koje ustvari poistovjećuju znanje s pukim upravljanjem informacijama, a istovremeno ne uspijevaju iskoristiti pozitivne mogućnosti koje proizlaze iz posvećenosti internetske generacije učenju.

U meñuvremenu, prakse iz učionica, koje su osmišljene kao podrška novim stilovima učenja, stječu uporište na svim razinama. Obrazovni djelatnici diljem zemlje sve se više odmiču od tradicionalnog predavanja prema podučavanju temeljenom na raspravi, koje dopušta osobnije izražavanje. Korištenje timskog rada i eksperimentalnog učenja danas je u učionicama prije pravilo nego iznimka. Sveučilišne ustanove potiču nastavnike na kombiniranje tradicionalnog oblika podučavanja s tehnikama koje potiču aktivnu interakciju sa studentima.

Promotivni materijali fakulteta i sveučilišta zorno predočuju taj trend; primjerice nova marketinška kampanja na našem sveučilištu (Sveučilište William Paterson), koristi se jumbo plakatima i posterima, s prikazom studenta koji izjavljuje „Vjerujem u razgovor, ne u predavanje.“ Istaknutost izraza „informacijska pismenost“ u raspravama o pedagogiji još je jedan primjer ovoga pomaka težišta (Nacionalna udruga za obrazovanje, eng. National Education Association, 2005.). Jasno je da sveučilišta žele primamiti studente podržavajući njihovo poimanje samih sebe kao studenata koji usvajaju informacije postavljanjem pitanja, sustavnom procjenom izvora i odabirom dokaza u potporu njihovih odgovora (Howard 2006.).

S obzirom na prednosti koji mogu proizaći iz podržavanja stilova učenja internetske generacije, nastavno bi osoblje trebalo osmisliti strategije koje studentima nude kompromisna rješenja i kojima se istovremeno izbjegavaju neke od pedagoških zamki koje navode Baron i ostali spomenuti kritičari. Dobra je vijest da su tijekom prošlih deset godina obrazovni djelatnici krenuli s razvijanjem takvih pedagoških sustava, često prilagoñavajući tradicionalne nastavne strategije za iskorištavanje prednosti tehnologije u cilju motiviranja internetske generacije. WebQuest se npr. koristi Internetom kako bi potaknuo razvoj „razmišljanja na višoj razini“ i „u procesu učenja kroz suradnju razvio vještine rada u malim grupama” (Zheng 2005. 55).

Pojavivši se prvi put kod Bernieja Dodgea i Toma Marcha 1995. godine, WebQuest karakterizira ono što Dodge (2001.) naziva dubokim učenjem, koje uključuje stvaranje novog znanja kroz proces kritičkog razmišljanja. WebQuest nije samo jednostavan za korištenje predavačima, već se pokazao i vrlo uspješnim u motiviranju internetske generacije (Više informacija o korištenju WebQuestova može se pronaći na stranici WebQuest news).

http://ww2.wpunj.edu/

http://webquest.sdsu.edu/

http://www.innovateonline.info/www.webquest.org/



WebQuestovi predstavljaju primjer „učenja kroz praksu“, a riječ je o stilu učenja za koji mnogi tvrde da obilježava internetsku generaciju (McNeely 2005.; Prensky 2006.; Shutt n.d.). Nekoliko obilježja učenja internetske generacije, koja se spominju u ovom članku, kao npr. njihov stalni višezadaćni rad, potreba za trenutačnim nagradama te želja za postizanjem neovisnosti i uključivanjem u proces učenja, mogu se obuzdati primjenom pedagoških strategija koje ističu učenje kroz praksu uz upotrebu tehnologije. Jedan je primjer uvoñenje blogova, koji su već duže vrijeme sastavni dio života internetske generacije, u nastavu. Darren Kuropatwa (2006.) opisuje jedan način korištenja blogova u njegovom razredu na jednoj srednjoj školi. Njegovi učenici imaju zadatak zapisničara, koji zapisuju ono što su taj dan učili u školi.

Zadatak glasi ovako: "Napišite kratak sadržaj onoga što ste danas naučili na satu. Uključite toliko detalja da netko tko je izostao s nastave zbog bolesti ili nekog drugog razloga kasnije može lako nadoknaditi propušteno gradivo." Tijekom semestra zapisi učenika pretvorit će se u udžbenik za odgovarajući predmet, kojega učenici pišu za druge učenike. Zapamtite to dok svatko od vas radi bilješke. Zapitajte se: „Je li ovo dovoljno dobro za naš udžbenik? Bi li možda grafički ili neki drugi primjeri pomogali predočiti sadržaj koji smo učili?“ I zapamtite, pred vama je globalna publika, zadivite je. („Harnessing the Power of Pedagogy,“ 4).

Zadatak počinje s jednim učenikom, koji se dobrovoljno javlja, a zatim odabire sljedećeg zapisničara; uloga nastavnika sastoji se jedino od dnevnog ažuriranja zapisa pod nazivom „Popis zapisničara“. Prema riječima Kuropatwe, zadatak bilježi sjajan uspjeh u uključivanju učenika u proces učenja pomoću nekoliko različitih mehanizama. Uspijeh je siguran jer korištenje blogova na taj način ne samo da angažira učenike pomoću Interneta, već se takoñer i oslanja na njihovu usredotočenost na društveno okružje i odnose s vršnjacima.

Korištenje wikija srodna je primjena tehnologije pri podržavanju stilova učenja internetske generacije. Wikiji, stranice koje dopuštaju ureñivanje sadržaja, u jednakoj su mjeri, kao i blogovi, sastavni dio krajobraza stilova učenja internetske generacije. Obrazovni djelatnici sve se više služe wikijima kao mjestom za suradničko pisanje. Tako se, primjerice, Teresa Dobson sa Sveučilišta u British Columbiji koristi wiki stranicom za pisanje na preddiplomskom studiju tehnologije kao svojevrsnom podrškom suradničkim eksperimentima pisanja sastava te „kao poticaj za promišljanje o prirodi on-line pisanja i čitanja“ (Lamb 2004. 3).

Na taj se način pokazuje jedan način korištenja wikija, koji se takoñer može koristiti „u prijelazu s kulture individualizma tradicionalnog podučavanja na podučavanje koje se temelji na suradnji i zajedničkom stvaranju znanja“ (Ferris i Wilder 2006. „Teaching and Learning with Wikis,“ 4). Kako Ferris i Wilder napominju, korištenje wikija kao alata suradničkog pisanja, studentima dopušta stjecanje znanja o kreativnosti, vlasništvu i autorskom pravu u kontekstualnoj tehnologiji.

I dok se WebQuestovi, blogovi i wikiji koriste Internetom, ostali multimedijski izvori takoñer mogu biti privlačni pripadnicima internetske generacije. Sve popularniji YouTube poslužio je kao model jednoj profesorici, koja se služi digitalnim pripovijedanjem kao nastavnim sredstvom. U sklopu kolegija za obrazovanje nastavnika, Melda Yildiz, sa Sveučilišta William Paterson, zahtijeva od studenata izradu video dokumentaraca i predstavlja video projekte, čime se potiče sudjelovanja studenata u raspravama o multikulturalizmu, otvorenost za različita stajališta o povijesti i korištenje multimedije (Yildiz 2007.). Ti primjeri prikazuju kako predavači mogu upotrijebiti tehnologiju i multimediju na odgovarajući način za



uključivanje aktivnosti samostalnog učenja u nastavu te u isto vrijeme osigurati dovoljno razrednog vremena posvećenog razvoju informacijske pismenosti i vještina kritičkog razmišljanja na višoj razini.

Društveno meñudjelovanje i učenje

Internetskoj generaciji, koja je posvećena ciljevima, učenje predstavlja sredstvo ostvarivanja profesionalnih ambicija. Internet je istovremeno oruñe za učenje, ali i ključni dio društvenog života. Razlika izmeñu internetskih alata rabljenih u zabavne i poslovne svrhe upravo zbog toga nije jasna. U analizi provedenoj na ispitanicima u dobi izmeñu 19 i 25 godina, McMillan i Morrison (2006.) otkrili su da Internet zauzima značajan položaj u svakodnevnom životu mladih. Nevjerojatan porast broja internetskih stranica kao npr. Facebook i MySpace iskorištava najdražu razbibrigu ove generacije. Sveučilišna stranica Facebook, koja svakodnevno bilježi rekordnih 250 milijuna posjetitelja, čime zauzima deveto mjesto u cjelokupnom prometu ostvarenom na Internetu (Bugeja 2006.), stranica je koja studentima diljem zemlje omogućava okupljanje, ne samo kako bi mogli zajedno učiti, nego i saznati gdje se organizira sljedeći tulum. Mnogi studenti tu vrstu društvenog povezivanja smatraju dovoljno važnom da se na tu stranicu prijavljuju čak i prije samog početka prve godine studija (Market Wire 2006.).

Kako bi internetskoj generaciji pristupilo učinkovito, obrazovni djelatnici trebaju razmotriti one strategije koje iskorištavaju vještine studenata u stvaranja društvenih veza, a koje studenti koriste izvan učionica. Tako npr. knjižnica Brooklynskog koledža sada ima MySpace stranicu koju osoblje knjižnice koristi umjesto e-pošte kao sredstvo komuniciranja sa studentima za najavu nadolazećih dogañaja, radionica i novih prilika za zapošljavanje (Carlson 2006.). Usprkos svojoj kreativnosti i dobrim namjerama , takve su inicijative od male pedagoške vrijednosti ako studente ne potiču na zauzimanje drugačijih stavova po pitanju njihovog korištenja Interneta te, točnije, na razmišljanje o tome kako Internet djeluje negativno na održavanje koncentracije u mnogim situacijama.

Upravo s tim ciljem, Michael Kearns, profesor računalnih i informacijskih znanosti na Sveučilištu u Pennsylvaniji, Facebook koristi u podučavanju ideja društvenog povezivanja, čime pokazuje učinkovitije iskorištavanje stila života internetske generacije u poticanju razvoja kritičkog razmišljanja meñu njegovim studentima. Na njegovom studijskom predmetu „The Networked Life“ („Umreženi životi“), koji se usredotočuje na društvene aspekte računalnih mreža, studenti stvaraju vlastite Facebook profile i istražuju odnose meñu vršnjacima, što ih navodi na dublje preispitivanje činjenice kako se socijalne mreže odnosa često stvaraju oko nekolicine povlaštenih članova (Read 2004.).

Na taj način, uvoñenje e-portfolija u Program esejističkog pisanja na Sveučilištu u Washingtonu može poslužiti kao još jedan pozitivan primjer; ovom inicijativom studenti uče kako preusmjeriti svoje vještine stvaranja mreža društvenih odnosa na stvaranje online portfolija, u kojima opisuju i razmišljaju o svome ostvarivanju ključnih ciljeva učenja (Lane 2006.). Postavljanjem online navika studenata, pripadnika internetske generacije, u okvire jasno definiranih pedagoških ciljeva, obrazovni djelatnici mogu iskoristiti specifične vještine studenata te osigurati usredotočeno učenje i pozitivne učinke.

http://www.facebook.com/

http://www.myspace.com/

http://library.brooklyn.cuny.edu/

http://www.upenn.edu/

http://www.cis.upenn.edu/~mkearns/teaching/NetworkedLife/

http://depts.washington.edu/engl/ewp/

http://www.washington.edu/

http://www.washington.edu/



Zaključak

S obzirom na činjenicu da mladi, po svemu sudeći, nastavljaju biti u prvim redovima tehnoloških promjena, internetska će generacija i dalje moći podučiti obrazovne djelatnike dosta toga o tehnologijama u razvoju. Meñutim, obrazovni djelatnici ne smiju odbaciti svoju ulogu autoriteta u usmjeravanju iskustava učenja njihovih studenata. Naše istraživanje pokazuje postojanje tanke linije razgraničenja: nastavno osoblje treba nastaviti pronalaziti načine korištenja vještina studenata, koje oni razvijaju izvan učionice, a da pritom ne podržava navike neposrednog nagrañivanja njihovog rada i plitkog razmišljanja. Biti čovjek znači učiti, a uspješno učimo od dobrih nastavnika. Russell Ackoff često piše kako sadašnji sustav obrazovanja ne podučava studente kako učiti (Day 2007.). Digitalna i računalna tehnologija omogućava nam da taj nedostatak ispravimo, dajući nam sredstva podučavanja internetske generacije ne samo o tome što, nego i kako učiti.

______________________________________________

INFORMACIJE O AUTORSKIM PRAVIMA I CITIRANJU OVOG ČLANKA

Ovaj članak moguće je reproducirati i distribuirati u obrazovne svrhe, ako se u dokument uključi sljedeće:

Bilješka: Ovaj članak izvorno je objavljen u Innovate časopisu (http://www.innovateonline.info/) pod nazivom: Barnes, K., R. Marateo, and S. Ferris . 2007. Teaching and Learning with the Net Generation. Innovate 3 (4). http://www.innovateonline.info/index.php?view=article&id=382 (učitan 30. svibnja 2007.). Članak je ovdje reproduciran s dopuštenjem izdavača, The Fischler School of Education and Human Services pri Nova Southeastern University.

http://www.innovateonline.info/index.php?view=article&id=382

Documents

Časopis Edupoint – broj 47edupoint.carnet.hr/casopis/cimages/edupoint/ep_55_1.pdfCARNet - Časopis Edupoint godište VII | broj 55 | Zagreb | 31.05.2007. | ISSN 1333-5987 6 339