Kotor , 14.06.2013

Preporuke za sprovođenje interne evaluacije DL studijskih programa

eMM model

Vladan DevedžićUniverzitet u Beogradu

Kotor, 14.06.2013

511126-TEMPUS-1-2010-1-RS-TEMPUS-SMGR

University of Kragujevac

Uvod

• Smernice za sve učesnike u internoj kontroli kvaliteta (QA) vezanoj za DL na WB univerzitetima

• Aktuelne definicije DL, eL, TEL,...Any online facility or system that directly supports learning and teaching. This may include a formal virtual learning environment (VLE), an institutional intranet that has a learning and teaching component, a system that has been developed in house or a particular suite of specific individual tools. (Walker et al., 2012)

E-learning refers to the use of electronic media and information and communication technologies (ICT) in education. E-learning is broadly inclusive of all forms of educational technology in learning and teaching. E-learning is inclusive of, and is broadly synonymous with multimedia learning, TEL, CBI, CBT, CAI, IBT, WBT, online education, virtual education, VLE, learning platforms, m-learning, and digital educational collaboration. These alternative names emphasize a particular aspect, component or delivery method. (Wikipedia, 2013)



Uvod

• WB univerziteti imaju različite pristupe DL, kao i u internoj evaluaciji, QA, organizaciji nastave,...

• Razni univerziteti u Evropi i na drugim kontinentima takođe

• QA sistem: dokumentovani skup procedura koje obezbeđuju da čitav proces DL ispunjava ciljeve DL studijskog programa i da je kvalitet tog procesa kontrolisan



Uvod

• Kod DL studijskih programa, sistem QA mora da obezbedi da kvalitet učenja bude barem jednak kvalitetu učenja u slučaju F2F programa



Izbor modela QA za DL u WB zemljama

• Veliki broj postojećih modela, benchmarka, itd.– ACODE (Australia)– eMM (New Zealand)– E-xcellence+ (EU – vrlo jak konzorcijum!)– ELTI (JISC, UK)– Pick & Mix (UK)– SEVAQ+ (EU)– ...




• Obično u svakom modelu/benchmarku/... postoji skup kriterijuma i za svako od njih skup indikatora– kriterijumi/polja/...

• studenti• tehnologija• nastavnici• administracija• kursevi• ...

intended learning outcomescurriculum contentteaching/learning materialsproduct/service information for potential studentsappropriateness of learning technologiessound technical design of learning materials and

deliveryappropriate and necessary personnellearning resources other than teaching materialsthe issue of the complete learning packagethe issue of the comprehensive course package

(all materials and technologies)evidence of program success through routine review

and evaluationprogram plans and budgetadvertising, recruiting and admissions information




• Obično u svakom modelu/benchmarku/... postoji skup kriterijuma i za svako od njih skup indikatora– indikatori

• pristup servisima za učenje i njihova otvorenost• bezbednost podataka• ažurnost kursevima• raspoloživost nastavnika• kvalitet administrativnih servisa...• ...

Primer: Pick & Mix

http://www.google.com/url?q=http://www.matic-media.co.uk/benchmarking/PnM-2pt6-beta3-full.xlsx&sa=D&sntz=1&usg=AFQjCNFrKKph5TWbGsCpmd00rQkJ8ect6g




• Praktični aspekti– nov model/benchmark/framework/... ili

adaptacija nekog od postojećih?– specifičnosti svake od WB zemalja– integracija QA za DL u postojeće F2F QA sisteme– DL vs. F2F – nije isto!– kompetencije, resursi, tehnološka podrška,... –

sve to se mora garantovati u DL studijskom programu– interne prakse i workflows moraju se adaptirati za DL




• Izabran je eMM– procenjeno je da najviše odgovara potrebama WB

u realno postojećim uslovima– uzeta je u obzir zakonska regulativa– analizirana je WB praksa akreditovanja DL programa– usvojen je princip adaptiranja eMM lokalnim

specifičnostima u svakoj konkretnoj WB zemlji



eMM

• Procesi i njihove kategorije



eMM




eMM




eMM




eMM




eMM




eMM

• Dimenzije– izvođenje nastave, ispita,... (delivery)– planiranje (planning)– definisanje (definition)– menadžment (management)– optimizacija (optimization)



eMM

• Upitnik– za svaki proces postoji više indikatora (practices/items)– za svaki indikator može da postoji jedno ili više pitanja– svako pitanje se odnosi na jednu dimenziju

odgovarajućeg procesa– originalna verzija eMM: preko 1000 pitanja!



eMM

• Upitnik– sugerisane adaptacije

• na nivou indikatora (practices/items)• izbor/modifikacija nekih od mogućih indikatora/pitanja• pri pravljenju izbora, dobro je pokriti sve procese

bar jednim indikatorom/pitanjem• na svako pitanje odgovor se daje izborom jedne od

ponuđenih opcija – "not adequate", "partially adequate", "largely adequate", or

"fully adequate"– "not assessed"



eMM

• Upitnik– primer

• L1. Learning objectives guide the design and implementation of courses

– L1.P1. Does course documentation include a clear statement of learning objectives? Are course workload expectations and assessment tasks consistent with course learning objectives?(not assessed / not adequate / partially adequate / largely adequate / fully adequate)

– L1.P2. ....



eMM

• Upitnik– WB verzija

• po pet indikatora (practices/items) za svaki proces• svaki indikator odnosi se na jednu dimenziju• uglavnom su pokrivene sve dimenzije za svaki proces



eMM

• Popunjavanje upitnika



eMM

• Popunjavanje upitnika



Samoevaluacija

• Upitnici– upitnik za studente– upitnik za nastavnike– upitnik za administrativno osoblje

• SEVAQ+ upitnici su poslužili kao osnova– odgovori se daju izborom iz sledećih opcija:

I don't want to answer / Fully disagree / partially disagree / largely agree / fully agree

Documents

Kotor , 14.06.2013