22
Bron Saxion Archeologie Fieldschool 2012-2013 Workshop Slimme toets- structuren Vereniging Hogescholen 12 december 2013

Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Embed Size (px)

DESCRIPTION

De presentatie is gebruikt tijdens een landelijke studiedag van de Vereniging van Hogescholen. De presentatie zoomt in op een methode voor het uitvoeren van een competentieanalyse van een opleiding. De methode leidt niet tot uitspraken over het eindniveau van een opleiding, maar geeft een opleiding wel inzicht in de mate waarin het toetsplan de competenties afdekt, waarbij tevens uitspraken worden gedaan over de wijze waarop dat gebeurt (kennis, inzicht, toepassing en/of praktijkhandelen).

Citation preview

Page 1: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Bron Saxion Archeologie Fieldschool 2012-2013

Workshop Slimme toets-structurenVereniging Hogescholen12 december 2013

Page 2: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Onderwijskundig adviseur

• Zoëzi Opleidingsadvies

• http://www.zoezi.nl/

[email protected]

Hilde ter Horst Peter BlijlevenOnderwijskundig adviseur

• School of Business, Building & Technology

[email protected]

• www.saxion.nl/bbt

• www.saxion.nl/ar (Archeologie)

Voorstellen

Page 3: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

1. Introductie Saxion Archeologie.

2. Competentieontwikkeling binnen de opleiding.

3. PDCA: competentieanalyse a.d.h.v. piramide van Miller.

4. Activiteit: toetsplan duiden via piramide van Miller.

5. Terugkoppeling.

6. Opbrengsten en afronding.

Draaiboek

Page 4: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Achtergrondinformatie

• Enige HBO-bachelor Archeologie in Nederland.

• Opleiding gevestigd in Deventer.

• ±250 studenten (numerus fixus).

• Archeologie is specialistisch beroep:

– ± 30 docenten:

• Kernteam: 8 docenten

• Flexibele schil

– Gastdocenten

Bron Sax.nu (15 oktober „12).

Bron Saxion team Archeologie: Fieldschool.

Page 5: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Historie

• Start particulier initiatief, Saxion Next.

• In 2008 eerste accreditatie.

• In 2010 bij wet bepaald:

– Wo en hbo bachelorarcheoloog voor de wet gelijk.

• Sinds 2011 een bekostigde opleiding.

• Sinds mei 2013 stamopleiding Bachelor of Built Environment (BBE).

Bron Saxion team Archeologie: excursie Xanten

Bron Sax.nu (15 oktober „12).

Page 6: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Visie en uitgangspunten

• Aansluiting ontwikkelingen werkveld:– Wet archeologische monumentenzorg

(2007).

• Kwaliteitsnorm Nederlandse Archeologie (KNA)

– Kritische taken hbo bachelorarcheoloog

• Internationale oriëntatie:– Focus Nederlandse archeologie.

– Internationale samenwerking/stage.

• Competentiegericht

• Programma:– Wettelijke eisen (240ec, minor).

– Evenredige verdeling ECTS over jaren.

– Praktijkgericht (30 weken jaar 1/2/3).

KNA: kwaliteitsnorm archeologie (beroepstaken)

Bron Sax.nu (15 oktober „12).

Page 7: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Curriculum

• Stage/fieldschool

Page 9: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Curriculum

• Aanschouwelijk onderwijs: opgravingen bezoeken

Page 10: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Curriculum

• Afstudeerproject WOII-erfgoed: V-I

Page 11: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: competentieontwikkeling?

• Kaders van de opleiding staan, vraag is nu:– kunnen we garant staan voor kwaliteit?

– kunnen we die kwaliteit bij een accreditatie (18-10 „13) zichtbaar maken?

• Analysevragen geformuleerd:1. Dekt het toetsplan van de opleiding de toetsing van alle competenties af?

2. Is er sprake van toename complexiteit in toetsing van beheersing van competenties?

Page 12: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

PlanAnalyse via Piramide van Miller

• Plan voor analyse kritische toetsdocumenten:– Toetsplan, toetscatalogus en toetsen.

– Analyse op basis van piramide van Miller (1990).

• Aandachtspunten bij de analyse:– Is transparant of en waar alle competenties expliciet getoetst worden?

– “Bewandelen” de studenten door middel van de toetsen alle niveaus van Miller binnen een kwartiel, leerjaar en binnen hele opleiding?

– Is er sprake van een toename van complexiteit in toetsen?

– Is er sprake van een mix van toetsvormen en beoordelaars?

– Wat is het aandeel van individueel toetsen in summatieve toetsen?

Page 13: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

PlanAnalyse via Piramide van Miller

• Does: – toepassen geleerde in complexe praktijksituaties

(praktijk, stage, afstuderen).

• Shows how: – toepassen geleerde in gesimuleerde situaties

(practicumtoets, projecttoets).

• Knows how: – weten hoe kennis moet worden gebruikt

(casus, inzichtvragen kennistoets).

• Knows: – basiskennis waarover een student

moet beschikken (kennistoets).

Bron: Miller GE. (1990). The assessment of clinical skills/competence/performance. Academic Medicine, 65, S63-S67 Available: http://winbev.pbworks.com/f/Assessment.pdf [2013, december].

Does

Shows how

Knows how

Knows

Page 14: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

DOUitvoeren analyse toetsplan

• Voorbeeld:– Resultaat duiding m.b.v. piramide van Miller.

Page 15: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

CHECKijken en borgen bevindingen

• Check tijdens analyse: docenten– Tijdens analyse voortdurend in gesprek met docenten

over de toets, de competenties en de duiding van deniveaus Miller.

• Check na afronding van analyse: eindoordeel– Beantwoorden van de analysevragen.

– Vaststellen totale analyse met opleidingsteam.

– Vaststellen competentieontwikkeling bij Examencommissie.

Page 16: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

CheckConclusies

• Het bestaande toetsplan was niet volledig.

• Leerjaar 1/2/3: – Alle competenties minimaal 2 keer getoetst in jaar.

• Complexiteit toetsing stijgt tijdens studie:– Meer „knows how‟ niveau in kennistoetsen leerjaar 3.– Complexiteit van toetsing stage stijgt.

• Propedeuse: oriëntatiefase:– Alle competenties (ten minste) op „knows how‟ niveau getoetst.– Toetsing op „Does‟ niveau in fieldschool (kwartiel 4).

• Eind jaar 3: alle competenties op „does‟-niveau getoetst.

• Leerjaar 4: focus op toetsing hbo-competenties

Page 17: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

ACTVervolgacties

• Nieuw toetsplan:– Opleiding heeft toetsplan aangescherpt o.b.v. de

analyseresultaten.

• Bijgestelde toetsplan is vastgesteld door de examencommissie.

• Zichtbaar maken competentieontwikkeling via een poster.

• Accreditatie (oktober 2013):– Poster en nieuwe toetsplan zijn succesvol gepresenteerd bij de externe

visitatie door Hobéon.

Page 18: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Opdracht:Oefenen met Miller

Werk de volgende 2 vragen uit:

1. Maak de duidingen volgens Miller af voor kwartiel 2,3 en 4.

– Vervang de kruisjes door K („knows‟) KH („knows how‟) SH („shows how‟) D („does‟).

2. Analyseer je „score‟ en beantwoord de volgende deelvragen:

– Worden alle competenties evenwichtig getoetst?

– Worden alle niveaus van Miller doorlopen binnen een kwartiel enbinnen de gehele propedeuse?

Does

Shows

how

Knows how

KnowsNB. Linkerkolom: Vijf competenties, C1 tot en met C5.

Rechterkolommen: Toetsvormen verdeeld over 4 kwartielen

Page 19: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

OpdrachtResultaten & conclusies

REACTIES

conclu

sie

s

bevindingen

uitkomsten

bijzonderheden

Page 20: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Tot besluitOpbrengsten analyse

• Accreditatie: – Docenten kunnen competentieontwikkeling in opleiding beter uitleggen.

• Verbeteren toetsmatrijzen kennistoetsen:– Voorstel voor opnemen niveaus Miller in sjabloon toetsmatrijzen.

• Verbintenis met Saxion didactische training:– Feedback docenten tijdens de analysefase dat ook in Saxion didactische

training aandacht wordt besteed aan de piramide van Miller.

– Goed voor de communicatie, docenten pakken werkwijze snel op.

Page 21: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Opbrengsten

• Tijd:– Analyse is in betrekkelijk korte tijd te doen.

– Archeologie: analyse in 2 maanden uitgevoerd (incl. ontwerp).

• Communicatie:– Benutting Poster tijdens open dagen.

• Onderwijsontwikkeling:– Poster helpt curriculumcommissie bij maken keuzes onderwijsherziening

(o.a. relatie toetsvormen, niveaus van Miller, behouden wat goed is, etc.).

• Aanbeveling:– Gesprek met docent is absoluut noodzakelijk.

– Analyse maakt inzichtelijk of het toetsplan de competenties afdekt.

– Uitspraken over eindniveau (competent zijn) hangen af van het hele toetskwaliteitssysteem (examen-/toetscommissie, toetscontrole, scholing).

Page 22: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Bedankt voor uw aandacht!

? ? ?