View
214
Download
0
Category
Preview:
Citation preview
Challenge the future
Delft University of Technology
Peer evaluatie: dé manier om van elkaar iets te leren
Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion
2
Context
• 2000+ studenten in BSc en MSc
• In BSc wordt veel gebruikt gemaakt van
Projectonderwijs (ca. 35 ECTS)
• Studenten werken in groepen van 8 – 10
studenten aan zeer diverse
projecten
Faculteit Luchtvaart- en
Ruimtevaarttechniek
3
Probleem: Beoordeling
• Onder docenten grote behoefte aan assistentie
bij beoordelen
• Grootste problematiek:
• Wie heeft wat gedaan?
• Hoe groot is de individuele bijdrage geweest?
• Wat is de kwaliteit van de bijdrage?
• Hoe heeft een persoon bijgedragen aan het
groepsproces?
4
Werken in een project
Tijd
Formulering
Project doel
Project
resultaat
Evaluatie
5
Werken in project onderwijs projecten
Tijd
Formulatie
Project doel
Project
resultaat
Leer
resultaat
6
Oplossing: Peer & Zelf
evaluaties
Peer evaluatie:
Het beoordelen van leden van het eigen project
team op hun bijdrage tot het project en de manier
waarop die bijdrage tot stand is gekomen.
Zelfevaluatie:
Het beoordelen van de eigen bijdrage tot het
project en de manier waarop die bijdrage tot
stand is gekomen.
7
Type peer evaluaties
Drie types peer evaluatie:
1. Ranking (van beste tot slechtste)
2. Pot verdelen (een pot punten of geld door het
team onderling laten verdelen)
3. Rubrics (aan de hand van opgestelde criteria
studenten elkaar laten beoordelen)
Voor projectonderwijs in het HO is op LR ervaren
dat optie 3 het beste werkt.
8
Uitvoering
• Gekozen voor een bestaande set rubrics zoals
gebruikt op de United States Air Force
Academy in their project
• Een Rubric is een scoringsvorm waarbij je
iemand punten geeft gebaseerd op van te
voren opgestelde criteria
9
Criteria
Op L&R aan de TU Delft worden 5 criteria
gebruikt:
• Job performance
• Attitude
• Initiative
• Communication
• Management of Resources
10
Job Performance Attitude Leadership/Initiative Management of
Resources
Communication
Consistently does more than required. Work is of
exceptional quality.
Positive and professional attitude which favorably
influences other company members.
Takes initiative to seek out work, concerned with getting
the job done. Very involved in the technical project.
Uses time effectively in and out of group and works to get
others to do the same. All tasks completed on or ahead of schedule.
Oral and written skills excellent. Very effective
within the group and to reviewers.
Sometimes does more than required. Work is of high
quality. A producer.
Positive attitude toward project and the team.
Readily accepts tasks, sometimes seeks more work.
Gets involved in the project.
Uses time effectively in and of group. Completes all tasks on
time.
Usually effective.
Performs all assigned tasks. Quality of work is acceptable.
Neutral attitude. Gets involved enough to complete tasks. Does his/her
share.
Wastes some time in group, but works hard when a deadline is
near. Most tasks completed on time.
Generally gets the point across. Tries to improve in
weak areas.
Performs all assigned tasks. Work must be redone or
repaired to meet standards.
Negative attitude toward project and/or project.
Tends to watch others work. Gets involved only when
necessary. Volunteers to help when it will look good.
Wastes most of group time. Seldom seen doing productive
work. Some tasks completed late.
Skills ineffective. Makes an effort to improve.
Performs some assigned tasks. Work must be redone
by others to meet standards.
Negative attitude which adversely affects other
company members or project.
Lets others do the work; does the minimum he/she thinks is
needed to get by.
Does little useful work in group or out; wastes his/her time and
others. Work is constantly late.
Skills ineffective. Makes little or no effort to
improve.
11
Criteria: Job Performance
++ + 0 - --
Consistently
does more
than
required.
Work is of
exceptional
quality
Sometimes
does more
than
required.
Work is of
high quality.
A producer
Performs all
assigned
tasks.
Quality of
work is
acceptable.
Performs all
assigned
tasks. Work
must be
redone or
repaired to
meet
standards
Performs
some
assigned
tasks. Work
must be
redone by
others to
meet
standards.
12
Criteria: Attitude
++ + 0 - --
Positive and
professional
attitude,
which
favourably
influences
other team
members.
Positive
attitude
toward
project and
the team
Neutral
attitude.
Negative
attitude
toward team
and/or
project.
Negative
attitude
which
adversely
affects other
team
members or
project.
13
Criteria: Initiative
++ + 0 - --
Takes
initiative to
seek out
work,
concerned
with getting
the job done.
Very involved
in the
technical
project.
Readily
accepts
tasks,
sometimes
seeks more
work. Gets
involved in
the project.
Gets involved
enough to
complete
tasks. Does
his/her
share.
Tends to
watch others
work. Gets
involved only
when
necessary.
Volunteers to
help when it
will look
good.
Lets others
do the work;
does the
minimum
he/she thinks
is needed to
get by.
14
Criteria: Management of Resources
++ + 0 - --
Uses time
effectively in
and out of
group and
works to get
others to do
the same. All
tasks
completed on
or ahead of
schedule.
Uses time
effectively in
and of group.
Completes all
tasks on
time.
Wastes some
time in
group, but
works hard
when a
deadline is
near. Most
tasks
completed on
time.
Wastes most
of group
time. Seldom
seen doing
productive
work. Some
tasks
completed
late.
Does little
useful work
in group or
out; wastes
his/her time
and others.
Work is
constantly
late.
15
Criteria: Communication
++ + 0 - --
Oral and
written skills
excellent.
Very effective
within the
group and to
reviewers.
Usually
effective.
Generally
gets the
point across.
Tries to
improve in
weak areas.
Skills
ineffective.
Makes an
effort to
improve.
Skills
ineffective.
Makes little
or no effort
to improve.
16
IT systeem implementatie eisen
• Web based, systeem onafhankelijk
• Exporteerbare files
• Batch enroll functie
• Neutrale interface
• Criteria kunnen aangepast en aangevuld worden
• Ratings zijn niet terug te voeren op individuen
• Docent is regisseur en beslist wat er met de data gebeurt
17
Hoe in te vullen?
• Per teamlid en voor zichzelf het meest van toepassing zijnde
hokje invullen voor iedere categorie
• Mogelijkheid tot het geven van een toelichting via commentaar
box
• Commentaar kan “private” of “public” worden gegeven
18
Data beheer
• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.
• Alle studenten loggen in met NetID
• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 3 niveaus voor publicatie: • de hele groep • de staf • de administrator
19
Ervaringen met Peer evaluaties
• Om optimaal gebruik te kunnen maken van peer
evaluaties moeten ze min. twee keer per
project worden uitgevoerd (halverwege en
aan het eind)
• Commentaar functie wordt als zeer nuttig ervaren
• Omdat de resultaten niet in een cijfer wordt
omgezet wordt het systeem door studenten
geaccepteerd als eerlijk
• Een goede IT infrastructuur is onontbeerlijk om de
administratieve lasten voor docenten te
beperken
20
Gebruik tot nu toe
• Vanaf 2000 met eigen systeem gewerkt
• Gemaakt door student assistenten
• Aantal gebruikers van systeem groeit hard
• Steeds moeilijker systeem in eigen beheer te
houden en te updaten: continuïteit komt in
gevaar
• Eind 2009 is besloten om met externe partner
in zee te gaan: Parantion
21
Parantion
• Enquêtes: Web Survey
• Ontwikkeling: Scorion
22
Scorion: voorbeelden van modules
• Ontwikkeling zichtbaar maken
• Reflectie (360 graden feedback)
• Formatief toetsen
• Matchen
• Formulier gedreven portfolio
• Peer Evaluatie
Dus: Faciliteert en visualiseert leer- en ontwikkelprocessen
23
Voortgang
24
360 graden feedback
25
Formatief toetsen (evt. competenties)
26
Matchen Matching student
competenties en
competenties te behalen in
project.
Student kiest project en
solliciteert.
27
(Medisch) Portfolio:formulier
gestuurd: maart 2011
28
Self
Peer
Group
Self
Peer
Peer evaluaties in Scorion
Aantal vragenlijsten: 2x2
29
Hoeveel vragenlijsten zou….8
30
Dus: L&R voor één vak
• Projectonderwijs L&R
• 80 groepen
• 8 studenten per groep
• X 8 vragenlijsten
5120
31
Demo/screenshots
32
Self
Peer
33
Feedback
34
Koppelingen
35
Toekomstplannen
• Succesvolle implementatie bij TUDelft eind 2010
• Kwalitatieve en kwantitatieve ontwikkeling op alle
niveaus
36
Conclusies
• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van
individuele bijdrages in projectonderwijs
• IT-infrastructuur voor dit type projecten moet professioneel
worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te
garanderen
• Met hulp van het Scorion systeem van Parantion kan dit bereikt
worden
37
Vragen?
• www.tudelft.nl
• Dr. Ir. Gillian N. Saunders-Smits (G.N.Saunders@tudelft.nl)
• www.parantion.nl
• Drs. R.A. Smabers (roel.smabers@parantion.nl)
• Drs. R.J. Smeenk (robert.smeenk@parantion.nl)
Recommended