Challenge the future

Delft University of Technology

Peer evaluatie: dé manier om van elkaar iets te leren

Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion

2

Context

• 2000+ studenten in BSc en MSc

• In BSc wordt veel gebruikt gemaakt van

Projectonderwijs (ca. 35 ECTS)

• Studenten werken in groepen van 8 – 10

studenten aan zeer diverse

projecten

Faculteit Luchtvaart- en

Ruimtevaarttechniek

3

Probleem: Beoordeling

• Onder docenten grote behoefte aan assistentie

bij beoordelen

• Grootste problematiek:

• Wie heeft wat gedaan?

• Hoe groot is de individuele bijdrage geweest?

• Wat is de kwaliteit van de bijdrage?

• Hoe heeft een persoon bijgedragen aan het

groepsproces?

4

Werken in een project

Tijd

Formulering

Project doel

Project

resultaat

Evaluatie

5

Werken in project onderwijs projecten

Tijd

Formulatie

Project doel

Project

resultaat

Leer

resultaat

6

Oplossing: Peer & Zelf

evaluaties

Peer evaluatie:

Het beoordelen van leden van het eigen project

team op hun bijdrage tot het project en de manier

waarop die bijdrage tot stand is gekomen.

Zelfevaluatie:

Het beoordelen van de eigen bijdrage tot het

project en de manier waarop die bijdrage tot

stand is gekomen.

7

Type peer evaluaties

Drie types peer evaluatie:

1. Ranking (van beste tot slechtste)

2. Pot verdelen (een pot punten of geld door het

team onderling laten verdelen)

3. Rubrics (aan de hand van opgestelde criteria

studenten elkaar laten beoordelen)

Voor projectonderwijs in het HO is op LR ervaren

dat optie 3 het beste werkt.

8

Uitvoering

• Gekozen voor een bestaande set rubrics zoals

gebruikt op de United States Air Force

Academy in their project

• Een Rubric is een scoringsvorm waarbij je

iemand punten geeft gebaseerd op van te

voren opgestelde criteria

9

Criteria

Op L&R aan de TU Delft worden 5 criteria

gebruikt:

• Job performance

• Attitude

• Initiative

• Communication

• Management of Resources

10

Job Performance Attitude Leadership/Initiative Management of

Resources

Communication

Consistently does more than required. Work is of

exceptional quality.

Positive and professional attitude which favorably

influences other company members.

Takes initiative to seek out work, concerned with getting

the job done. Very involved in the technical project.

Uses time effectively in and out of group and works to get

others to do the same. All tasks completed on or ahead of schedule.

Oral and written skills excellent. Very effective

within the group and to reviewers.

Sometimes does more than required. Work is of high

quality. A producer.

Positive attitude toward project and the team.

Readily accepts tasks, sometimes seeks more work.

Gets involved in the project.

Uses time effectively in and of group. Completes all tasks on

time.

Usually effective.

Performs all assigned tasks. Quality of work is acceptable.

Neutral attitude. Gets involved enough to complete tasks. Does his/her

share.

Wastes some time in group, but works hard when a deadline is

near. Most tasks completed on time.

Generally gets the point across. Tries to improve in

weak areas.

Performs all assigned tasks. Work must be redone or

repaired to meet standards.

Negative attitude toward project and/or project.

Tends to watch others work. Gets involved only when

necessary. Volunteers to help when it will look good.

Wastes most of group time. Seldom seen doing productive

work. Some tasks completed late.

Skills ineffective. Makes an effort to improve.

Performs some assigned tasks. Work must be redone

by others to meet standards.

Negative attitude which adversely affects other

company members or project.

Lets others do the work; does the minimum he/she thinks is

needed to get by.

Does little useful work in group or out; wastes his/her time and

others. Work is constantly late.

Skills ineffective. Makes little or no effort to

improve.

11

Criteria: Job Performance

++ + 0 - --

Consistently

does more

than

required.

Work is of

exceptional

quality

Sometimes

does more

than

required.

Work is of

high quality.

A producer

Performs all

assigned

tasks.

Quality of

work is

acceptable.

Performs all

assigned

tasks. Work

must be

redone or

repaired to

meet

standards

Performs

some

assigned

tasks. Work

must be

redone by

others to

meet

standards.

12

Criteria: Attitude

++ + 0 - --

Positive and

professional

attitude,

which

favourably

influences

other team

members.

Positive

attitude

toward

project and

the team

Neutral

attitude.

Negative

attitude

toward team

and/or

project.

Negative

attitude

which

adversely

affects other

team

members or

project.

13

Criteria: Initiative

++ + 0 - --

Takes

initiative to

seek out

work,

concerned

with getting

the job done.

Very involved

in the

technical

project.

Readily

accepts

tasks,

sometimes

seeks more

work. Gets

involved in

the project.

Gets involved

enough to

complete

tasks. Does

his/her

share.

Tends to

watch others

work. Gets

involved only

when

necessary.

Volunteers to

help when it

will look

good.

Lets others

do the work;

does the

minimum

he/she thinks

is needed to

get by.

14

Criteria: Management of Resources

++ + 0 - --

Uses time

effectively in

and out of

group and

works to get

others to do

the same. All

tasks

completed on

or ahead of

schedule.

Uses time

effectively in

and of group.

Completes all

tasks on

time.

Wastes some

time in

group, but

works hard

when a

deadline is

near. Most

tasks

completed on

time.

Wastes most

of group

time. Seldom

seen doing

productive

work. Some

tasks

completed

late.

Does little

useful work

in group or

out; wastes

his/her time

and others.

Work is

constantly

late.

15

Criteria: Communication

++ + 0 - --

Oral and

written skills

excellent.

Very effective

within the

group and to

reviewers.

Usually

effective.

Generally

gets the

point across.

Tries to

improve in

weak areas.

Skills

ineffective.

Makes an

effort to

improve.

Skills

ineffective.

Makes little

or no effort

to improve.

16

IT systeem implementatie eisen

• Web based, systeem onafhankelijk

• Exporteerbare files

• Batch enroll functie

• Neutrale interface

• Criteria kunnen aangepast en aangevuld worden

• Ratings zijn niet terug te voeren op individuen

• Docent is regisseur en beslist wat er met de data gebeurt

17

Hoe in te vullen?

• Per teamlid en voor zichzelf het meest van toepassing zijnde

hokje invullen voor iedere categorie

• Mogelijkheid tot het geven van een toelichting via commentaar

box

• Commentaar kan “private” of “public” worden gegeven

18

Data beheer

• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.

• Alle studenten loggen in met NetID

• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 3 niveaus voor publicatie: • de hele groep • de staf • de administrator

19

Ervaringen met Peer evaluaties

• Om optimaal gebruik te kunnen maken van peer

evaluaties moeten ze min. twee keer per

project worden uitgevoerd (halverwege en

aan het eind)

• Commentaar functie wordt als zeer nuttig ervaren

• Omdat de resultaten niet in een cijfer wordt

omgezet wordt het systeem door studenten

geaccepteerd als eerlijk

• Een goede IT infrastructuur is onontbeerlijk om de

administratieve lasten voor docenten te

beperken

20

Gebruik tot nu toe

• Vanaf 2000 met eigen systeem gewerkt

• Gemaakt door student assistenten

• Aantal gebruikers van systeem groeit hard

• Steeds moeilijker systeem in eigen beheer te

houden en te updaten: continuïteit komt in

gevaar

• Eind 2009 is besloten om met externe partner

in zee te gaan: Parantion

21

Parantion

• Enquêtes: Web Survey

• Ontwikkeling: Scorion

22

Scorion: voorbeelden van modules

• Ontwikkeling zichtbaar maken

• Reflectie (360 graden feedback)

• Formatief toetsen

• Matchen

• Formulier gedreven portfolio

• Peer Evaluatie

Dus: Faciliteert en visualiseert leer- en ontwikkelprocessen

23

Voortgang

24

360 graden feedback

25

Formatief toetsen (evt. competenties)

26

Matchen Matching student

competenties en

competenties te behalen in

project.

Student kiest project en

solliciteert.

27

(Medisch) Portfolio:formulier

gestuurd: maart 2011

28

Self

Peer

Group

Self

Peer

Peer evaluaties in Scorion

Aantal vragenlijsten: 2x2

29

Hoeveel vragenlijsten zou….8

30

Dus: L&R voor één vak

• Projectonderwijs L&R

• 80 groepen

• 8 studenten per groep

• X 8 vragenlijsten

5120

31

Demo/screenshots

32

Self

Peer

33

Feedback

34

Koppelingen

35

Toekomstplannen

• Succesvolle implementatie bij TUDelft eind 2010

• Kwalitatieve en kwantitatieve ontwikkeling op alle

niveaus

36

Conclusies

• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van

individuele bijdrages in projectonderwijs

• IT-infrastructuur voor dit type projecten moet professioneel

worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te

garanderen

• Met hulp van het Scorion systeem van Parantion kan dit bereikt

worden

37

Vragen?

• www.tudelft.nl

• Dr. Ir. Gillian N. Saunders-Smits (G.N.Saunders@tudelft.nl)

• www.parantion.nl

• Drs. R.A. Smabers (roel.smabers@parantion.nl)

• Drs. R.J. Smeenk (robert.smeenk@parantion.nl)