Evalueringsparadigmer i ungdomsuddannelserne for fremkomsten af nye evalueringsparadigmer (fx Gipps, 1999) 1. Det postmoderne skred i epistemologi og axiologi: Til relativitet, subjektivitet,

Evalueringsparadigmer i ungdomsuddannelserne

Anden information

Lars Brian Krogh,MONA konference Oktober

2010

Hvad skal der til for at man kan evaluere kompetence?

Mit oplæg i fugleperspektiv

1. Evalueringsparadigmer- Natur- Centrale paradigmer for

3. Evalueringafkompetencer

2. Evalueringsparadigmetsbetydning for “resultatet”- Om relativiteten af test-”resultater”- Evalueringskvalitet: Validitet

Anden information


2010

- Centrale paradigmer for Elevevaluering i ungdoms-uddannelserne

- Evalueringskvalitet: Validitetvs. reliabilitet

Videnskabelige paradigmer (T. Kuhn, 1962)

PARADIGME: “exemplar”, “World-view”

“..When paradigms change, the world itself changes with them. Led by a new paradigm, scientists adopt new instruments and look in new places. Even more important, during revolutions scientists see new and different things when looking with familiar instruments in places they have looked before….paradigm changes do cause scientists to see the world of their research engagement differently”

Anden information


2010

do cause scientists to see the world of their research engagement differently” (T. Kuhn, Structure of Scientific Revolutions, 1962, p. 110)

INDLEJRER GRUNDANTAGELSER OM:

� Hvad er der at observere og undersøge?

� Hvilke spørgsmål det giver mening at stille for at undersøge fænomenet oghvordan disse kan udformes

� Hvordan undersøgelsen skal gennemføres og hvilke redskaber man vil bringe ispil.

Grundelementerne i et evalueringsparadigme (Guba & Lincoln, 2005)

Generelle antagelser

knyttet til:

- Ontologi

Vigtige paradigmatiske spørgsmål:

•Er verden virkelig eller vores konstruktion?•Er det muligt at erkende verden som den er? •Hvad er viden? Objektiv eller subjektiv? Hvilken struktur?

Anden information


2010

- Ontologi

- Epistemologi

- Metodologi

- Axiologi

Hvilken struktur?•Hvilke kilder og muligheder er der for at opnå viden?•Hvor sikker kan vi være på vores viden? Hvordan valideres viden?•Hvilke metoder er tjenlige til forskellige undersøgelsesformål?•Hvilken rolle spiller værdier i evalueringsprocessen?

Evalueringsparadigmer(Foss Hansen, 2003, Guba & Lincoln, 2005)

� Positivistisk/post-positivistisk

� Hermeneutisk-fortolkningsvidenskabeligt/naturalistisk

Anden information


2010

fortolkningsvidenskabeligt/naturalistisk

� [socio-kulturelt]

� Deltagelsesbaseret

� Pragmatisk

� Kritisk

Objektivistisk & dualistisk epistemologi

Prototypen på post-positivistisk evaluering:

‘Psykometriske’ tests

Grundantagelser:� Underliggende stabile og uafhængigt

eksisterende egenskaber� Objektivitet – uafhængig af testers værdier� Seperation af elev og tester � Standardisering og kontrollerede betingelser

Realistisk ontologi

Neutral axiologi

Anden information


2010

epistemologi� Standardisering og kontrollerede betingelser� Vægt på replikation, generalisering og pålidelighed� Næsten udelukkende kvantitative metoder

og statistik� Forudsigelse – forudsige performance i fremtidig

situation� Ikke-diskriminerende ift. forskellige (elev)grupper

Eksperimentelt-manipulativmetodologi

Et skred i det epistemologiske

Erkendelsen som spejl af naturen Erkendelsen som konstruktion

Anden information


2010

Baggrunden for fremkomsten afnye evalueringsparadigmer (fx Gipps, 1999)

1. Det postmoderne skred i epistemologi og axiologi:

� Til relativitet, subjektivitet, værdi-influeret

2. Skred i synet på funktionen og gyldigheden afevaluering:

Anden information


2010

evaluering:

� Evaluering ift. standarder

� Evaluering af læring – Evaluering for Læring – Evalueringsom læring

� Evaluering er også anvendelser og konsekvenser

3. Nye opfattelser af viden/læring

� Konstruktivisme (mental, social, socio-kulturel)

Hvorfor læringsteori som grundlag Hvorfor læringsteori som grundlag for evaluering?for evaluering?

”A model of cognition and learning, or a description of how people representknowledge and develop competence in a subject domain, is a cornerstone of the assessment development enterprise. Unfortunately, the model of learning is not Teorier om

•Formulere ’formåen’ som ’construct’• Vælge adækvate evalueringsformer (alignedmed læringsaktiviteter)• slutte fra ’data’ til ’resultat

Anden information


2010

Unfortunately, the model of learning is not made explicit in most assessmentdevelopment efforts, is not empiricallyderived, and/or is impoverished relative to what it could be.”

CommitteeCommittee onon the the FoundationsFoundations of of AssessmentAssessment, James W. , James W. PellegrinoPellegrino, Naomi , Naomi ChudowskyChudowsky, and Robert Glaser, , and Robert Glaser, editorseditors, , BoardBoard onon TestingTesting and and AssessmentAssessment, Center for , Center for EducationEducation, , National Research National Research CouncilCouncil

Obser-vation

Inter-pretation

Teorier om læring

Forbindelsen Forbindelsen mellem læring og mellem læring og evalueringevaluering

�� ””TheoriesTheories of of learninglearning have have implicationsimplications for for assessmentassessment design. In the design. In the traditionaltraditional model of model of teachingteaching and and learninglearning the curriculum is the curriculum is seenseen as a as a distinctdistinct bodybody of information, of information, specifiedspecified in in detaildetail, , thatthat cancan bebe transmittedtransmitted to to the the learnerlearner. . AssessmentAssessment herehere consistsconsists of of checkingchecking whetherwhether the the information has information has beenbeen receivedreceived””

�� ””ConstructivistConstructivist models of models of learninglearning, , whichwhich seesee learninglearning as a as a processprocess of of

Anden information


2010

�� ””ConstructivistConstructivist models of models of learninglearning, , whichwhich seesee learninglearning as a as a processprocess of of personalpersonal knowledgeknowledge constructionconstruction and and meaningmeaning makingmaking, , describedescribe a a complexcomplex and diverse and diverse processprocess and and thereforetherefore requirerequire assessmentassessment to to bebediverse, diverse, examiningexamining in more in more depthdepth the the qualityquality of students’ of students’ learninglearning and and understandingunderstanding. . WhileWhile for for exampleexample standardizedstandardized MC MC oror short short answeranswer tests tests areare efficientefficient at sampling the at sampling the acquisitionacquisition of of specificspecific knowledgeknowledge gainedgained from from teachersteachers, , more intense, more intense, eveneven interactiveinteractive assessmentassessment ((e.ge.g. essays, . essays, performance performance assessmentsassessments, , smallsmall--groupgroup taskstasks and and projectsprojects) is ) is neededneeded to to assessassess the the processesprocesses of of learninglearning and and understandingunderstanding, and , and to to encourageencourage a a deeperdeeper levellevel of of learninglearning..((GippsGipps, 1999, p. 375), 1999, p. 375)

Det nye socio-kulturellevidens-/læringsparadigme

� Læring som aktiv konstruktion fremfor videns-transmission

� Dynamiske aspekter af læring (fx ”zonen for nærmeste udvikling”)

Anden information


2010

nærmeste udvikling”)

� Læring som situeret

� Læring som medieret (af andre, af værktøjer)

� Læring som deltagelse i autentiske praksiser

� Læring undertiden distribueret

Formål:Af læringFor læringSom læring?

Opsamling: paradigmatiske positioner til karakterisering af evaluering i danske ungdomsuddannelser

Post-positivistiskevalueringsparadigme

Socio-kultureltparadigme

Formåen uafhængig af testsituation.

Formåen situeretFormåen situeret

Eksperimentel/kontrolleret Autentisk situationAutentisk situation

Socio-kultureltevalueringsparadigme


Autentisk situationAutentisk situation

Anden information


2010

Eksperimentel/kontrolleret situation


Formåen statisk Dynamisk Dynamisk (fx ZPD)(fx ZPD)

Produkt-fokuseret ProcesProces--orienteretorienteret

Adskillelse af subjekt og tester InteraktivInteraktiv

Individuelt Samarbejdsorienteret Samarbejdsorienteret

Redskaber normalt forstyrrende/ikke interessante

Udvidet brug af redskaberUdvidet brug af redskaber

(symbolske, fysiske)(symbolske, fysiske)


Dynamisk Dynamisk (fx ZPD)(fx ZPD)

ProcesProces--orienteretorienteret

InteraktivInteraktiv

Samarbejdsorienteret Samarbejdsorienteret



Positionering af PISA Science-testen?

Post-positivistiskparadigme

Socio-kulturelt paradigme

Formåen uafhængig af testsituation.


Eksperimentel/kontrolle-ret situation


Ex. PISA Science:

Elevens ScientificLiteracy evalueres ved individuel, paper-and-

???

Anden information


2010

ret situation

Formåen statisk Dynamisk Dynamisk (fx ZPD)(fx ZPD)

Produktrettet ProcesProces--orienteretorienteret

Adskillelse af subjekt og tester






individuel, paper-and-pencil-test i en aula/gymnastik-sal. Evalueringen foregår , uden hjælpemidler og på tid. Eleverne er et nøje sammensat sample. Målet er at tildele hver elev een performance-score.

Positionering af nyere mundtlig eksamen?


Socio-kulturelt paradigme

Formåen uafhængig af testsituation.(Dekontekstualisering)




Ex. Mundtlig eksamen på Fysik A (Stx)Den første del af prøven er eksperimentel, hvor eksaminanderne arbejder i laboratoriet i ca. 120

???

Anden information


2010

et situation

Formåen statisk (replikation) Dynamisk Dynamisk (fx ZPD)(fx ZPD)


Adskillelse af objekt og tester






laboratoriet i ca. 120 minutter i grupper på højst tre eksaminander med en eksperimentel problemstilling. …Eksaminator og censor samtaler med den enkelte eksaminand om det konkrete eksperiment, den tilhørende teori og den efterfølgende databehandling…Andel del er individuel og mundtlig.

Evalueringspraksis i naturfag DK(Kilde: VAP2 & gymnasie-læreplaner)

� Den daglige klasserumsdialog (autentisk, dialogisk, formativ….)

� Lærer-genererede tests (ofte MC, formative?...)

� Mundtlig eksamen (summativ, dialogisk, semi-autentisk?...)

� Mundtlig eksamen m. eksperimentelt islæt

� Skriftlig eksamen med opgaveregning

Anden information


2010

� Skriftlig eksamen med opgaveregning

� Htx-projekt-baserede eksaminer (autentiske, embedded)

� Nationale tests (summative?, diagnostiske & adaptive?, MC, computerbaserede)

� PISA (large scale, international, criterion-reference?, no-stakes?, MC & some open response..)

� … Kan positioneres i samme ramme!

Evalueringsparadigmets betydningfor ”resultatet”


Socio-kultureltparadigme

Formåen uafhængig af testsituation.(Dekontekstualisering)




VAP-TEST (Dolin &Krogh):

•Sample: N=125, strat. PISA-2006 sample

•Design: Test (PISA)-Retest (VAP)

Anden information


2010

et situation

Formåen statisk (replikation) Dynamisk Dynamisk (fx ZPD)(fx ZPD)


Adskillelse af objekt og tester






Retest (VAP)

•Opgaver: 3 udvalgte & diverse PISA-”units”

•VAP-formatet:

•2 interviews, semi-strukturerede, indiv. (30 min), med redskaber

•1 Performance-orienteret, dialog, in elev-par (30 min)

Elever i performanceElever i performance--orienteret orienteret evalueringssamtaleevalueringssamtale

Anden information


2010

Indblik i elevers formåen

1.Elever udviser Scientific Literacy

PISA-blik: VAP-blik

2. Indblik muliggjort af

Anden information


2010

2. Indblik muliggjort af test-format/situation

a. PISA-kriterier Socio-kulturel analyse

3. Indblik efter scoring & analytiske optikker

+25% i

score!

Socio-kulturel analyse (”det udvidede opmærksomhedsvindue”)

Elementer af det særlige socio-kulturelle, diskursive blik:

� Fagtermer (Wellington, Osborne)

Anden information


2010

Osborne)� ’Entities’ & ’Explanatory

stories’ (Ogborn)� Argumentation (Osborne)� Brug af artefakter (Säljö)

Billedet af danske elevers formåeni en socio-kulturel evalueringsoptik

Bad news!: Dårlige præstationer i henhold til alle socio-kulturelle optikker!� Naturvidenskabelig sprogbrug:

� Markant fravær af naturvidenskabelig tale

� ’Naming words’ ofte til rådighed, men proces- og begrebsord sjældent aktive

Anden information


2010

aktive

� Faglige begreber oftest uden indhold og distinktion

� Genrerne ’forklaring’ og ’argumentation’� Forklaringer oftest common-sensical

� Argumentation med sjælden og tvivlsom brug af belæg, hjemmel m.m.

� Brug af artefakter: kun få bruger dem kvalificeret og kvalificerende

Den socio-kulturelle tilgang afdækker begrænsningerne i MC-formatet

VAP’s socio-kulturelleanalyse har afdækket spørgsmål, hvor:

80% af eleverne kan

Afspejler :

- Inferens-problemer:man kan ikke slutte entydigt fra korrekt svar-option til korrekt

Anden information


2010

80% af eleverne kan vælge korrekt PISA-option –

Mens 60% aldrig er i nærheden af en korrekt forklaring!!

option til korrekt elevmodel.

-MC-opgaver er nemmere at klare end opgaver, hvor der skal konstrueres en respons.

Evalueringspointer

� Tests/evalueringer er IKKE neutrale målinger – de skaber i vid udstrækning deres egne ”resultater” (jf+/-25%)

� Paradigmatiske valg skaber relative tabere

� Det post-positivistiske test-paradigme ”overser” meget

Blinde pletter ved

socio-kulturel

Anden information


2010

� Det post-positivistiske test-paradigme ”overser” meget væsentlige træk ved danske elevers præstation – som bliver synlige ved socio-kulturel analyse.

� Evalueringsparadigmet og formatet må modsvare læringsmål og relevant læringsteori

� Der er brug for kriterier til at vurdere tests & evalueringer

kulturelanalyse?

Validitet og reliabilitetfalder ikke lige let

Post-positivistisk evaluering

Socio-kulturelevaluering

Anden information


2010

Reliabiliteter LETTEST at opnå

Validitet er LETTEST at opnå

Validitet/Gyldighed: ”Måler testen det konstrukt, den præstation eller det læringsudbytte som den er intenderet til at måle” (Harlen, 2007)

Reliabilitet/Pålidelighed:-Tidslig reproducerbarhed-Stabilitet overfor andre former og evaluatorer-Intern konsistens

� ”For external assessment at the system level and for highstakes purposes, forms of standardization that lead to highreliability are of key importance. For assessment used in the classroom and for diagnostic or formative purposes,

Evalueringens formål afgør kravene til validitet og reliabilitet

Anden information


2010

the classroom and for diagnostic or formative purposes, such attention to reliability is less relevant, and the mainfocus is on construct validity and use of results at the class/school level. Thus it is important to consider the most appropriate balance between reliability and validity in

assessments for different purposes.” (Gipps, 1999, p. 368)

Nye forståelser af validitet –affødt af nye evalueringsparadigmer

� Construct validity (overgribende enhedsbegreb)

Validation adresserer "the appropriateness, meaningfulness, and usefulness of the specific inferences made from test scores"

(Test Standards, 1985, p. 9).

� Underliggende evidenstyper:

� Curricular validity? Dækker den de faglige mål?

Værdier!

Anden information


2010

� Curricular validity? Dækker den de faglige mål?

� Instructional validity? Afspejler den undervisningen?

� Consequential validity (Messick, 1989)?

� ….

� Validering som dobbelt argument (Kane):

� ”resultater” som argumenteret fortolkning

� Validerings-argument mht. fortolknings-argumentet

Konse-kvenser!

Tal ikke det

væsent-lige!

Evaluering af kompetencer –hvad skal der til?

� Et klart begreb om kompetence

� En teori for kompetence-tilegnelse (“læringsteori”)

� Et evalueringsparadigme med blik for den relevantetype kompetence:

Anden information


2010

type kompetence:

� Fælles: Proces & brug af relevante værktøjer

� Autentiske opgaver

� Kriterier for kompetence på forskellige niveauer

� Transparens, eksemplarer, graduering

� Teknologi-assisteret evaluering

Kompetencebeskrivelserm. forskellige krav til evaluering“Descriptions of levels of competence” (Bowden & Marton, 1998)

1.Behaviouris-tisk

“Basic performance in workplace”

2. Additiv “Performance + knowledge” De to komponenter udgør tilsammen kompetence

Anden information


2010

De to komponenter udgør tilsammen kompetenceDe indgår imidlertid side om side – ikke integreret

3. Integrativ “Performance and knowledge integrated”

4. Holistisk “Integration of the person´́́́s way of seeing their professional role, their capacity to undertake that role, their knowledge-base and context related intentionality”

PISA 2006

Naturvidenskabelige kompetencer

•Integrativkompetence: Viden + evne til logisk-rationeltænkning

•Kan testes

Anden information


2010

•Kan testes løsrevet fra praksis fordi kompetencerne er kontekst-frie

•IKKE ”performance in context” men”performing context”!

DeSeCo-definitionen(OECD 2000)

“A competence is defined as the ability to successfully meet

complex demands in a particular context.

Competent performance or effective action implies the mobilization

of knowledge, cognitive and practical skills, as well as social and

Vil bedst kunne udfoldes indenfor et

socio-kultureltevalueringsparadigme

Anden information


2010

of knowledge, cognitive and practical skills, as well as social and

behavior components such as attitudes, emotions, and values and

motivations.

A competence – a holistic notion - is therefore not reducible to its

cognitive dimension, and thus the terms competence and skill are

not synonymous”

”A competence is something that can be learned..”

Faglige mål (uddrag) af fysik A (stx)

� kunne analysere et fysikfagligt problem ud fra forskellige repræsentationer af data og formulere en løsning af det gennem brug af en relevant model

� kunne tilrettelægge, beskrive og udføre fysiske

Skriftligt evaluerbar,

åben respons, værktøjer

Anden information


2010

� kunne tilrettelægge, beskrive og udføre fysiske eksperimenter til undersøgelse af en åben problemstilling

� kunne formidle et emne med et fysikfagligt indhold til en valgt målgruppe.

Praktisk prøve, autentisk problem, værktøjer

Skriftlig eller mundtlig.

Evalueres IKKE!

Gruppearbejdskompetence –Evalueringskriterier fra udviklingsforsøg, MG 1997

1. Bliver der lavet en arbejdsplan, og er gruppen i stand til at arbejde bevidst i henhold til denne?

2. Besættes nøglefunktioner konsekvent? Er der kriterier for besættelse/rotation…?

3. Er tidligere indsamlet materiale til stede?4. Foreligger der gruppenotater i et omfang som sikrer kontinuitet og fremdrift?5. Er gruppen i stand til at give konstruktivt feedback på enkeltpersoners

Anden information


2010

5. Er gruppen i stand til at give konstruktivt feedback på enkeltpersoners bidrag?

6. Kommer alle til orde undervejs i arbejdet? Bliver alle bidrag hørt og vejet?7. Er gruppen i stand til at konkludere på sine diskussioner8. Overholdes gruppeaftaler. Påtales brud.9. Er gruppen i stand til at trække eksterne ressourcer ind, når det er relevant10.Overholder gruppen sine deadlines11.Bliver der lavet aftaler med henblik på næste gang

Kompetencen giver kun mening i en autentisk praksis. Kriterierne forudsætter at

kompetencen er distribueret

Grid til specifikation til performance-test (Shavelson et al, 1998)

Anden information


2010

Validitets-overvejelse:Er alle aspekter af empiri-kompetence

dækket ?

Reliabilitets-tiltag: Explicitte kriterier. Forskellige foci.

Proces-standarder

Transparente kriterier v. eksperimentelt arbejde

God fysik-praksis i forbindelse med eksperimenter (II)

Undervejs i forsøget:� Mål omhyggeligt – og noter hver især det væsentlige ned

� Noter måleusikkerheden ned for hver type af måling. Normalt ligger denne på det sidste ciffer man kan aflæse på apparaturet. For et termometer som har 10C-inddeling kan man rimeligvis antage en måleusikkerhed = 1 0C. For en vægt, der kan måle mg kan

Anden information


2010

kan man rimeligvis antage en måleusikkerhed = 1 0C. For en vægt, der kan måle mg kan man fx antage, at .

� Kritiske [ikke alle] størrelser kan med fordel måles flere gange

� Sørg for at notere samtlige målelige cifre. En fysiker som læser Jeres optegnelser vil ”læse” kvaliteten af Jeres målinger ud fra disse cifre. Hvis I fx skriver vil vedkommende tænke, at Jeres vægt var ret grov og at I kun har styr på 3 cifre. Hvis I har målt tallet mere præcist bør det fremgå, fx via skrivemåden

� Vurder løbende kvaliteten af Jeres resultater – tegn fx en grafskitse (på papir eller via TI-89) af resultaterne. Diskuter om der tegner sig et mønster & om nogle målinger ser ud til at være decideret fejlagtige.

� Diskuter mulige fejlkilder – kan de forebygges? Hvordan vil de påvirke resultatet (får man for store/små værdier?…)

Testformat og teknologi

”Paper and pencil, video, and computers give three very different views of what students can do…. They provide three different camera angles onthe complete picture of a student. Whereas you cannot possiblyreconstruct the total person from just one angle, three different views cantriangulate a much richer notion of what a student’s abilities are.”(Collins et al, 1994)

Anden information


2010

(Collins et al, 1994)

”Because test makers restricted their thinking to paper and pencil as the medium for recording student performances, they ended up with a verylimited notion of what abilities should count in measuring what students learned”

(Collins et al, 1994)

Teknologi-assisteret evaluering

� IT-assisteret evaluering

� Real-life simulering via multi-media

� Dynamisk testning med interaktion og kontrolleret feedback

� Proces-tracking undervejs i problemløsning

� Mulighed for at indfange metakognitive strategier.

Anden information


2010

� Mulighed for at indfange metakognitive strategier.

� Video-assisted assessment

� Kan indfange evne til at indgå i dialog, forklare, argumentere, kommunikere..

� Kan indfange hele spektret af minds-on, hands-on, language on…

� Kan indfange samarbejde

Afsluttende betragtninger

� Mere valid evaluering!

� Overskridelse af det psykometriske paradigme hhv. ureflekteret traditionalisme

� Et spænd af evalueringsformater/aktiviteter

� Tættere på autentiske læreprocesser

� Medtænkning af evalueringers begrænsninger og

Anden information


2010

� Medtænkning af evalueringers begrænsninger og konsekvenser

� Mere brugbar evaluering!

� Ikke kun evaluering af learning

� Tilknytning til kriterier/mål som lærere og elever kan bruge til noget

� Feedback til lærere og elever på brugbar form

TAK for Jeres

Anden information


2010

TAK for Jeres opmærksomhed

Documents

Evalueringsparadigmer i ungdomsuddannelserne for fremkomsten af nye evalueringsparadigmer (fx Gipps, 1999) 1. Det postmoderne skred i epistemologi og axiologi: Til relativitet, subjektivitet,