Kognition, design och utvärdering

Kognition• där inne

• där ute

• distribuerad

Perception• teori

• praktik

Minne• teori

• praktik

Lärande• teorier om lärande/pedagogik

• anpassande av teorier

Epistemologiska skiften i lärande

dekontextualiserad kontextualiserad

abstrakt kunskap praxis

expertis som fakta praxis i en viss domän

mål förväntningar

uppgifter och problem aktiviteter och användande

individuellt socialt

• konsekvenser för design- och utvärdering av lärandemiljöer?

Pedagogiska ansatser för undervisning– problembaserat lärande

– exempelbaserat lärande

– ”anchored” instruction

– kognitivt lärlingsskap

– etc…..

• konsekvenser för design- och utvärdering av lärandemiljöer?

Metodproblem– kvantitativa- och/eller kvalitativa metoder?

– objektivitet/subjektivitet?

– process/resultat?

– vilka parametrar ska man mäta?

– krav för att säga att ngn lärt sig?

– vilka slutsatser kan man dra?

– vilken status har slutsatserna?

Frågor– är det viktigt att vara teoretiskt stringent?

– bör man fokusera på renodlade aspekter eller helhet?

– vilka faktorer variabler bör man fokusera på?

» lära/förstå mer/bättre/djupare vad betyder det?

» vilken vikt skall faktorer som motivation, engagemang tillmätas?

– ska ett IT-baserat verktyg för lärande tillföra ngt som traditionell undervisning inte kan ge,….om så,….vad?

Metodologiska aspekter - vad mäter vi?

Syfte/typ av uppgift:

• minnas

• förstå

• förklara

• använda

Bla, bla,bla,bla,bla.. Bla,bla,bla,bla,bla..

• Representera text

• Organisera text

• Tolka

• Transformera

Ansträngning Resultat

Ett verktyg för att lära sig programmera

Navigationskarta överrummen

Öppnar faddern

Öppnar kalendern

Presentation av aktuelllön och provision

Stänger av ljudet isysmtemet

Avslutar systemet

Välkomsttavlan

Intro - Vad är programmering?Intro - Om pedagogikenIntro - Om företaget

Meddelanderuta

Delproblem för aktuellt uppdrag Beskrivning/pseudokod för markerat delproblem

Datorn medprogramkod

Knappar för att spara, kompilera och exekvera

Markeratdelproblem

Tar bort markeratdelproblem

Lägger till nyttdelproblem på nivå

under markeratdelproblem

Interaktivwhiteboard

Expertens whiteboard Expertens dator

Text och bild somkompletterar ljudet

Animationens tidslinje

Knappar för attkompilera och exekveraexpertens kod

Enheter i animationen

Vaktmästarens fråga

Faddernssvar

Visar eller döljer fadderns svar

Användarenssvar

Sparar svaretStängerfönstret

Bokhyllan med böcker

Text som beskriverett koncept. Texten

kompletteras av ljud.

Animation somkompletterar texten

Stänger faddern

Faddern talar omvilket rum och

uppdrag hon troranvändaren

arbetar med.

Innehållsförteckningöver den hjälp

faddern kan ge.

Faddern färgkodasefter vilket rum

användaren befinnersig i.

Frågor till användaren. Användarenväljer det alternativ som passarbäst och får svar på den frågan.

Lista över uppdrag

Markerat uppdragäven aktuellt uppdrag

i arbetsrummet

Beskrivning avmarkeratuppdrag

Uppdragsfliken

Användarens status

Här byter användarennivå

Kontraktfliken

Verktyg för lärande av konceptuell modellering

Fig. 1: The Pattern library Fig. 2: Expert track Fig. 3: The assistant

”Spårverktyget”

Ett ”expertspår”

Utvärdering på temat lärande

Pedagogisk komplexitet kräver utvärdering• lektion

• demonstration

• lab, simulering etc……..

• pedagogik och anpassning av pedagogik

• lärande (repetera, använda….)

Teknologisk komplexitet kräver utvärdering• www, text, grafik, audio, video, VR, plug-ins...

Komplexitet i utveckling kräver utvärdering• dåligt innehåll

• dåligt gränssnitt

• fel media

• urusel pedagogik

Ökade krav på resultat kräver utvärdering• pengar

• större effektivitet

Kvantitativ ansats• det finns objektiva fakta skilt från våra

föreställningar

• målet med utvärdering är att upptäcka orsaker till förändringar hos fenomen genom mätning och kvantitativ analys

• experimentella ansatser är bäst eftersom de reducerar felkällor

• objektivitet är idealet

Kvalitativ ansats• verkligheten är socialt konstruerad

• målet med utvärdering är att tolka fenomen med hjälp av flera perspektiv

• etnografiska ansatser med observation är bäst eftersom de tillhandahåller en grund för flera tolkningar

• att gå på djupet är idealet

Post-modern ansats• verkligheten är individuellt konstruerad baserad på

erfarenhet, kön, kultur, etc…

• målet med utvärdering är att förbättra omständigheter och status för minoriteter

• kritisk teori används för att bena upp fenomen för att blottlägga gömda planer

• politiskt engagemang är idealet

Pragmatisk ansats• verkligheten är komplex och vissa fenomen är

kaotiska och oförutsägbara

• målet med utvärdering är helt enkelt att göra saker bättre

• metoder bör väljas mot bakgrund av dessas potential att förbättra kvalitet

• undran och skepticism är idealet

Kriterier för utvärdering

• Lärande

• Upplevelse (motivation, engagemang, etc..)

• Ekonomi

• Säkerhet

• Flexibilitet

• Effektivitet

Grundläggande frågor för utvärdering

Vad hände?

Hur kan det förbättras?

Uppnåddes målen/avsikterna?

Vilken effekt uppnåddes?

Att utföra utvärderingar

Steg 1• klargör vilka beslut som måste fattas

– adoptera teorier/ansatser/principer

– utveckla teorier/ansatser/principer

– förbättra teorier/ansatser/principer

– släng ut teorier/ansatser/principer

– reallokera resurser

– etc….

Steg 2• klargör vilka frågor som måste ställas för att vägleda

beslutsfattandet– hur fungerade navigeringen?

– hur fungerade färgvalet?

– hur kan gränssnittet förbättras?

– vad lärde man sig?

– vilka färdigheter följde med till den skarpa situationen

– etc…...

Steg 3• välj metoder för utvärdering

– observationer

– intervjuer

– frågeformulär

– loggning

– expertpanel

– försöksgrupp

– etc……

Steg 4• samla in och tolka data

– analysera data som samlats in med valda metoder

» jämför data -- olika perspektiv

– revidera datainsamlingsstrategier om det behövs

» det går inte att förutse allt!

– Acceptera begränsningar men sikta mot kvalitet

Steg 5• dokumentera och rapportera resultaten

– rapportera tidigt och ofta

– input från olika håll

– insatser kan göra på ett tidigare stadie

• använd flera format– nå ut till många

• engagera individer på olika poster– olika perspektiv

• dölj inte komplexitet– lyft fram och analysera för fortsatt arbete

Tre strategier1) Användbarhetstest

2) Expert-panel

3) Checklistor och skattningsformulär

1) Användbarhetstest– går det lätt att lära?

– går det fort och lätt att utföra saker?

– görs det få fel?

– vad är den subjektiva upplevelsen?

– återkommer användare över tid?

En tänka på/göra lista– välj metoder

– skapa ett formulär som definierar uppgifter för testgrupp och tidsbegräsningar

– välj testgrupp som motsvarar tänkta användare

– gör testgruppen bekant med situationen

– gå igenom formuläret

– ge testgruppen tid att bekanta sig med utrustningen och den process som valts för att dokumentera prestationen

– testgruppen bör utföra uppgifterna enligt formuläret

– dokumentera interaktionen, video, anteckningar, log.

– stäm av med testgruppen, intervju direkt efter

– låt testgruppen kommentera fritt, idéer och åsikter

– analysera och rapportera data

2) Expert-panel– ”Innehållsexperter”

– Pedagogiska experter

– Gränssnittsexperter

– Teknik experter

– etc….

----> även experter behöver vägledning för att kunna ge den information du behöver/är intresserad av

3) Checklistor och skattningsformulär– kriterier för grafiska gränssnitt

» Estetik, tilltalande/icke tilltalande

» Navigering, svårt/lätt

» Kognitiv belastning, ohanterlig/hanterlig

» etc…

– design element

» Interaktivitet

» Feedback

» etc…

– precision och tillförlitlighet

» syfte

» innehåll, (korrekt/icke korrekt, design faktorer)

» har rätt fokus antagits?