Anders Mørch Pedagogisk forskningsinstitutt og InterMedia, UiO Epost: anders.morch@intermedia.uio.no

Begreper fra pedagogisk forskning som er nyttig i informatikk og systemutvikling

Presentasjon i INF1510 (Bruksorientert design), 22. april, 2013

Innhold •  Ulike tilnærminger til design •  Teoribasert design •  Begreper fra andre fagområder som benyttes

i informatikk (design av informasjonssystem) •  Eks: Zone of proximal development (ZPD)

–  Opprinnelse i utviklingspsykologi –  Et designprinsipp for hjelpesystemer

•  Operasjonalisering –  Tidlige empiriske studier –  Janus: Et hjelpesystem for arkitekturdesign –  EssayCritic: Et hjelpesystem for essayskriving

Ulike tilnærminger til design av IKT •  Teknologidrevet design •  Evolusjonær design

–  Videreutvikling/forbedring av eksisterende system

•  Brukerinvolvering (prototyping) –  Evaluering i brukbarhetslaboratorium

•  Brukerinvolvering (participatory design) –  Faktiske brukere, for eksempel på arbeidsplassen

•  Erfaringsbasert design –  Prøving of feiling basert på designernes erfaringer

•  Teoribasert design

Hva menes med teoribasert design?

•  Teori er en oppsummering av erfaringer fra tidligere empiriske studier og systemutvikling

•  Når den operasjonaliseres (konkretiseres) kan den fungere som premissleverandør og retningsgiver i designprosessen

•  Teori har tilsvarende rolle i teoribasert design som design patterns har i systemutvikling

•  En forskjell er at ’teoriene’ kommer helst fra andre fagfelt enn informatikk, for eksempel: –  Psykologi, sosiologi, pedagogikk, lingvistikk, osv.

Ulike typer ’teorier’ •  Designet tar utgangspunkt et teoretisk

rammeverk, en modell eller begreper, f.eks. : –  Teoretiske rammeverk

•  Aktivitetsteori •  Språkhandlingsteori

–  Modeller •  ACT* (Adaptive Control of Thought, cognitive architecture) •  GOMS (Goals, Operators, Methods, and Selection rules)

–  Begreper •  Affordances (bruksmuligheter) •  Awareness (oppmerksomhet om andres aktiviteter) •  Zone of proximal development (nære utviklingssone)

Kritikk av teoribasert design

•  Mange designere vil ikke vedkjenne seg at ’teori’ er nyttig, og sverger til brukerinvolvering, empiri og kreativitet (avhengig av fagfelt) for inspirasjon

•  Andre sier at teori først kommer til uttrykk i etterkant, når man evaluerer et design,

•  F.eks. i HCI tester man grensesnitt vha. heuristisk evaluering (Nielsen), som igjen er inspirert av designprinsipper (Norman, Shneiderman, m.fl.), som har sitt utspring i teori

Eksempler på teoretisk begreper som har påvirket applikasjonsutvikling

•  Affordance (Gibson, 1977; Norman, 1988) –  Nøkkelbegrep i HCI

•  Awareness (Polanyi, 1966; Dourish & Bly, 1992) –  Nøkkelbegrep i CSCW

•  Illocutionary act (Searle, 1975; Winograd, 1987) –  Et begrep i språkhandlingsteori

•  Meta design (Fischer, 2009)

•  Reflection-in-action (Schön, 1983)

•  Zone of proximal development (Vygotsky, 1978) –  Fra pedagogikk (utviklingspsykologi)

Den nærmeste utviklingssone (ZPD) •  Teorien om den nærmeste utviklingssone

(Vygotsky, 1978, s. 86) sier at læring foregår i sonen mellom det faktiske og det mulige utviklingsnivået til en lærende –  Faktisk utviklingsnivå: definerer det utviklingsnivået som

allerede er modnet; det den lærende kan mestre på egenhånd (tilbakeskuende)

–  Mulige utviklingsnivå: det utviklingsnivået som enda ikke er modnet, men som er i ferd med å modnes i morgen eller snart og som er innenfor rekkevidde med hjelp fra egne mekanismer og mer kunnskapsrike personer (fremtidsrettet)

•  Vis video klipp http://www.youtube.com/watch?v=hx84h-i3w8U

ZPD visualized

Organisk metafor for kunnskaps- utvikling •  Et sitat fra Vygotsky (1978, p. 87):

–  “The zone of proximal development defines those functions that have not yet matured but are in the process of maturation, functions that will mature tomorrow but are currently in an embryotic state. These functions could be termed the ‘buds’ or ‘flowers’ of development rather than the ‘fruits’ of development. The actual development level characterize mental development retrospectively while the zone of proximal development characterize mental development prospectively.”

Operasjonalisering av ZPD begrepet

•  Veileder-lærende relasjoner •  IKT-baserte hjelpesystemer

Operasjonalisering av ZPD i veileder-lærende relasjoner •  Eksempel på relasjoner

–  Lærer-elev –  Foreldre-barn –  Eldre barn - yngre barn –  Osv. (asymmetriske relasjoner)

•  En veileder må interagere med den lærende på en slik måte at det er mulig for den lærende å utvikle seg videre på basis av sine nåværende kunnskaper og tilbakemeldinger

•  ’Hva slags tilbakemelding’ er sentralt spørsmål

Hva slags tilbakemelding?

•  En empirisk studie av Wood, Bruner & Ross (1976) gir svar på dette –  Showing (eksempler og demonstrasjoner) –  Telling (muntlige og skriftlige tilbakemeldinger)

•  De foreslår begrepet ”scaffolding” som en konkretisering av Vygotsky’s ZPD begrep

•  Det kan oversettes som “pedagogisk rammeverk”, som en slags støttehjul til en sykkel, en temporær støttestruktur som tas av når en ferdighet er mestret

Scaffolding experiment med barn

•  Studien beskriver et eksperiment med barn i alderen 3, 4 og 5 år.

•  De skal løse en oppgave: bygge en pyramide med enkle byggeklosser

•  De interagerer med en voksen tilrettelegger (tutor), som hjelper dem med å nå målet

•  Målet med eksperimentet er å studere hvordan barn løser problemer som er umulige (veldig vanskelig) uten assistanse

•  Studere prosessen og interaksjonen mellom barn og voksen fra start til slitt

Problemløsingsoppgave

•  Funn fra studien •  To type handlinger

–  Barnas mer eller mindre tilfeldige handlinger med å sette sammen klossene

–  Veilederens mer eller mindre rigide tilbakemeldinger og instruksjoner for hvordan klossene skal settes sammen på en riktig måte

•  Veilederen tilbyr hjelp når barna står fast eller trenger hjelp, dvs. noen ganger er hun aktivt tilstede, andre ganger mer passiv i bak-grunnen for å støtte barnas gradvise utvikling

Tre typer tilbakemelding •  Vise vha. håndbevegelser (showing)

1.  Direkte intervensjon (vise eksempler på hvordan klosser skal settes sammen)

•  Forklare (telling) 2.  Muntlig korreksjon (fortelle hvordan noe skal

gjøres, men uten å gjøre det) 3.  Generelle anbefalinger (påminnelse, sjekke)

•  De tre typer tilbakemeldinger blir brukt til å kategorisere dataene, som sammenlignes på tvers av de tre aldersgruppene (3, 4, og 5-åringer)

Resultater

•  3 year olds learn less from telling (ignore them) than from showing (demonstration),

•  4 years are more explorative and verbal and learns also from telling (verbal correction and direction), whereas

•  5 year olds are more independent and need less feedback, they learn from telling, especially confirmation (praise) or checking of constructions

Open issues for computer support

•  How to further operationalize the scaffolding principles, e.g. what does ‘showing’ and ‘telling’ mean for a computer-based tutor?

•  A scaffold implies a temporary support structure, to be removed once a task has ben solved or a skill mastered to a certain level of proficiency, should it be taken literally for a computer-based tutor?

•  Depending on the answers to the above questions (there are multiple answers) different directions for computer-based tutoring has been pursued

Early computer tutors •  According to Wood et al., a good tutor makes

hypotheses about the learner’s hypothesis •  This is a dynamic process among tutor and

tutee, which is important for successful tutoring •  They suggest a “task model” and a “learner

model” to be part of a “computer tutor” for it to perform at the level of a human tutor

•  This has stimulated research on intelligent tutoring systems (ITS), critiquing systems and inquiry-based collaborative learning environments

Computer-tutor scaffolding continuum

Computer-based critiquing systems •  Critiquing systems are a special type of intelligent

tutoring system for design and inquiry processes •  They provide feedback in terms of critique and praise

–  Critique: What can be improved –  Praise: What is good about a design

•  Modeled after how design critics in design studios observe and provide feedback to students by “looking over their shoulder”

•  Automated critiquing systems have been built to support novice designers in many domains (from architectural design to programming in Java

Janus kitchen design environment

Catalog  examples  

(with  Condition-­‐  action  rules)  

Aspects of scaffolding in critiquing

•  Condition-action rules –  Automated feedback to point out designs that can

be improved, not following design rules (telling) •   Catalog examples

–  Examples of good and bad designs (showing) •  Argumentation

–  Dynamic form of explanation-giving (new aspect) •  Intervention techniques

–  Timing of feedback: proactive, reactive, passive

ArgoUML: A critic for UML diagrams

Retrieved from: http://argouml.tigris.org/

Gruppeoppgave (2&2) ZPD scaffolding •  To what extent can it be said that Wood et

al.’s notion of scaffolding: 1) provides an specialization of Vygotsky’s ZPD concept, and 2) fail to provide such a refinement

Scaffolding critiquing •  To what extent can it be said that computer-

based critiquing: 1) operationalizes the idea of scaffolding proposed by Wood et al., and 2) fails to operationalize the idea

EssayCritic

•  Utprøving av critiquing i det formelle utdanningssystemet

•  Forskningsprosjekt ved InterMedia •  Målet har vært å tilby elever i videregående

skole automatisk tilbakemelding på engelske stiler, slik at de kan forbedre dem før de sendes til lærer for retting

•  Utprøvd på 2 videregående skoler i Norge og 2 i Hong Kong

Problemstilling

•  Mange elever synes det er vanskelig å skrive engelske stiler, spesielt i klasserommet

•  De går tom for ideer i løpet av skrivetiden •  I dag er mange mer eksponert for muntlig

engelsk (TV, film) enn for skriftlig engelsk •  Det er krevende for en lærer å hjelpe alle som

ber om hjelp i en skrivetime •  Det er vanskelig for foreldre å følge opp

hjemme når de ikke kjenner konteksten til skriveoppgaven

Automatisk tilbakemelding

•  EssayCritic ble utviklet for å gi tilbakemelding til elevene før stilene sendes til lærer for retting

•  Utprøvd på videregående skoler i Hongkong og Norge (Sandvika og Skien)

•  Programmet opererer innenfor gitte tema som EssayCritic er ”opplært” til å forstå ved sammen-ligning med forhåndslagrete eksempler

•  Tilbakemelding i form av ”critique” og ”praise” •  Bruker en avansert AI teknikk (LSA) for å

sammenligne elevens tekst med eksemplene på basis av setningers mening

LSA: Latent semantic analysis

1cos →θ

Text segment A

Text segment B

LSA Semantic Space

θcos

Semantic Similarity between Segments A & B Very High (good match) Very Low (poor match)

θcos

0cos →θ

Systemarkitektur

Feedbacks

Essays

Essays

Feedbacks

Text Segmentation & Pre-processing

Latent Semantic Analysis Engine D = PλQ’

Segment Semantic Matching

Essays Sub themes

Student Essays

System Feedbacks

Teacher

Student A

Student Z

Corpus from external sources

Brukergrensesnitt, login, setting

Gradvis utvikling av en tekst

Versjon 1 Versjon 2

Dette viser de to første versjoner av essayet skrevet av student22. Etter versjon 1 ble det gitt tilbakemelding fra programmet

•  Et mål med prosjektet har vært å operasjonalisere begrepet om den proksimal utviklingssone (Vygotsky, 1978) vha. læringsteknologi

Skriveoppgaven til elevene (helse & sosial, trinn 1, Sandvika vgs., våren 2009)

UNHEALTHY FOOD AND OVERWEIGHT The popularity of McDonald’s amongst children is responsible for the

growth of overweight amongst high school children. There should be rules against fast food in schools.

Do you agree or disagree with the statement? Use specific reasons and

examples to support your opinion. Write 250-300 words about the topic.

Experiment group were asked to submit and revise their essays via

EssayCritic up to three times before submitting to teacher. Control group were submitting their essays directly to teacher.

Brukergrensesnitt: Forbedringspotensialer Text written by student22 on unhealthy food topic

Criti

que

gene

rate

d by

com

pute

r

Brukergrensesnitt: Hva som er bra Pr

aise

gen

erat

ed b

y co

mpu

ter

Studien ved Sandvika vgs.

•  Vi fulgte 3 klasser på vg1, helse- og sosialfag, våren 2009

•  Elevene ble inndelt i grupper på 3-4, der alle skulle levere egne stiler

•  Vi hadde tre 1/2 dagers møter med klassene 1.  Introduksjon og prøveskriving 2.  Utføring av eksperimentet 3.  Tilbakemelding og evaluering

•  Vi laget en presentasjonsvideo (8 min) •  (http://www.uv.uio.no/intermedia/tjenester/intermedia-formidler/essay-

critic.html)

Datainnsamling og analyse •  Kvalitativ studie (kombinert med kvantitative

data fra spørreskjema og standpunktkarakter) •  Datainnsamlingsteknikker

–  Elevers essay i ulike versjoner –  Videoopptak m/lyd i tre klasserom –  Intervju med utvalgte elever og lærere –  Lærernes retting av stilene –  Spørreskjema –  Observasjonsnotater

•  Multimetodeanalyse (sammenstilling av ulike datakilder til samme fenomen)

Kvantitative resultater

•  Data viser at snittkarakterene for studentene som brukte EssayCritic gikk opp en karakter bl.a. fordi de skrev lengre stiler (i snitt 28%, ca. 70 ord, lengre stiler)

Kvalitative resultater

•  Positivt –  Middels til svake (men seriøse) elever synes

systemet virket motiverende og idéskapende –  De skrev lengre stiler enn de vanligvis gjør og

gikk i snitt opp en karakter fra standpunkt •  Negativt

–  Noen av de flinkeste elevene (i snitt 10%) synes systemet hindret mer enn hjalp, og ønsket selv å komme frem til hvordan skrive lengre stiler

–  I stilene til flere av de som brukte EC kunne lærerne spore tema/avsnitt som lignet hverandre (likhetstrekk med tilbakemeldingene fra systemet)

ZPD: nyttig begrep fra pedagogikk i systemutvikling av læringsteknologi •  Zone of proximal development (den nære

utviklingssone) •  Et meget sentralt begrep i utvikling og

evaluering av teknologibasert læring (TEL) •  Også veldig sentralt for utvikling av alle slags

hjelpesystemer •  På InterMedia holder vi på å utforske

begrepet for virtuelle verdener og sosiale medier

•  ZPD in online social learning environments