Embed Size (px)
Citation preview
NIELS HEIE · KAREN MARGRETHE ÖSTERLIN · FRANK CHRISTENSEN
Objektive og subjektive
INDHOLDSRELATIONERMELLEM
SPROGLIGE OG IKKE-SPROGLIGE TEGNder bruges i grafiske produkter
Rapport om et eyetrack-forsøg udført på
Den Grafiske Højskole, København
Vejleder:
Ass. prof. Kenneth Holmqvist
Institute of Cognitive Science, Lunds Universitet
Den Grafiske Højskole · September 2005
ABSTRACT
Grafisk kommunikation skabes ofte gennem fremstilling af produkter, der distri-buerer et budskab som en komposition af sproglige og ikke-sproglige tegn, teksterog billeder. Det forudsættes, at modtageren er i stand til at læse disse tegn og atlæseren får en sammenhængende helhedsopfattelse af meningen med det grafiskeprodukts indhold.
Der er ikke gjort mange forsøg, der kortlægger, hvordan læseren opfatterbetydningen af aat sproglige og ikke-sproglige tegn benyttes i en og samme kom-position. For at bidrage til kortlægning af den problematik, gennemførte vi et for-søgmed eyetrackudstyr, en teknologi der muliggør registrering af øjenbevægelser.Hypotesen var, at de to tegntyper indholdsmæssigt påvirker hinanden. Hypotesenblev bekræftet i en pretest med 15 personer, der blev præsenteret for 18 stimulus-billeder med hver sin kognitive opgave. Opgaven bestod i at vælge om indholdetaf en sætning passede til indholdet af et fotografi, hvis sammensætningen skullevære henholdsvis objektiv, subjektiv, forkert og følelsesladet.
Efter pretesten udførte vi et forsøg med samme struktur: 4 gange 6 testperso-ner (ikke pretestdeltagere) blev præsenteret for 4 gange 6 stimulusbilleder.Stimulusbillederne indeholdt seks forskellige fotografiske motiver (pressefotos),hver testperson så i alt 24. Hvert motiv blev vist 4 gange – en for hver af de firespørgsmål. Hvert motiv havde 3 svarmuligheder, de samme uanset spørgsmål.Under løsningen af opgaverne, blev øjenbevægelsesmønstret registreret.
Vi brugte to layouts: Det ene indeholdt et foto, det andet et foto der blev visttre gange. I det første, spaltelayoutet, var svarmulighederne placeret under foto-grafiet som tre linier under hinanden. I det andet, billedtekstlayoutet, var de pla-ceret som en linie under hver sin kopi af fotoet.
Forsøget resulterede i en datafil med øjenbevægelsesmønstret for hver testper-son. Efterfølgende blev data fra 16 personer analyseret statistisk med bl. a. datafra ”Areas of Interest” analyser.
Resultat1) Tekster og billeder har indholdsmæssig indflydelse på hinanden.2) Testpersonerne bruger længere tid på en subjektiv opgave end på en objektiv.3) Layoutforskellen har ikke indflydelse på tidsforbruget. Men i layouts med treens fotos bruger testpersonen længere tid på fotografierne end i layouts med etfoto.
Forsøget viser, at man med fordel kan overveje betydningen af den indholdsmæs-sige relation mellem tekster og billeder, fordi det er muligt at skabe kognitiv syne-nergi mellem de to tegntyper og at kravet til læserens fortolkning af opgavenbestemmer den tid, læseren har øjenkontakt med det visuelle budskab.
3
1 FORORD
Denne rapport er den afsluttende del af et undervisningsforløb som en gruppe fraDen Grafiske Højskoles lærerstab har gennemført i samarbejde med LundsUniversitet.
Baggrunden for iværksættelsen af forløbet var ønsket om at opgradere en del afDGH’s samlede kompetenceområde. Det specielle focus blev lagt på eyetrack-pro-blematikken, da vi anser det for vigtigt at en virksomhed som DGH – der beskæf-tiger sig med uddannelse af mennesker som skal fremstille grafiske kommunika-tionsprodukter –, har stor viden om virkningsmåden af de sanser som forbruget afkommunikerende produkter forudsætter.
Ved en stor donation fra Nilpeterfonden blev der indkøbt det nødvendige tekniskeudstyr for at genemføre eyetrack-undersøgelser. Efter kort tid blev det besluttet atdanne en gruppe, der skulle uddannnes for at besidde de nødvendige kompeten-cer.
Gruppen bestod af tre personer:Niels Heie (1945) ansat på DGH som underviser. Har brugen af tekst og billeder ikommunikationssammenhæng som sit arbejdsområde.Karen Margrethe Österlin (1965) ansat på DGH som underviser. Har elektroniskpublicering som sit arbejdsområde.Frank Christensen (1973) ansat på DGH som underviser. Har markedsføring som sitarbejdsområde.
Vi henvendte os med held til ass. professor Kenneth Holmqvist, specialist i eyetrac-king og ansat på Lunds Universitet, Institute for Cognitive Science for at få udvik-let et uddannelsesforløb. Kenneth Holmqvist har designet det undervisningsforløbsom gruppen har fulgt.
Under forløbet har vi yderligere modtaget undervisning og vejledning fraConstanze Wartenberg, PhD og Jana Holsanova, PhD, begge Lunds Universitet .
Det fotografiske materiale som forsøget analyserer er generøst stillet til rådighedaf Dagbladet Politiken ved billedchef Per Folkver.
Niels HeieDen Grafiske Højskole 26. september 2005
5
INDHOLD
1 Forord ................................................................................................................
2 Indledning .........................................................................................................
3 Problemområde ............................................................................................... 3.1 Et dansk forsøg ............................................... ................................................3.11 Et finsk forsøg .................................................................................................. 3.12 Et tysk forsøg .................................................................................................... 3.13 Konklusion på tre forsøg ................................................................................ 3.14 ”Efferent and aestetic reading”....................................................................... 3.15 Definition på grafisk kommunikation .......................................................... 3.2 Pretests .............................................................................................................. 3.3 To forståelsestyper ...........................................................................................3.4 Grundhypotese ................................................................................................3.5 Briefing af testpersoner ...................................................................................3.6 Forsøgsapparatur ............................................................................................3.7 Dataindsamling ................................................................................................3.8 Databehandling ................................................................................................3.9 Hypoteser ..........................................................................................................3.91 T-tests .................................................................................................................
4 Diskussion ........................................................................................................4.1 Om forudsigelighed ........................................................................................4.2 Om generelt tidsforbrug .................................................................................4.3 Om virkningen af de to layouttyper ............................................................4.4 Om layouts med 1 eller 3 fotos ....................................................................4.5 Konklusion .......................................................................................................
5 Litteratur ...........................................................................................................
6 Bilag ...................................................................................................................
7
5
9
11121313151616161820222323242531
323234343537
38
40
2 INDLEDNING
Grafisk kommunikation er en paraplybetegnelse for et kommunikationsuniversder består af
· produkter, f.eks. aviser, annoncer, bøger, magasiner o. lign.· producenter, f.eks. forfattere, designere, bogtrykkere, fotografer o. lign.· distributører, f.eks. boghandler, kiosker, uddelere af forskellig art · forbrugere, f.eks avisabonnementer, studerende, indkøbere o. lign.
Produkterne har det tilfælles at de er fremstillet for at formidle et budskab fra eneller flere afsendere til en eller flere modtagere. Den væsentligste forudsætning forat modtageren skal forstå det budskab som produktet indeholder er, at han ellerhun kan læse. For at budskabet kan blive modtaget skal afsenderen derfor være istand til at formulere budskabet læseligt.
Læsning er “at opfatte indholdet af skrevne eller trykte tekster. Lidt mere præcist er læs-ning at genskabe et forestillingsindhold på basis af identifikation af tekstens ord og for-håndskendskab til tekstens begrebsverden”. (DSDE, OODDS, Elbro 2001).
Men begrebet læsning kan fortolkes i videre betydning, for “det er også alminde-ligt at bruge ordet læsning i forbindelse med fortolkning af ikke-sproglige symboler: mankan læse noder, læse vejkort, læse partiturer …”(Elbro 2001). Man kan sige at proces-sen er den samme, hvad enten man fortolker meningen med et vejkort, et partitureller en annonce og at man derfor kan benytte det samme ord – læsning – sombetegnelse for processen.
For at virke efter hensigten forudsætter de fleste grafiske kommunikationsproduk-ter, at modtageren er i stand til læse i denne udvidede betydning af begrebet læs-ning, fordi de næsten altid indeholder både sproglige og ikke-sproglige tegn.Deres budskab er formuleret som en komposition af tekster og illustrationer, dvssom en sammensætning af symbolske og ikoniske tegn (Liszca 1994). Derfor kande fleste grafiske produkter beskrives som multimodale (Holsanova 2001).
Multimodaliteten er beskrevet af Paivio (Paivio 1978), som hævder at bevidsthe-den gennemløber kognitive processer i to forskellige systemer, hvoraf det ene for-tolker scener (situationer) og generer forestilliger i visuel form (images), mens detandet fortolker sprog (language) og genererer tale (speech). Det første system kal-des “the imagery system”, og behandler information fra omgivelserne (environ-ment) bl. a. af sensorisk art. Det andet system kaldes “the verbal system” ogbehandler symbolsk information fra andre mennesker.
Formålet med at kommunikere er at skabe pragmatisk enighed om et givet emne.Derfor er meningen med at fremstille og distribuere grafiske produkter at skabe et
9
bevidsthedsindhold som afsender og modtager deler. Det er derfor er en væsentligparameter for kommunikationsprocessens succes, at afsenderen kan forudsige,hvilken opfattelse af budskabet læseren vil have, når han har afsluttet læsningenaf det grafiske produkt. Producenten skal være i stand til med tilpas sandsynlig-hed at forudsige, hvilken opfattelse af budskabet og budskabets gyldighedsområ-de læseren vil have efter endt læsning.
Baggrunden for at gennemføre denne undersøgelse er, at der kun findes publiceretlidt forskning i læsning af produkter, der betjener sig af en kombination af sprogli-ge og ikke-sproglige visuelle elementer, selvom hovedparten af de grafiske pro-dukter formidler budskabet i multimodal form.
Det er ekstra overraskende, når man tænker på at de fleste mennesker lærer atlæse tekster via bøger, som indeholder en stor mængde ikke-sproglige elementer.
De skolebøger som bruges til undervisning af børn, der skal lære at læse ogskrive tekster, bygger i væsentlig grad på
· at børnene ved hjælp af visuel perception kan afkode og forstå bøgernes ind-hold af ikke-sproglige elementer (f.eks. tegning af en kat) og
· at denne forståelse af det ikke-sproglige indhold er en forudsætning for atbørnene kan indlære den skriftlige kode (f.eks skriftordet kat) (Rayner et al. 2001).
Denne rapport beskriver et eyetrack-forsøg, der blev udført på DGH i sommeren2004 med to formål:
A ) At skabe viden omkring læserens opfattelse af budskaber, som er formidlet i multimodal form, dvs i en komposition af sproglige og ikke-sprogligeelementer.
B ) At skabe viden om de rammer af indholdsmæssig art, der skal etableresfor at der kan opnås enighed mellem afsender og modtager om indholdet af et budskab, som er formuleret multimodalt.
Formål A) forholder sig til læseprocessens afkodningsfase, formål B) til læsepro-cessens forståelsesfase.
10
3 PROBLEMOMRÅDE
I Carsten Elbros bog Læsning og Læseundervisning introduceres en model (fig. 1) derbeskriver læsefærdighed i forbindelse med læsning af tekster som en forening afto komponenter: afkodning og sprogforståelse:
Fig. 1
Modellen beskriver ikke hvordan læsning foregår på neurologisk niveau, men pået pragmatisk/praktisk.
De to faktorer afkodning og sprogforståelse er væsentlige komponenter i læse-processen og danner tilsammen læsefærdigheden. Modellen dækker hele denmentale proces, der foregår når man læser. Afkodningen er ikke kun en omkod-ning til sproglydenes kodesystem, men fører til en egentlig genkendelse af ordene.På baggrund af afkodningen skabes så den egentlig sprogforståelse. Afkodning eren forudsætning for sprogforståelse og både afkodning og sprogforståelse er nød-vendige forudsætninger for, at man kan læse en tekst (Elbro 2001, si. 28).
Hvis man erstatter begrebet sprogforståelse med helhedsforståelse udvider manmodellens virkningsområde, så den indeholder både sproglige og ikke-sprogligeindholdselementer (symbolske og ikoniske tegn) og betydningen af deres indbyr-des relationer. Derved kommer den til at se sådan ud (fig. 2):
Fig. 2
LÆSEFÆRDIGHED
Afkodning Helhedsforståelse
LÆSEFÆRDIGHED
Afkodning Sprogforståelse
11
Dermed skaber man en model for læsning af multimodalt formulerede budskaber,der ikke sætter skel mellem sproglige og ikke-sproglige betydningselementer.
Afkodning af de sproglige elementer danner baggrund for at forstå det sprogli-ge indhold (sprogforståelse), afkodning af de ikke-sproglige elementer danner bag-grund for forståelsen af de ikke-sproglige elementer (sceneforståelse), og afkodnin-gen af deres placering i samme komposition danner baggrund for at forstå sam-menhængen i de to elementtypers tilstedeværelse i samme visuelle komposition(helhedsforståelse).
Dermed hævder modellen, at de typer af betydningselementer som budskabetformuleres i indgår på lige fod, når læseren udfolder sin læsefærdighed i en pro-ces, der danner forståelsen af indholdet i det grafiske produkt (den visuelle kom-position), der både indeholder sproglige og ikke-sproglige tegn.
I læseprocessen, hvis logik er af enthymemisk karakter (dvs. bygger på anslåetsandsynlighed), er flowet afhængigt af om afkodningen og indholdsforståelsenforløber så glat som muligt.
Helhedsforståelsen af det læste opstår, når læseren – med en formulering afden amerikanske læseforsker Louise Rosenblatt – “vækker meningen med det læste”(Rosenblatt 1978).
3.1 TRE FORSØGDansk forsøg: illustrationers virkningpå forståelsen af bogstavsammenhæng
Et mindre forsøg udført i Nilpeter Lab på DGH involverede 3 x 4 personer: Hvergruppe blev præsenteret for et stimulus billede der indeholdt seks bogstaver pla-ceret i en bestemt orden. To af grupperne blev præsenteret for et stimulusbillededer indeholdt en illustration udover bogstaverne. I det ene stimulusbillede blevder vist fire mønter, i det andet blev der vist et sæt nøgler (fig. 5). Testpersonerne(TP) blev bedt om at finde frem til det ord som bogstaverne kunne danne.
Fig. 5
Resultatet var, at bogstavkombinationen hurtigere blev afkodet som ordet VALU-TA, hvis bogstaverne blev vist sammen med et foto af nogle mønter, end hvis detblev præsenteret uden illustration. Endvidere viste forsøget, at TP i gennemsnitbrugte mere tid på at finde ordet, hvis bogstaverne blev præsenteret sammen medet foto et bundt nøgler, end hvis de blev vist uden illustration.
Forsøget viste, at den tid det tog at løse opgaven, var kortere i nogle tilfældeend i andre: Der blev brugt mindst tid på opgaven, når indholdet af illustrationenkunne betegnes med et ord, der indholdsmæssigt kunne være gyldigt som accep-tabel løsning på opgaven. Der blev brugt mere tid, når der ikke var nogen illustra-
UA
LA TVU
A
LA TVU
A
LA TV
12
tion eller når indholdet af illustrationen kunne betegnes med et ord, der indholds-mæssigt var uacceptabelt som løsning på opgaven.
Testpersonerne var studenter på Den Grafiske Højskoles designstudie, og kanderfor anses for at være i besiddelse af nogenlunde samme læsefærdigheder.Under disse forudsætninger viste forsøget, at det var hurtigere at løse opgaven,når illustrationens indhold var semantisk meningsfuldt (Læsepædagogen 2003) .
3.11 Finsk forsøg: virkningen af illustrationer i skolebøger
I 1996 undersøgte Matti Hannus hvordan illustrationer i skolebøger virkede påelevernes indlæring. På baggrund af en dual-coding teori der hævder, at illustrerettekst huskes mere detaljeret end uillustreret tekst (Paivio 1986), undersøgteHannus resultatet af 108 10-årige skoleelevers læsning af materiale fra en skolebogder handlede om biologiske forhold.
Eleverne blev opdelt i grupper efter læseevner: god, middel og ringe læseevne.Bogmaterialet blev fremstillet i to versioner: det ene indeholdt tekster og illustra-tioner, det andet indeholdt kun tekster. Teksterne var de samme i begge versioner.En mindre gruppe af elever blev eyetrack-testet under læsningen. Efter forsøgetblev elevernes udbytte af læsningen undersøgt ved kvalitative metoder.
Resultatet af undersøgelsen var at eleverne lærte mest af teksten og at de ele-ver, der havde god læseevne fik forbedret deres forståelse af indholdet ved hjælpaf illustrationerne, mens de elever der havde ringe læseevne blev forvirret af illu-strationerne.
De gode læsere var bedre til at opleve multimodaliteten meningsfuldt: de for-stod at orientere sig og kunne skifte mellem læsning af tekst og læsning af illustra-tioner på en hensigtsmæssig måde.
De dårlige læsere oplevede at skiftet mellem de to læsningsformer var forvir-rende. Deres multimodale læsefærdighed var ikke udviklet så meget at de havdekognitiv kapaticitet til at veksle meningsfuldt mellem de to modaliteter.
De kunne altså ikke opleve, at indholdet i de sproglige og de ikke-sprogligeelementer var to sider af samme sag (Hannus 1999).
3.12 Tysk forsøg: virkning af semantiske niveauer i annoncer
Artiklen ”Eye Movements in The Processing of Print Advertisements” (Radach et. al.2003) beskriver et forsøg, hvor 32 forsøgspersoner præsenteres for en rækkeannoncer, der indeholder både tekster og illustrationer.
Annoncerne var opdelt i to grupper.I den ene gruppe var annoncernes indhold explicit, hvilket defineres som at
indholdet i teksten og illustrationen står i et direkte semantisk forhold til hinan-den.
I den anden gruppe var annoncernes indhold implicit, hvilket defineres som, atindholdet i teksten og illustrationen står i et indirekte semantisk forhold til hinan-den.
13
En explicit annonce (fig. 3) indeholdt f.eks. et fotografi af en stationcar til pri-vatkørsel.
Bilen ses bagfra, bagklappen er åben. Teksten i annoncen lyder: ”Med dennekombi tilbyder vi Dem meget plads og komfort” (Dansk tekst i min oversættelse.Originalen er tysk og lyder: ”Mit diesem Kombi bieten wir Ihnen viel Platz undKomfort"). I nederste højre hjørne findes et mærke, der består af et abstrakt ele-ment samt ordene Canvas og Kombi.
En tilsvarende implicit annonce (fig. 4) ser man et fotografi af en mand og engravid kvinde. Manden er placeret bag ved kvinden, han holder om hende. Beggepersoner smiler. Teksten lyder: ”Med denne kombi kan vi gøre det fem gange til” (Dentyske original lyder: ”Mit diesem Kombi können wir das noch fünf mal machen”).Nederste højre hjørne indeholder de samme elementer, som i den første annonce.
Hvis man lægger læsefærdighedsmodellen (fig. 2) til grund for aflæsningen afde to annoncer ser resultatet således ud:
I den explicite annonce bliver kompositionen af elementer forståelig, hvis manopfatter, at bilen er en kombi(nation) der forener passager-og lasttransport og hed-der Canvas Kombi.
I den implicite bliver kompositionen af elementer forståelig, hvis man opfatterde to mennesker som en kombi(nation), der gør det muligt at gentage tekstens”das”. Tekstens “das” bliver kun forståeligt, dvs. får konkret betydning, hvis manforstår at det henviser til kvindens graviditet og den sexuelle aktivitet, gravidite-ten forudsætter. Det er dog svært at se, hvad virksomheden Canvas Kombi i detimplicitte tilfælde sælger..
Fig. 3
Fig. 4
Ifølge artiklen viser forsøget, at testpersonerne bruger længere tid på at aflæse deannoncer, hvis indhold er implicit, end de annoncer hvis indhold er explicit.
Videre viser forsøget, at forsøgsdeltagerne udtalte større sympati for de impli-
14
citte annoncer end for de explicitte. De kunne altså bedre lide de implicitte annon-cer end de explicite, hvilket samtidig var de annoncer de brugte mest tid på.
Resultatet er interessant da ”likeability in ads” har en significant sammenhængtil salget af de annoncerede varer (Haley, 1990). Målt over lang tid er der korrela-tion mellem annoncers ”likeability” og salget af de produkter, der annonceres for.
3.13 Konklusion på de tre forsøg
Disse tre forsøg viser, at de læsende testpersoner opfattede, at der var en forståel-ses-og indholdsmæssig konsekvens af relationen mellem de sproglige og de ikke-sproglige elementer. Tegnene påvirker hinandens betydningsområde, hvilket ind-virker på den samlede indholdsforståelse.
Tegnenes indbyrdes betydning for hinanden, kan beskrives som at forståelsenaf helheden af tegn, som f.eks. ordene i en sætning, – med et engelsk udtryk – ska-ber "interconnectedness" mellem dem (Richards 1939) (Forslag til dansk oversættel-se: mellemforbundne, NH). Interconnectedness er et begreb, der beskriver en kogni-tiv proces af samme art som den Elbro refererer til:"Når ord bliver sat sammen (i sæt-ninger), begrænses deres betydning (af sammensætningen)" (Elbro 2001).
Som følge af forsøgene er der belæg for at udvide det område, hvor det er relavantat bruge begrebet interconnectedness fra at være et begreb, der betegner en sprog-lig forståelsesproces til at dække en multimodale forståelsesproces fordi forståel-sessprocessen er af samme karakter. Dermed kan man også benytte begrebet inter-connectedness, når sammensætningen af elementer er af både sproglig og ikke-sproglig art.
Den udvidede betydning af begrebet interconnectedness supplerer den udvidedemodel for læsefærdighed, som er præsenteret tidligere i dette papir (fig. 2).
(Hvor sproget alene udfolder sig som kompositioner af ord i sætninger, opstårforståelsen i en proces, hvor de enkelte ords betydning fastlægges som en ind-skrænkning af deres mulige betydning af de andre ord i sætningen. Hvis komposi-tionen indeholder ikke-sproglige elementer begrænses deres betydning yderligereaf de ikke-sproglige elementers betydning. Det er altså helheden, der bestemmerhvilke dele af betydningselementernes potentiale der udnyttes i dannelse af enforståelse af den samlede kompositions betydning).
Dermed har man en model for læsefærdighed, der omfatter både sproglige ogikke-sproglige elementer og et begreb for at de to elementtypers indbyrdes betyd-ning for indholdsforståelsen.
Modellen ligger derudover i forlængelse af det klassiske eyetrack-forsøg somYarbus gennemførte (Yarbus 1967). Forsøget viste, hvordan et antal TPs øjenbevæ-gelsesmønster varierede i relation til løsningen af forskellige sprogligt formuleredeopgaver i forbindelse med aflæsningen af det samme naturalistisk maleri.
15
3.14 “Efferent and aestetic reading”
I det tyske forsøg arbejdes der endvidere med to indholdskategorier, hvor detsemantiske indhold i den ene er explicit, i den anden implicit. I den implicittekategori bruger testpersonerne længere tid på aflæsningen end i den explicitte.Endvidere resulterer den implicitte kategori i at testpersonerne giver udtryk forhøjere likeability.
Disse to kategorier kan med fordel forstås i lyset af Louise Rosenblatts hypote-se om at læsning er en aktiv proces og at der er to måder at læse på, dvs. to for-skellige slags læseradfærd.
I den ene type læseradfærd er læserprocessen rettet mod at læseren besidderen ny kompetence, når læsningen er overstået. Eksempel: en strikkeopskrift læsesfor at man kan strikke det produkt som strikkeopskriften beskriver fremstillingenaf.
I den anden type læseradfærd er formålet med læsningen det at læse, dvs selvelæseprocessen. Den type adfærd sigter ikke mod et mål efter endt læsning, mensigter mod at selve forståelsesprocessen er af værdi i sig selv.
Den første type kalder hun “efferent reading”, den anden type kalder hun “aeste-tic reading” (Rosenblatt 1973).
3.15 Definition på grafisk kommunikation
Man kan på basis af læsefærdighedsmodellen (fig. 2), det udvidede begreb ominterconnectedness og de omtalte forsøg foreslå en definition af grafisk kommuni-kation:· Grafiske produkter, der har til formål at skabe kommunikation, er læselige kom-positioner, der indeholder sproglige og ikke-sproglige tegn.· Læsningen kan forstås som en formodnings/bekræftelsesproces, hvori en enthy-memisk slutningsform gør det muligt for læseren på et subjektivt grundlag at fast-slå sansynligheden for betydningen af tegnenes relationelle indhold.· Læserens forståelse af kompositionernes samlede indhold opstår i en proces,hvor de enkelte tegns betydning i begge modaliteter fastlægges på baggrund afden helhedsopfattelse de tilsammen danner i læserens bevidsthed (puslespil, hvorbrikkerne tilpasser sig hinanden).
3.2 Pretests
Med udgangspunkt i det forrige ønskede vi i vores eyetrack-forsøg at undersøgeto emner:
Emne A) Den indholdsmæssige interconnection mellemde sproglige og de ikke-sproglige tegn
Emne B) I hvilket omfang vi kan forudsige resultatet af en kognitiv
16
opgave, der formuleres i visuelle sproglige og ikke-sproglige tegnog som skal løses via en læseproces?
Vi gennemførte en pretest, hvor 15 tilfældigt udvalgte testpersoner (TP) blev præ-senteret for 18 stimulusbilleder.
Hver stimulusbillede (se fig. 6) indeholder et foto plus tre sætninger betegnetmed tallene 1, 2, 3. De tre sætninger er placeret umiddelbart under fotografiet. I enboks til højre for fotografiet er der et firkantet felt, der indeholder et spørgsmål oget afkrydsningsfelt hvor man kan notere sit svar. Spørgsmålets første del står på enlinie øverst i feltet lyder:
“Hvilken sammensætning af foto og tekst....”
Spørgsmålets anden del findes i fire variationer og står over en vandret rækkeafkrydsningfelter og lyder:
“... er mest objektiv”“... er mest forkert”“... er mest subjekt”“...skaber mest følelse”
Fig. 6
For at TP kan løse opgaverne, skal de udvise læsefærdighed i den forstand sommodellen (fig. 2) postulerer eksistensen af. De skal altså kunne bevæge deres øjneformålsbestemt rundt i kompositionen i et mønster af fixationer og saccader ogderudfra beslutte, hvilket tekstindhold der kan opfattes meningsfuldt sammenmed indholdet af en illustration.
Når testpersonen oplever, at tekstindholdet opleves meningsfuldt i forhold tilillustrationsindholdet, postulerer vi at de to betydningselementer kan opfattessom dele af det samme budskab.
For at teste om vores hypotese var holdbar, besluttede vi på forhånd hvilkesvar der var “de rigtige”. Det var muligt, fordi teksterne var formuleret med denintention at de skulle fungere som svarmulighed i forhold til spørgsmålet i forholdtil fotoet.
De tre svarmulighder kunne være (Eks. se fig. 6):
1) Tre af laboratoriets ansatte
2) Kranen var ikke høj nok
3) Fremtiden tilhører fantasien
HVILKEN SAMMENSÆTNING
AF FOTO OG TEKST
er mest objektiv:
F+1 F+2 F+3
er mest forkert:
F+1 F+2 F+3
er mest subjektiv:
F+1 F+2 F+3
skaber mest følelse:
F+1 F+2 F+3
17
Svar 1: Tre af laboratoriets ansatteSvar 2: Kranen var ikke høj nokSvar 3: Fremtiden tilhører fantasien
Vores forudsigelse af de valgte svar var:
Svar 1: hvis sammensætningen skulle betegnes som mest objektivSvar 2: hvis sammensætningen skulle betegnes som mest forkertSvar 3: hvis sammensætningen skulle betegnes som mest subjektivSvar 3: hvis sammensætningen skulle betegnes som mest følelsesfuld
Nummereringen af svarkategorierne var randomiseret. TP kunne derfor ikkeregne med at et bestemt nummer på en sætning, altid passede som svar på densamme type opgave. TP løste opgaven individuelt, uden kontrol og uden tidsbe-grænsning.
Resultatet af pretesten blev, at enigheden mellem os og TP var på:95 % om hvilke sammensætninger, der var mest objektive,90 % om hvilke sammensætninger, der var mest forkerte,78 % om hvilke sammensætninger, der var subjektive, 72 % om hvilke sammensætninger, der var mest følelsesladede.
Dvs. at enigheden mellem os og TP generelt var på:84 % om hvordan indholdet af sammensætningerne skulle opfattes.
3.3 To forståelsestyper
Man kan forstå, hvad vi mener med at indholdsrelationen mellem tekst og billedeer objektiv, hvis man forestiller sig følgende:
En læser præsenteres for et stykke papir, hvorpå der er trykt et fotografisk por-træt af et menneske. Nedenunder portrættet er der placeret nogle bogstaver, dertilsammen kan opfattes som navnet på et menneske. Hvis læseren slutter sig til atnavnet må være navnet på den person, der ses på portrættet opfattes relationensom objektiv.
Når relationen er subjektiv er forholdet mellem billedets indhold og sprogetsindhold ikke direkte.
Forestiler man sig, at bogstaverne ikke danner forestillinger om et navn på enperson, men forestilinger om navnet på en egenskab, giver relationen kun meninghvis læseren slutter sig til, at den person der ses må besidde den egenskab somteksten formulerer tilstedeværelsen af.
Vi valgte at bruge ordene objektiv og subjektiv på stimulusbillederne, fordi TPer mere vant til at bruge de begreber i deres eget sprog end begreberne explicit ogimplicit.
I det tilfælde hvor relationen er objektiv kan man sige at helhedsdsforståelsener kategoriserende: illustrationen viser et individ der er medlem af den kategori, der
18
betegnes med det benyttede ord.I det tilfælde, hvor relationen er subjektiv kan man sige, at helhedsforståelsen
er fænomeniserende: en objektiv forståelse af relationen giver ikke mening, menrelationen giver mening, hvis læseren forestiller sig, at illustrationen eksemplifice-rer et individ i den kategori, som betegnes med det benyttede ord. I den relationhar illustrationen den funktion at gøre noget synligt som ellers ikke kan ses.
Derfor kan man bruge ordet fænomenisering, hvis latinske rod betyder “nogetder er synligt”.
Evidensen for at man kan arbejde med to typer indholdsforståelse er anskuelig-gjort i fig. 7:
Fig. 7
Man ser to visuelle kompositioner. Hver komposition består af to tegnelementer:et ikonisk tegn og et overordnet symbolsk tegn som består af mindre symbolsketegn. Det ikoniske tegn er et fotografi, der forestiller en fysisk genstand. Det sym-bolske tegn består af en række bogstaver, der tilsammen danner forestilingen omet ord.
Layoutet, dvs. elementernes geografiske og proportionale forhold til hinandener det samme i begge kompositioner. Derfor er afkodningen også den samme. Deter helhedsforståelsen derimod ikke.
I eksemplet til venstre er der et direkte semantisk forhold mellem indholdet afordet og indholdet af fotografiet, (som i den eksplicitte annonce omtalt side 7-8).
Det ord man i korrekt leksikal forstand kan betegne den fotograferede gen-stand med er synonymt med det ord, der står under fotografiet. Relationen ermeningsfuld ved at være kategoriserende: indholdsforståelsen består i læserensoplevelse af, at det der vises er et eksempel på en kategori, der konventioneltbetegnes med det anvendte ord (bottom-up proces). Meddelelsen er at kategorienogså indeholder dette individ.
I eksemplet til højre står indholdet af ordet i et indirekte semantisk forhold til ind-holdet af fotografiet, (som i den implicitte annonce side 8). Det giver ikke konven-tionel leksikalsk mening at betegne den viste genstand med ordet nedenunder.
Derfor må læseren i sin helhedsforståelse gå en anden vej: tage mentaltudgangspunkt i ordet og forsøge at forstå illustrationsindholdet som en fænomeni-
LænestolHygge-spreder
19
sering af den kategori, som ordet betegner (top-down proces). Meddelelsen er atbegrebet kan forankres (Barthes 1964) til en synlig form, den viste genstand kantillægges den egenskab som begrebet står for.
I den kategoriserende sammensætning sætter sproget navn på det illustrativeindhold, i den fænomeniserende sammensætning gør illustrationen det sprogligeindhold synligt.
(I de to eksempler i fig. 7 fremtræder sproget som enkeltord. Men i sammen-hængen kræver helhedsforståelsen at det enkelte ord opfattes som en sætning,nemlig sætningen “Dette er en lænestol” eller “Dette er en hyggespreder”)
Den kognitive proces der gør det muligt at finde mening i den ukonventionellesammensætning af sprog og illustration, er formodentlig den samme som gør detmuligt at forstå metaforisk brug af sprog.
Ved metaforisk sprogbrug benytter sprogbrugeren ordene ukonventionelt påen måde, der giver mening. Baggrunden for den metaforiske sprogbrug er ifølgenyere kognitionsforskning at skabe embodiment, dvs indholdsforståelse der baserespå en grundliggende kropslig erfaring (Lakoff og Johnson 2001).
Det er meningsfuldt er at opfatte brugen af illustrationer i lighed med denmetaforiske sprogbrug. De er begge retoriske virkninger, der medvirker til atskabe forståelse på et kropsligt grundlag ved at reducere graden af abstrakthed ogkompleksitet.
Forskellen på den sproglige metafor og den fænomeniserende sammensætningaf tekst og illustration er, at brugen af metaforen binder forståelsen til et katego-risk niveau (the verbal system), hvorimod brugen af illustrationen binder forståelsentil et individuelt niveau (the imagery system).
3.4 Grundhypotese
I forlængelse af pretestens resultat fastlagde vi denne hovedhypotese: det ermuligt at forudsige med omkring 80% sikkerhed, hvilken løsning TP vil vælge påen visuelt opgave der indeholder både tekst og illustration. Løsningen forudsætterTPs afkodning og helhedsforståelse.
På baggrund af denne hovedhypotese gennemførte vi et forsøg med det sammesigte som pretesten. Forsøget blev gennemført i DGHs eyetracklaboratorium.
Stimulusbillederne blev vist på en computerskærm. Under afkodningen og for-ståelsen af helheden registrerede vi, hvordan TPs øjnene bevægede sig på skær-men.
Stimulusbillederne var organiseret sådan, at der ikke var variationer i de togrupper af layouts. De visuelle elementer var placeret på samme sted i alle stimu-lusbillederne. Det betyder, at stimulusbilledernes layout var det samme serienigennem og at det “kun” var indholdet i elementerne, der skabte forskellen dem.
Afkodningsruterne var dermed de samme i overalt, men indholdsforståelsenville være af forskellig karakter.
Når TP så det samme stimuluslayout igen og igen blev øjenbevægelsesmøn-
20
stret hurtigt rigidt. Det havde vi ikke kapacitet til at analysere, hvorfor vi for at fåstørre variation i øjenbevægelsesmønstrene fremstillede stimulusbillederne i toforskellige layouts:
SPALTELAYOUT (SL)
En tekst med spørgsmålet er placeret øverst til venstre. Illustrationen er i stor stør-relse placeret midt på formatet. 3 tekster, der kan bruges som svarmuligheder erplaceret nedenunder illustrationen (fig. 8).
fig. 8
BILLEDTEKSTLAYOUT (BL)
En tekst med spørgsmålet placeret øverst til venstre. Illustrationen vises tre gangepå formatet i mindre størrelse end i SL, to er placeret til højre på formatet og ennederst til venstre. De tre tekster, der skal benyttes som svarmuligheder er placeretunder hver sin illustration en ad gangen (fig. 9). Illustrationerne på (BL) er 1/3mindre end på (SL).
Til forsøget blev i alt anvendt 12 forskellige farvefotografier. Fotografierne varpressefotos udlånt af avisen Politiken. Hvert fotografi blev præsenteret med etspørgsmål og 3 svarmuligheder. Til det enkelte foto var svarmulighederne hvergang den samme, men spørgsmålet varierede.
spørgsmål
illustration
svar
illustration
svar
illustration
svar
spørgsmål
illustration
svar
21
fig. 9
Der var 4 spørgsmål:
1) Hvilken tekst er mest objektiv?2) Hvilken tekst er mest subjektiv?3) Hvilken tekst er mest forkert?4) Hvilken tekst er mest følelsesladet?
Hvert af de 12 fotografier blev vist 8 gange, fordi der var 4 spørgsmål og 2 forskel-lige layouts pr. foto. Det blev til 96 stimuli i alt.
24 TP delt op i 4 grupper med 6 personer i hver deltog i forsøget.
Gruppe 1 og 2 så stimulusbilleder på basis af 6 fotografier (foto 1-6).Gruppe 3 og 4 så stimulusbilleder på basis af 6 andre fotografier (foto 7-12).Hver TP blev præsenteret for stimulusbillederne i en serie på 24 stimulusbilleder.
For at undgå repetition der ville afføde, at TPs øjenbevægelsesmønstre blev forensartede, strukturerede vi serien så den fik så stor variation som muligt:
Når gruppe 1 så stimulusbilleder med spørgsmål 1 og 2 i SL-layout,var stimulusbillederne med spørgsmål 3 og 4 i BL-layout.
Når gruppe 2 så stimulusbilleder med spørgsmål 1 og 2 i BL-layout,var stimulusbillederne med spørgsmål 3 og 4 i SL-layout.
Strukturen var den samme for gruppe 3 og 4 som for 1 og 2, men der blev brugt6 andre fotografier til stimulusbillederne.
Hver TP så 24 stimuli i alt, fordi hvert fotografi blev vist 4 gange med hvert sitspørgsmål, enten i SL-layout eller BL-layout.
Rækkefølgen af stimulusbilleder var randomiseret i alle fire grupper ved hjælpaf computerens program.
3.5 Briefing af TP
Testpersonerne var i alderen 22-60 år ligeligt fordelt på mænd og kvinder. 1/3 varstuderende, 1/3 havde mellemlange uddannelser og 1/3 var akademikere.
Hver enkelt TP fik en individuel briefing lige inden forsøget.Under briefingen læste de en kort skriftlig beskrivelse af forsøgets formål, for-
løb og omfang.De blev præsenteret for stimulusbilledernes struktur og fik forklaret meningen
med de 4 spørgsmål og de 3 svarmuligheder.De så et testeksemplar af stimulusbillederne i SL-layout og i BL-layout. De blev oplyst om at der var 24 stimulusbilleder.Endelig fik de en definition og forklaring på de 4 begreber som indgik i spørgs-
22
målene: objektiv, subjektiv, forkert og følelsesladet. Forståelsen af disse begrebervar vigtig fordi den bestemte TPs opfattelse af det spørgsmål der skulle svares på.Definitionen af begreber var fra Den Danske National Encyclopædi (DSDE 1994) .
Endvidere blev TP instrueret i måden svarproceduren i forhold til de enkeltestimulusbilleder. TP blev meddelt, at svaret skulle gives ved at TP sagde det num-mer højt som den valgte sætning var betegnet med. Derefter ville operatøren note-re tallet ned. Når det var gjort skulle TP trykke på tastaturets mellemrumstast,hvilket medførte fremkomsten af et nyt stimulusbillede på skærmen.
Endelig blev det pointeret over for TP, at det ikke var vigtigt at man løsteopgaverne hurtigt. TP måtte selv bestemme hvor meget tid der skullee bruges påopgaverne.
3.6 Forsøgsapparatur
Testpersonerne blev kaliberet og optaget på følgende udstyr:· Program: I-view 3.01· Kamera: Red II SMI· Threshold Control (fast): pupil 98 - C.R. 243· 9 punkt kalibreringsnet · Skærm: 21” farveskærm· Afstand: 60 - 70 cm· Visuel vinkel: 35 grader horisontalt, 25 grader vertikalt· Fixationsraten: 100 ms· Scanrate: 50 Hz
Til at afvikle de 24 stimuli i randomiseret rækkefølge, samt optage øjenbevægel-serne (ØB) på hvert stimuli, anvendtes programmet: Image Stimuli v. 1.0
3.7 Dataindsamling
Forsøget resulterede i en datafil pr. TP. Hver datafil indeholdt 24 dataset, et forhvert stimulusbillede.
For at dataene kunne benyttes adækvat blev stimulusbillederne opdelt i Areasof Interest (AOI).
I stimulusbilleder med SL-layout brugte vi fem AOI (fig. 10):
1) Spørgsmålet2) Fotografiet3) Svarene
23
F
I stimulusbilleder med BL-layout brugte vi 7 AOI (fig. 11):
1) Spørgsmålet2), 3), 4) Fotografierne5) 6), 7), Svarene
F
Hver TP-datafil indeholder derfor følgende:- Samlet tidsforbrug og ØB på hele serien af stimulusbilleder.- Tidsforbrug og ØB på hvert enkelt stimulusbillede- Tidsforbrug og ØB på AOI) - ØB som fixationer- ØB som rawdata
3.8 Databehandling
Det var ikke alle datafilerne, der levede op til kravet om at indeholde ØB der sva-rede til 90% af den samlede sæt-tid. Derfor fjernede vi 8 datafiler. Resultaterne erderfor opgjort på basis af data fra 4 gange 4 TP.
Der er udelukkende arbejdet med rådata i de indsamlede resultater. De ind-samlede data er bearbejdet på følgende måde:
For hver testperson er der printet et sæt for hvert af de 24 stimuli, der illustrerer- øjenbevægelsesmønstret- procent brugt i AOI- Objects vs Time i AOIDisse tal er behandlet til Excel. For hver stimuli blev der lavet en tabel der samlerdata fra TP: - Hvilken gang de så stimuliet (1. eller 2. eller 3. eller 4. gang)- Om svaret på stimuliets spørgsmål var som forudsagt.
24
1
2
3
1
2, 3, 4
5, 6, 7
fig. 10
fig. 11
- Tidsforbrug på stimuliet- Procent af tiden brugt på spørgsmål- Procent af tiden brugt på illustration- Procent af tiden brugt på svarmuligheder
Tallene blev lagt sammen i gennemsnitstal.De samlede gennemsnitsdata pr. stimuli blev applikeret ud i et nyt excelark,
hvor spørgsmål 1 og 2 blev fremhævet (objektiv-kategoriserende/subjektiv-fæno-meniserende).
3.9 Hypoteser
På baggrund af disse tal og efterfølgende tabeller og grafer, kunne vi se resultater-ne i forhold til følgende hypoteser:
A) Hvis både tekst og illustration skal aflæses, for at man kan løse den stilledeopgave må ingen af elementerne "foto" og "svarmuligheder" defineret som områ-der af stimulusbilledets AOI være uden øjenbevægelsesdata.
B) Hvis den objektive opgave er lettere at løse end den subjektive vil TP brugemindre tid på at løse den end de vil bruge på den subjektive. Og TP vil bruge kor-tere tid på at aflæse illustrationen i den objektive opgave end i den subjektive.
C) Hvis den subjektive opgave er sværere at løse end den objektive vil TP brugemere tid på at løse den end på at løse den objektive. Og TP vil bruge længere tidpå at aflæse illustrationen på den subjektive opgave end på den objektive.
D) Forskellen på de to layouts vil vise sig ved, at den tid som TP bruger på fotoet iSL-layoutet er kortere end den tid som TP bruger på BL-layoutet.
HYPOTESE A: Der skal ikke være nogle AOI-er uden dataFor at finde frem til om der var nogle tomme AOI måtte vi analysere hvert enkeltog lægge resultaterne sammen:
Antal AOI for hvert stimulus med spaltelayout.................................med billedtekstlayout.........................
Antal AOI for 24 stimuli pr. TP i alt............................................. Antal AOI for 16 TP i alt...................................................................................
Derefter måtte vi finde frem til antallet af tomme AOISamlet antal AOI uden ØB-data.........................................................................I procent af 2304.....................................................................................................
25
57
1442304
1185%
Tomme tekst-AOI fra stimuli med spaltelayout.................................med billedtekstlayout.........................
Tomme illu-AOI fra stimuli med spaltelayout.................................med billedtekstlayout.........................
Hvis hypotesen skal kunne verificeres burde der ikke være tomme AOI. Men deter der. Årsagen kan ligge i at TP bruger det parafoveale syn (Rayner et. al. 2003) iså stor grad at øjets position ikke giver sig udslag i ØB-data i et givet AOI.
Det kan også skyldes mangelfuld dataregistrering i kraft af f.eks. at TP harbevæget sig så øjets position i forhold til apparaturet er ændret. Derved brydessigtelinien mellem øjet og eyetrackapparaturet og kalibreringen er midlertidig ikkeoptimal.
Man kan endvidere overveje om der eventuelt er en indholdsmæssig årsag tilforekomsten af tomme AOI, da serien af stimulusbilleder indeholder gentagelseraf forskellige komponenter:
· De fire spørgsmål vises seks gange hver pr. TP.· Der er seks fotografiske motiver, hvert motiv vises i 4 gange pr. TP.· Der er tre svarmuligheder pr. motiv, som vises fire gange pr. TP.· Stimuli vises i to layouts: SL-og BL-layout der vises 12 gange hver pr. TP.
Man må formode, at TP oplever gentagelserne som genkendelser. Hvis det er til-fældet, vil det vise sig ved at TP bruger mere tid på “initial selection” og “earlyprocessing” (Radach et. al. 2003) på de elementer som TP ser for første gang endpå de elementer TP ser fjerde gang. Denne forskel i tidsforbrug, ville også kunneregistreres som en forskel på antallet af tomme AOI mellem første og fjerde ganget motiv vises.
Af de i alt 118 tomme AOI er· 9 registreret på førstegangsvisninger, · 39 registreret på fjerdegangsvisninger.
Alle 9 tomme AOI fra førstegangsstimuli er tekst-AOI· 1 er registreret på SL-layout · 8 på BT-layout
Af de 39 tomme AOI fra fjerdegangsstimuli er 33 tekst-AOI, mens 6 er illu-AOI · 27 tomme tekst-AOI er registreret fra stimuli med BL-layout· 6 tomme tekst-AOI er registreret fra stimuli med SL-layout· 6 tomme illu-AOI er registreret fra stimuli med BL-layout
Når der er så mange tomme tekst-AOI fra stimuli med BL-layout kan det skyldes,at de er placeret tæt op af illustrations-AOI og at TP derfor kan læse teksten paraf-ovealt. Da apparaturet registrerer at synsfeltets centrum befinder sig i et illu-AOIbliver resultatet at der ikke er nogle data i tekst-AOI.
26
20820
16
I førstegangsstimuli har vi registreret 1.6% tomme AOIi fjerdegangsstimuli har vi registreret 6.8% tomme AOI
Hypotesen er tæt på at være holdbar. Man kan derfor sige at det er langt overve-jende sandsynligt, at TP bruger så mange af de betydningsbærende elementer iden kognitive proces. Det betyder i praksis, at man må gå ud fra at læseren benyt-ter alle betydningselementer til løsning af opgaven.
HYPOTESE B & C: TP bruger mindre tid på den objektive opgave end på densubjektive fordi den er lettere at løse. TP bruger mere tid på den subjektive opgaveend på den objektive fordi den er sværere at løse
Vi antog, at det var en nem opgave for TP at vælge svarene på de spørgsmål, derskabte en objektiv relation mellem indholdet i illustrationen og teksten og at detvar en sværere opgave for TP at vælge svarene på de spørgsmål, der skabte ensubjektiv relation mellem indholdet i illustrationen og teksten.
Sværhedsgraden kan læses i forbruget af tid: det tager kortere tid at løse denlette opgave end den svære (Radach et. al.). Endvidere antog vi, at TP ville brugekortere tid på aflæsning af illustrationerne i den lette opgave end i den svære.Begge udsagn kunne aflæses i tidsforbruget.
For at bestemme om opgaven var mere eller mindre vanskelig fandt vi densamlede tid for alle TP’s besvarelse af de objektive spørgsmål (spørgsmål 1) ogsammenlignede tallet med den samlede tid for alle TP’s besvarelser af de sub-jektive spørgsmål (spørgsmål 2).
For at bestemme længden af den tid TP brugte på at aflæse fotografierne i deto opgaver gik vi frem på samme måde: bestemte det samlede tidforbrug ved ataddere samtlige TP-ers individuelle tidsforbrug.
I fig. 12 og 13 ser man det samlede forbrug af tid. Fig. 12 viser det samlede for-brug af tid ved løsning af opgaverne, når stimulusbilledet havde SL-layout. Fig. 13viser det samlede for brug af tid ved løsning af opgaverne, når stimulusbilledetBL-layout.
SAMLET SVARTID255 sek
Desubjektivespørgsmål
150 sek59%
Deobjektive
spørgsmål
105 sek41%
SAMLET SVARTID259 sek
Deobjektive
spørgsmål
113 sek44%
Desubjektivespørgsmål
146 sek56%
27
Fig. 12 og 13 viser dettotale tidsforbrug. Tilundersøgelse af signifi-kans er gennemført tot-tests A og B.
A viser at TP brugermere tid på den sub-jektive opgave end påden objektive uansetlayouttype.(p = 0,002882)
B viser at TP ikke bru-ger mere tid på BL- lay-out end på SL-layouts.(p = 0,4460)
Fig. 12 Fig. 13
I begge stimulus-layouts er den tid det tager at løse den subjektive opgaveomkring 50% større end den tid TP bruger på at løse den objektive opgave.
En nærmere analyse af læseradfærden, viser at et lignende mønster tegner sig ogat det større tidsforbrug ved løsningen af den subjektive opgave også viser sig iden mængde af tid som TP bruger på de enkelte elementer. (fig. 14, 15, 16, 17).
Illustration:40 % – 0.9 sek
Svar:25 % – 0.5 sek
Spørgsm:19 % – 0.4 sek
De objektive spørgsmål
Samlet svartid for48 spørgsmål: 105 sek
Gennemsnitlig svartidpr. spørgsmål: 2.2 sek
Illustration:45 % – 1.4 sek
Svar:23 % – 0.7 sek
Spørgsm:14 % – 0.4 sek
De subjektive spørgsmål
Samlet svartid for48 spørgsmål: 150 sek
Gennemsnitlig svartidpr. spørgsmål: 3.1 sek
Tom:16 % –0.4 sek
Tom:18 % – 0.6 sek
Illustration:32% – 0.8 sek
Svar:41% – 1.0 sek
Spørgsm:17% – 0.4 sek
De objektive spørgsmål
Samlet svartid for48 spørgsmål: 113 sek
Gennemsnitlig svartidpr. spørgsmål: 2.4 sek
Illustration:29 % – 0.9 sekSvar:
47 % – 1.4 sek
Spørgsm:14 % – 0.4 sek
De subjektive spørgsmål
Samlet svartid for48 spørgsmål: 146 sek
Gennemsnitlig svartidpr. spørgsmål: 3.0 sek
Tom:10% –
0.2sek
Tom:10% –0.3 sek
28
Fig. 14 - 17 viser gennemsnitsresultater.Figurernes størrelseafspejler forskellen i tidsfor-brug. Til undersøgelse af sig-nifikans for illustrationernesvedkommende er der udført t-tests:
Fig. 14/15 viser at TP ikke bruger meretid på illustrationerne i densubjektive opgave end i denobjektive.(p = 0,1678)
Fig. 16/17viser at TP bruger mere tidpå illustrationerne i den sub-jektive opgave end i denobjektive.(p = 0,0092)
Fig. 14/16viset at TP ikke bruger meretid på illustrationerne i de tolayouts ved løsningen af afden objektive opgave.(p = 0,2156)
Fig. 15/17viser at TP bruger mere tidpå illustrationerne i BL-lay-outet, når opgaven er sub-jektiv end når den er objektiv.(p = 0,0079)
Fig. 14 Fig. 15
Fig. 16 Fig. 17
I SL-layoutet bruger TP ca. 15 % af tiden til at læse og forstå spørgsmålet. Omsattil faktisk tid betyder det, at TP bruger ca. 20 sekunder på at læse spørgsmålet ialle fire tilfælde, men at tidsforbruget i forhold til de andre elementer varierer.
I det objektive spørgsmål i SL-versionen bruger TP i gennemsnit 36 sek på illu-strationen, 46 sek på svarmulighederne og 11 sek på ingenting.
I den tilsvarende subjektive opgave bruger TP 42 sek på illustrationen, 69 sekpå svarmulighederne og 15 sek på ingenting.
I den objektive opgave i billedtekstversionen bruger TP 42 sek på illustratio-nerne, 26 sek på svarmulighederne og 17 sek på ingenting.
I den tilsvarende subjektive opgave bruger TP 68 sek på illustrationerne, 35 sekpå svarmulighederne og 27 sek på ingenting (fig. 18 og 19).
Fig. 18Forbrug af tidi sekunderSL-layout
Fig. 17Forbrug af tidi sekunder,BL-layout
0
10
20
30
40
50
60
70
80
SEK SP IL SV T SP IL SV T
0
10
20
30
40
50
60
70
80
SEK SP IL SV T SP IL SV T
29
Objektivt spørgsmål Subjektivt spørgsmål
Objektivt spørgsmål Subjektivt spørgsmål
Fig. 18
Fig. 19
Fig. 18/19viser tidsforbruget på deenkelte elementer istimulusbilledet.Spørgsmål = (SP),Svarmuligheder = (SV),Illustrationer = (IL),“Tomme” områderi stimulusbillederne (T).
I en t-test er der signifikansfor, at TP bruger mere tid påillustrative elementer (IL) i et stimulusbillede medBL-layout end med SL-layout.(p = 0,0079)
Figur 15 og 16 viser det samlede antal sekunder som alle TP har brugt ved løsnin-gen af de stillede opgaver.Performance for en gennemsnitlig person har følgende værdier (fig. 20, fig. 21)::
0
3
6
9
12
15
SP IL SV T SP IL SV T0,4 0,9 0,5 0,4 0,4 1,4 0,7 0,6
1 SEK
0
3
6
9
12
15
SP IL SV T SP IL SV T0,4 0,8 1,0 0,2 0,4 0,9 1,4 0,3
1 SEK
30
Fig. 20Gennemsnitsværdierfor en TP, der løserspørgsmål 1 + 2i SL-layout
Fig. 21Gennemsnitsværdierfor en TP, der løserspørgsmål 1 + 2i BL-layout
Objektivt spørgsmål Subjektivt spørgsmål
Objektivt spørgsmål Subjektivt spørgsmål
3.91 T-tests
Fig. 12 - 21 bygger på data som er analyseret i 7 t-tests (bilag 2 indeholder beregnin-ger). De præsenteres her sammen med de hypoteser, der var deres forudsætning.
T-test 1:Hypotese: TP bruger mere tid på de subjektive (fænomeniserende) opgaver end påde objektive (kategoriserende). P=0,002882. Nulhypotesen kan forkastes.
Konklusion: TP bruger mere tid på at løse subjektive opgaver end på at løse de objektive.
T-test 2:Hypotese: TP bruger mere tid på de illustrative elementer i et SL-layout, når tek-sten er subjektiv (fænomeniserende) end når den er objektiv )kategoriserende).P=0,1628. Nulhypotesen kan forkastes.
Konklusion: TP bruger ikke mere tid på de illustrative elementer i et stimulusbilledemed SL-layout, når tekstens indhold i relation til illustrationernes indhold er subjektiv(fænomeniserende), end når den er objektive (kategoriserende).
T-test 3:Hypotese: TP bruger mere tid på de illustrative elementer i et stimulusbillede medBL-layout, når teksten er subjektiv (fænomeniserende) end når den er objektiv(kategoriserende).P=0,0092. Nulhypotesen kan forkastes.
Konklusion: TP bruger mere tid på de illustrative elementer i et stimulusbillede medBL-layout, når teksten er subjektiv (fænomeniserende) end når den er objektiv (kategorise-rende).
T-test 4:Hypotese: TP bruger mere tid på de illustrative elementer i et stimulusbillede medBL-layout end i et med SL-layout, når teksten er objektiv (kategoriserende).P=0,2156. Nulhypotesen kan ikke forkastes.
Konklusion: TP bruger ikke mere tid på de illustrative elementer i et BL-layout end i etSP-layout, når teksten er objektiv (kategoriserende).
T-test 5Hypotese: TP bruger mere tid på de illustrative elementer i et stimulusbillede medBL-layout end i et med SL-layout, når teksten er subjektiv (fænomeniserende).P=0,0079. Nulhypotesen kan forkastes.
Konklusion: TP bruger mere tid på de illustrative elementer i et stimulusbillede medBL-layout end i et med SL-layout, når teksten er subjektiv (fænomeniserende).
T-test 6Hypotese:TP bruger mere tid på de illustrative elementer i et stimulusbillede med
31
BL-layout end med SL-layout.P=0,0103. Nulhypotesen kan forkastes.
Konklusion: TP bruger mere tid på de illustrative elementer i et stimulusbillede medBL-layout end på et med SL-layout.
T-test 7Hypotese: TP bruger totalt mere tid på et stimulusbillede med BL-layout end på etmed SL-layout.P = 0,4460. Nulhypotesen kan ikke forkastes.
Konklusion: TP bruger generelt ikke mere tid på et stimulusbillede med BL-layoutend på et med SL-layout.
4 DISKUSSIONIfølge Paivio (Paivio 1978) er bevidstheden multimodal og indeholder to principi-elle systemer. Det ene processerer ikke-verbal information. Systemet kaldes billed-systemet og har til opgave at fortolke scener og genere visuelle forestillinger. Detandet processerer sproglig information. Det kaldes sprog-systemet og har til opga-ve at fortolke verbal information og generere tale.
De to systemer processerer to typer af information: kommunikativ informationog omverdens information. Systemerne er væsensforskellige (orthogonale) og kanformodentlig fungere uafhængigt af hinanden, men er på et vist niveau forbund-ne.
De to systemer kan på baggrund af Charles S. Peirce’s tegndefinitioner (Liszca,1996) formidles ved hjælp af visuelle tegn, hvis karakter gør det muligt at benyttedem systemspecifikt:
· Sprogsystemet kan formidles ved hjælp af kompositioner af visuellesymbolske tegn (skrift i forskellig udformning).· Billedsystemet kan formidles ved hjælp af kompositioner af visuelleikoniske tegn (malerier, fotografier etc).
I de fleste af de daglige produkter, der har til formål at kommunikere er elementerfra de to tegnsystemer sat sammen i kompositioner, der forudsætter at de to syste-mer er indbyrdes forbundne (aviser, reklamer, magasiner, skolebøger etc. indehol-der både skrift ogbillede, kompositioner – f.eks. artikler – der indeholder bådesymbolske og ikoniske tegn).
Den foreslåede model for indholdsforståelse i starten af denne rapport (fig. 2)bygger på den hypotese at det er muligt at opfatte meningen med tilstedeværelsenaf tegnelementer fra de to systemer i samme visuelle komposition. Og dermed, atman ikke har forstået meningen som helhed, før man har opfattet betydningen afde to typer tegns tilstedeværelse i samme komposition.Resultatet af forsøget kan beskrives som følger:
32
4.1 Om forudsigelighed
95% af svarene var som forudsagt på de objektive/kategoriserende opgaver (98% i spaltelayoutet, 92% i billedtekstlayoutet)
77% af svarene var som forudsagt på de subjektive/fænomeniserende opgave (80% i SL-layout, 75% i BL-layout)
Vi formodede, at TP ville svare på en bestemt måde indenfor de forskellige stimu-luskategorier. I de tilfælde, hvor vi forudsatte, at den indholdsmæssige relationvar indlysende og dermed objektivt kategoriserende, var de svar vi fik i gennem-snit på 95% som vi havde forventet.
Udformningen af stimulusbillederne i to forskellige layouts havde sandsynlig-vis indvirkning på svarene, da der var flere tilfælde af uenighed mellem os og TP ibilledtekstlayoutet (92% mod 98% i SL).
I de tilfælde, hvor vi forudsatte at den indholdsmæssige relation var mindre indly-sende og dermed subjektivt fænomeniserende, fik vi svar som i højere grad varanderledes end forventet. 77% af svarene i denne kategori var som forventet.Udformningen af stimulusbillederne havde sandsynligvis også her indflydelse påresultatet, da der var flere tilfælde af ueninghed mellem os og TP i billedtekstlay-outet (75% mod 80% i SL).
Resultatet af den subjektivt fænomeniserende del af forsøget var som manmåtte forvente. Der var en lavere grad af enighed mellem os og TP, da opgaven jonetop lød på at TP skulle bestemme indholdsrelationernes subjektive karakter.
PARENTES: Vi stillede TP yderligere to spørgsmål. Det ene spørgsmål krævede atTP tog stilling til om relationen var forkert, altså forskellig fra objektiv og sub-jektiv. Det andet at TP tog stilling til om relationen var følelsesladet.
Disse to sæt besvarelser er ikke behandlet statistisk, da de ikke indgik i argu-mentationen i forbindelse med undersøgelsens hypotese. Men det skal nævnes atsvarenigheden ved spøgsmålet om relationens “forkerthed” var større end vedspørgsmålet om relationens subjektivitet, men lavere end ved spørgsmålet omrelationen følelsesladethed.
Fig. 22
TV: objektivt spørgsmålTH: subjektivt spørgsmål
98 %
80 %
TV: objektivt spørgsmålTH: subjektivt spørgsmål
92 %
75 %
33
Vi nævner det formodede resultat her, da det tyder på, at vi kan være enigemed TP om, at der er forskel på objektivt, subjektivt og forkert. “Det forkerte” erdermed en kategori, hvor læseren oplever at de visuelle elementer ikke giver kom-munikativ mening.
At bevidstheden indeholder kategorien “det forkerte” gør det muligt for læse-ren at opdage, at et ord i en tekst er stavet forkert. Kategorien gør det muligt forlæseren at afgøre, at et ord i en tekst – f.eks. ordet LÆST – er forkert og at det forat give kommunikativ mening, burde have været ordet LÆRT, der var brugt.
Endelig er enigheden mellem os og TP ikke så stor når det gælder den følelses-ladede relation. Det kan hænge sammen med at den objektive relation kan skabeen stor følelsesmæssig reaktion hos TP der derfor vælger den, som den mest følel-sesladede. PARENTES SLUT
4.2 Om generelt tidsforbrug
Layoutformen havde ikke signifikant indflydelse på tidsforbrugetunder løsningen af opgaverne.
TP brugte omkring 50% længere tid på de subjektive/fænomeniserende opgaver end på de objektive/kategoriserende.
Opdelingen af stimulusbillederne i to forskellige layouts havde ingen signifikantindflydelse på den tid som TP brugte på at løse opgaverne. Men der var markantforskel på den mængde tid som TP brugte på at løse den objektive opgave i for-hold til den subjektive. Man må formode, at den ekstra tid bruges til at fortolkerelationens indholdsmæssige logik og at det større tidsforbrug kan danne bag-grund for en hypotese om at tiden går med sprogligt reviderende virksomhed.Altså at TP overvejer muligheden af om man kan bruge den slags sætningermeningsfuldt i forbindelse med den slags fotografiske motiver. Hvis TP gør det,bliver resultatet at der opstår en slags enighed mellem TP og os, en enighed derkan ses af den relativt højere andel af svarene, som TP-gruppen var enige med osom.
Intentionen med den subjektive kategori af spørgsmål var at afprøve om rela-tionen havde fænomeniserende karakter. Det er der belæg for i følgende argumen-tation: da den indholdsmæssige relation mellem de fotografiske motiver og tek-sten ikke kan forstås meningsfuldt som objektiv, må den kunne forstås som sub-jektiv. Som subjektiv forstås den som at sprogets indhold bliver gjort tilgængeligtfor bevidstheden som fænomen, i betydningen: noget der kan ses. Dermed skerder en forbindelse mellem sprog-systemet og billed-systemet, der går den andenvej end tilfældet var i forbindelse med de objektiv/kategoriserende spørgsmål.Endvidere kan man formode, at den fænomeniserende relation er synonym medden eksplicitte relation mellem sprog og fotografi som blev omtalt i det tyske for-søg (Radach et. al 2003).
34
4.3 Om virkningen af de to layouttyper
I spaltelayoutet brugte TP signifikant mere tid på svareneog dermed mindre tid på fotografierne.
Men i billedtekstlayoutet brugte TP signifikant mere tid på fotografierneog dermed mindre tid på svarene.
Udformningen af stimulusbillederne i to forskellige layouts, hvor det ene, spalte-layoutet, var sædvanligt i sin opbygning og det andet, billedtekstlayoutet, varusædvanligt i sin opbygning ved at gentage det samme fotografiske motiv tregange i samme størrelse. Det kognitive indhold af de to stimulusbilleder var detsamme, men i kraft af det gentagne foto og den deraf følgende visuelle struktur,blev de oplevet som meget forskellige. TP’s øjenbevægelsesmønstre var selvfølge-ligt helt forskellige på de to stimuli, men det var signifikant, at den tid som TPbrugte på henholdsvis svarmulighederne og fotografierne i det ene layout var enanden end den TP brugte i det andet.
I SL-layoutet brugte TP mest tid på svarmulighederne og mindre på fotografiet.I BL-layoutet brugte TP mest tid på fotografierne og mindre tid på svarmulighe-derne. Den store forskel på de to resultater understreges af, at tiden for at løseopgaverne i de to layouts ikke varierer, og at vores formodning om at TP’s svarheller ikke varierer. Tidsforbrug og svarenighed er åbenbart uafhængig af layoutetda opgaven løses med samme resultat i begge layouts. Den store forskel ligger i, atTP’s øjenbevægelsesstrategi er forskellig i de to layouts.
Dette forsøg indeholder ikke elementer, der gør det muligt at påvise årsagen tilde øjenbevægelsesstrategier, som TP benytter sig af i forhold til de to layouts. Forat påvise dette, må man skaffe flere data ved hjælp af yderligere forsøg, f.eks for-søg der indeholder både eyetrackregistrering og den samtidige måling af blodgen-nemstrømning i hjernens forskellige områder. Registreringen af de områder afhjernen der er aktive i relation til øjenbevægelsesmønstrets forskellige faser kunnegive en række data , der tilsammen kunne fortolkes som TP’s sæt af kognitive ope-rationer i forbindelse med løsningen af den kognitive opgave som forsøget stillerTP overfor.
Ved at gennemføre nogle forsøg med forskellige layoutvariationer, kan manundersøge om forholdene er bestemt af stimulusbilledernes layout og at det er dengeografiske placering af elementerne, der bestemmer øjenbevægelsesmønstret.
Man kan også opstille følgende hypotese: Den stillede opgave kræver en vistid for at blive løst. I den tid der går med at overveje den rigtige løsning, bevægerTP øjnene mellem stimulusbilledets elementer i et individuelt mønster af saccaderog fixationer. Øjenbevægelsesmønstret er et indeksikalsk tegn, der kan fortolkessom TPs strategi med hensyn til at hente foveal information ind i den kognitiveproces.
I det ene SL-layout bruger TP mest tid på de symbolske, verbale elementer, ogkan siges at have flest overvejelser af kategorisk art.
I det andet layout – billedtekstlayoutet – bruger TP mest tid på de ikoniske,fotografiske elemenenter og kan siges at have flest overvejelser af fænomenisk art.
35
4.4 Om brug af layouts med 1 henholdsvis 3 fotos
Når opgaven var objektiv/kategoriserende fandt vi ikke signifikans for at TP så længere tid på de tre fotografier i billedtekstlayoutet end på det ene i spaltelayoutet.
Når opgaven var subjektiv/fænomeniserende fandt vi sigfikans for at TPså i længere tid på de tre fotografier i billedtekstlayoutet end på det ene fotografi i spaltelayoutet.
I SL-layoutet brugte TP ikke signifikant længere tid på det ene fotografi under løsning af den subjektive/fænomeniserende opgave end under løs-ningen af den objektive/kategoriserende.
Men i BL-layoutet brugte TP signifikant længere tid på de tre fotografierunder løsning af den subjektive/fænomeniserende opgave end på den objektive/kategoriserende.
Fig. 19 viser princippet i, at det især er opgavens karakter der bestemmer i hvilketomfang TP bruger tid på at at læse fotografierne som en del af den kognitive pro-ces. Den subjektive opgave i BL-layoutet ser ud til at aktivere læserens ikoniskeopmærksomhed.
Fig. 23 viser øjenkontakten med illustratio-nerne under løsning af opgaverne: · tidsforbruget er ens i de objektive opgaver· tidsforbruget er større i de subjektive opga-ver, men ikke ens· tidsforbruget er størst i den subjektive opgave med BL-layout
(SP-L = SP-layout, BT-L = BL-layout, T =Tidsforbrug, OBJ = Objektiv opgave, SUB =Subjektiv opgave, 1, 2, 4 = Tidsenheder)
Resultatet forstås som en variation af “The Picture Superiority Effect” som beskre-vet af Paivio (Paivio 1968) og andre steder og som består i, at ikoniske elementer –billeder – huskes bedre og længere end symbolske elementer – ord.
Ydermere har The Picture Superiority Effect den virkning at indholdet af sym-bolske tegn i form af ord huskes bedre, hvis de præsenteres sammen med et iko-nisk tegn i form af et billede med et relevant indhold end hvis de præsenteresalene.
SP-L BT-L
OBJ
SUB
T1 T1
T2 T4
36
Hvis billedforrangen er så stærk kan præsentationen af de tre ens versioner isamme stimulusbillede derfor formå TP til at analysere billederne i længere tid.
4.5 Konklusion
Resultatet af forsøget viser at det er rimeligt at arbejde med to opgavekarakterer:en objektiv og en subjektiv og at de svarer nøje til den tidligere nævnte (side 5)karakteristik af elementerne i annoncer som værende i et eksplicit og implicit for-hold til hinanden.
Forskellen på de to opgaver er at den ene kræver et større kognitivt arbejde afTP for at give resultat og at TP derfor bruger mere tid på de subjektive opgaverend på de objektive.
Under løsningen af opgaverne udviser TP et øjenbevægelsesmønster der for-modentlig har til formål at hente foveal information fra omverdenen/stimulusbil-ledet ind i den kognitive proce, en adfærd der kan forklares med begrebet foran-kring (Barthes 1964).
Når opgaven er subjektiv viser forsøget at en forøgelse af det ikoniske indholdi stimulusbillederne fører til at TP bruger mere af sin tid på at aflæse de ikoniskeelementer end på de verbale. Selvom indholdet i de ikoniske elementer er nøjag-tigt det samme.
Resultaterne kan fører til, at man arbejder med forskellige typer meddelelelser, derbestemmes af den læseradfærd man ønsker læseren skal udvise:
A) hvis læsertiden skal være kort og udfaldet som forudset skal relationen mel-lem indholdet i illustrationer og tekst være af objektiv/kategoriserende karakter.
B) hvis læsertiden skal være lang og udfaldet i mindre grad som forudset skalrelationen mellem indholdet i illustrationer og tekst være af subjektiv/fænomeni-serende karakter.
C) hvis opgaven skal være af samme karakter som B) men at læseren skalbruge mere tid på at aflæse illustrationer end tekst skal layoutet gøre den proces-læseradfærd mulig ved f.eks. at gentage billeder i den samme komposition.
37
5 LITTERATUR
Barthes, Roland: Billedets Retorik, i Visuel Kommunikation, Medusa, Kbh. 1964, 1980Elbro, Carsten: Læsning og læseundervisning, Gyldendal, København 2003Holsanova, Jana:, Picture Viewing and Picture Description, Lund University
Cognitive Studies, Lund 2001Holmqvist, Kenneth, Constanze Wartenberg: Daily Newspaper Layout - designers
predictions of readers’ visual behavior - a case study, Lunds Universitet, 2003Hannus, Mattis, J. Hoyna: Utilization of Illustrations during Learning of Science
Textbook Passages among Low- and High-Ability Children, i Contemporary Educational Psychology 24, 95-123 (1999)
Hagen, Margaret A.: An Outline of an Investigation into the Special Character of Pictures, i Modes of Perceiving and Processing Information, Lawrence Erlbaum Associates, Publishers, 1978
Lakoff, George and Mark Johnson: Philosophy in The Flesh, Basic Books, A menber of the Perseus Books Group, New York 1999
Liszca, James Jakób: A General Introduction to the Semeiotic of Charles Saunders Peirce,Indiana University Press, Bloomington and Indianapolis 1996
Paivio, Allan: A Dual Coding Approach to Perception and Cognition, i Modes of Perceiving and Processing Information,Lawrence Erlbaum Associates, Publishers, 1978
Radach, Ralph: Eye Movements in The Processing of Print Advertisements, i The Mind’s Eye: Cognitive and Applied Aspects of Eye Movements Research,Elsevier Science BV 2003
Rayner, Keith et al.: Integrating Text and Pictoriel Information: Eye Movements WhenLooking at Print Advertisements, i Journal of Experimental Psychology: Applied 2001, Vol. 7. No. 3, 219-226
Rayner, Keith: Eye Movements In Reading and >Information Processing, ?Richards, I. A.: The Philosophy of Rhetorics, Oxford University Press, London 1936Rosenblatt, Louise: The Reader, the Text, the Poem, Southern Illinois University
Press, 1978Yarbus, A. L.: Eye Movements and Vision, Plenum Press, New York 1967
DSDE, Den Store Danske Enceclopædi, Gyldendal, København 1994
38
