56
Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter Datalingvistisk metod- och fördjupningskurs HT-2005 Staffan Larsson

Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter

Embed Size (px)

DESCRIPTION

Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter. Datalingvistisk metod- och fördjupningskurs HT-2005 Staffan Larsson. BÖRJA INTE MED FORMALIA. BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA - PowerPoint PPT Presentation

Citation preview

Page 1: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Hur göra artikelkritik Gemensam diskussion om artikel

Relevanta tidskrifter

Datalingvistisk metod- och fördjupningskurs HT-2005

Staffan Larsson

Page 2: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!!

Page 3: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Artikelkritik

Page 4: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Kritisk granskning av artikel Först: presentera innehållet

neutralt Sen: diskutera problem

De viktigaste först! Och möjligen: föreslå framtida

utveckling

Bedömningskriterier Kan användas för att hitta problem Bör ej ligga till grund för den ordning i

vilken problemen presenteras

Page 5: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterier Innehållsrelaterade

Täckning Teori Metod Data Argumentation Originalitet

Formella Disposition Språk och stil Formalia Muntlig presentation

Page 6: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Täckning Inga väsentliga luckor i framställningen God täckning samt explicit och motiverad

avgränsning av: problemområde beaktade teorier och metoder relevant litteratur

(säg det som behöver sägas och varför inget mer behöver sägas)

Page 7: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Teori Visa förtrogenhet med teoribildningen

inom det valda området Utnyttjande av relevanta referenser Teorianknytning:

Koppla den egna undersökningen till teoretiska frågeställningar

Page 8: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Metod Lämpliga metoder för uppgiften har

använts Redovisningen av metod följer

vetenskaplig standard T ex tillräckligt detaljerad för att t ex

möjliggöra replikering av experiment Visa förståelse för kopplingen mellan

problemställning och vald metod

Page 9: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Data Relevant empiriskt material redovisas på ett

adekvat sätt Möjliggöra för läsaren att bedöma materialets

roll i argumentationen

Databehandling Urval Insamling Systematisering Klassifikation

Page 10: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Argumentation Följs frågeställningarna upp?

knyta ihop säcken Hur väl är uppsatsens slutsatser underbyggda?

D v s om läsaren kan se hur slutsatserna följer ur teori och empiri

Argumentationen bör vara ”objektiv”: ej stödja sig på tyckanden utan på teoretiska

resonemang och empriska fakta Balanserad: belyser olika sidor av problemställningen, ej

ensidigt argumenterande som i t ex politisk text

Page 11: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Originalitet Ej enbart referat av andras forskning Egna bidrag av ngt slag

Data ur egen undersökning Egna tolkningar av tidigare resultat …

Det ska framgå vad som är ditt egna bidrag och vad som hämtats ur litteraturen

Kvantitet & kvalitet av egna bidraget

Page 12: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Disposition / Organisation Klar övergripande struktur

Ordning på kapitel, sektioner etc. Formen ska vara anpassad efter innehållet Olika sorters uppsats ställer olika formella

krav Några generella kriterier:

Varje avsnitt ska ha en funktion i helheten Det ska vara lätt att orientera sig i texten Bestämmelser angående formalia följs

Page 13: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Språk och stil Uppsatsen följer språkligt och

stilmässigt vetenskaplig standard Grammatik, stavning Välformulerat, elegant

Läs skönlitteratur, poesi, dramatik för att göra din prosa mer njutbar

Page 14: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Bedömningskriterie:

Formalia De formella reglerna följs

Rubricering Definitioner Referenser Citat Bilder Siffror

Page 15: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Formalia: Definitioner Undvik avvikande bruk av gängse

terminologi Om din användning avviker, eller om du

introducerar en ny term, ge en explicit semspec(1) En semspec av ett ord X är en explicit

definition av ordets betydelse, som skrivs utskilt från den löpande texten.

Page 16: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Formalia: Citat Används då man funnit en formulering som man inte

kan förbättra genom en parafras Väsentlig är dock att inte överutnyttja möjligheten att citera

Måste dokumenteras: referens, sida Måste vara exakt som i originaltexten; ev. utelämnat

material måste signaleras (…)

Korta citat skrivs ”i löpande text” (Ume 2001:4) och inom citationstecken.

Längre citat i eget stycke med indrag, utan citattecken. (Ume 2001:4)

Page 17: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!!

Page 18: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Gemensam diskussion om artikel

Page 19: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Artikelns innehåll ”Self-organising vocabularies” Introduction The self-organising kernel Spatio-temporal dynamics (References)

Page 20: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Introduction Linguistics should explain

origin of language language learning language evolution linguistic diversity

One previous approach: Artificial Life but this approach has some problems

Proposed new approach: Self-organisation

Page 21: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Self-organisation occurs in complex dynamical systems... ...which are coupled in a particular way Examples: termite nest, ant paths

Focus of the present paper formation of vocabularies, i.e. couplings

between words and meanings

Page 22: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Assumptions A vocabulary is a self-organising phenomenon Each agent creates his own vocabulary in a

random fashion Agents are coupled

Must share vocabularies to be able to communicate and cooperate

Agents therefore change their own vocabularies untul it conforms to a common vocabulary

Thesis: under certain conditions, a coherent (but still evolving) vocabulary emerges

Page 23: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Structure of paper First section: Introduce kernel

mechanism responsible for self-organisation

Second section: Introduce spatiotemporal dynamics to deal with combinatorial explosions

Third section: Results of some simulation experiments

Page 24: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

2 The self-organising kernel Some formalism is introduced

A: a group of agents of size #A Each agent aA has a set of meanings MA and a set of

words WA

What can happen? An agent can randomly associate a word wWA to a

meaning mMA Formally, a: w=m This is later referred to as a coupling

Agents can use w to express m, and interprets w to mean m

Each agent can use a word only once

Page 25: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

cw,m is the communicative success of coupling m and w “the percentage of agents in the total group that

use w to mean m” cw,m = (1-K)K/N where

K is the number of agents that use w to mean m N is #A When all agents use the same coupling, the

communicative success is 1.0 and there should be no more changes

Page 26: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Depending on the success c of a coupling, it is either maintained or a random new coupling is created this decision is based on a sigmoid function, so

the chance of change decreases quickly as c increases

This results in a combinatorial implosion A rapid evolution towards coherence Self-organisation

This model also supports language learning

Page 27: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Problem: The simple setup does not scale up

Three axes of scaling: number of agents number of meanings number of words

Scaling up along these decreases the probability that several agents will agree on the same word

Page 28: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Spatio-temporal dynamics In normal circumstances...

people have conversations in specific contexts

involving a limited number of words and meanings

A global language develops from these conversations

In reality, not all agents know all words and all meanings

Page 29: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

A conversation is an event involving a set of agents A

selected randomly from the complete set of agents

a set of meanings M selected from the set of meanings of each of the

agents

and a set of words W which the agents have coupled with the meanings in

the selected set

Page 30: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

ck is the communicative success of a coupling k of m to w for a given conversation “the percentage of agents in involved in the

conversation that use w to mean m”

ck = (1-K)K/N where K is the number of agents that use w to mean m N is the number of agents in the conversation

Page 31: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Given an agent a and a meaning m, three cases are possible: a has a coupling k connecting w to m

k is changed based on ck, as before (either maintained or replaced)

a has no coupling k for m a selects a word w from W och kopplar w till m. If all

words are being used, a new word can be created

a did not have the meaning m a adopts m and chooses a word, as above

Page 32: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter
Page 33: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter
Page 34: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

(Simulated conversations, p 6-8) Distinct groups of agents can reach

local coherence for different associations

Global coherence requires a “well-stirred” community

Page 35: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Kritik?

Page 36: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

saknas definitioner vad är en agent?

definition saknas vad är AL?

mer bakgrund formel för c?? vad är N? vad är sigmoid function

metod hur sattes experimenten upp? svårt återskapa slumpa fram nya betydelser

avgränsning & antaganden saknar bakgrund om komplexa system alla agenter likadana? mkt kortfattat om litteratur

täckning hur är situationsspecifik vokabulär kopplat till t ex nationella språk? ignorerar språkreglering spelteori

argumentation: evolverar språket alltid, eller blir det stabilt

disposition slutsats saknas

knyter ej ihop utlovad slutsektion saknas

Page 37: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

[formalia] figur 4 saknas litt.referens saknas layout: figurtext värden på c? vad är y-axeln? inkonsekvens om fig 2

Page 38: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Kritik Uppsatsen är en aning osammanhängande, speciellt

mot slutet (Argumentation / Disposition) Hur följer t ex slutsatserna längst ner s.8 från de

simulerade konversationerna? Målsättningarna följs inte upp explicit

(Argumentation / Disposition) Linguistics should explain

origin of language language learning language evolution linguistic diversity

Page 39: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Är antagandena verkligen rimliga? (Argumentation) Kunde motiveras och diskuteras mer

Den centrala formeln förklaras inte ordentligt – varför inte bara N/K? (Argumentation)

Dolt antagande: det finns ”färdiga” betydelser oberoende av språket Dock mycket vanligt inom formell lingvistik

Page 40: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Nämner inte icke-formella / icke-komputationella studier av de nämnda områdena (Täckning, Teori)

Ngt oklart vad nackdelarna med Artificial Life egentligen är (Argumentation)

Page 41: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Självmotsägelse: hur kan en stabil vokabulär fortsätta utvecklas, om det inte blir några fler förändringar när c = 1.0? (Argumentation)

Inkonsekvens i formler för c (Argumenation, Formalia)

Vad är en ”sigmoid function”? Exakt vilken funktion har använts? (Metod)

Page 42: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

(a sigmoid function)

Page 43: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Formalia Inkonsekvent notation; k vs. w, m för

“couplings” En utlovad resultatdel finns inte som

egen rubruk Standardbeteckning för aritet: |A| N förklaras inte explicit saknad referens s.4

Page 44: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Lite mer om artikelkritik (muntlig och skriftlig) Börja med de viktigaste och mest

övergripande frågorna! Spara detaljer till sist Formalia är jätteointressant för nästan alla

nästan alltid tas bara med om det är absolut nödvändigt t ex om formaliaproblem leder till att man

verkligen inte förstår

Page 45: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Vad är viktigt egentligen? Vad försöker artikeln göra?

T ex argumentera för en tes, redovisa och argumentera för en implementation, redovisa experimentella resultat

Är det tydligt vad uppsatsen försöker göra och hur den gör det? Om inte, vad är oklart?

Lyckas den? Om inte, varför? Vad skulle krävas för att den skulle lyckas?

Även om den lyckas, vad kunde ha gjorts så att den hade lyckats ännu bättre?

Finns det t ex något som gör artikeln mer svårläst än nödvändigt? ... ... ... (Finns det övrigra formella fel?)

Page 46: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!! (om det går att undvika)

Page 47: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Konstruktiv kritik (speciellt i samband med muntlig opposition) inte “Detta är ett asdumt sätt att göra det

här experimentet” utan “Varför gjorde du experimentet på

det här sättet?” inte “Det du skriver är obegripligt och

förvirrat” utan “Vad menar du när du säger att...”

Page 48: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Relevanta tidskrifter

Page 49: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

WWW allmänt Google

dock: uppsatser på nätet är inte alltid ”färdiga”

CiteSeer Amazon UB

Page 50: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Websajter om datlingvistik Language Technology World ELSNET: European Network of

Excellence in Human Language Technologies

Språkteknologi.se (SLATE) Survey of the state of the art in

Human Language Technology (GU Dialoglab)

Page 51: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Tidskrifter Natural Language Engineering Computational Linguistics ...

Page 52: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Proceedings från konferenser och liknande ACL SigDial SemDial IJCAI ESSLLI ...

Page 53: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter
Page 54: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Artikelpresentation - upplägg presentera innehållet (ca 5 min) koncentrera dig på en särskild punkt

eller detalj i artikeln (ca 5 min) testa gärna på egna (svenska) exempel definiera problem

diskutera problem (ca 5 min) förklara varför något inte fungerade utvärdera pappret

Page 55: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Artikelpresentation - metodkursen 15 min enskilt eller i grupp leta upp en artikel gärna med

anknytning till examensarbete bra tillfälle att testa olika ämnen

och tillämpningar

Page 56: Hur göra artikelkritik   Gemensam diskussion om artikel Relevanta tidskrifter

Artikelpresentation fortst. Ha en idé

lättare att välja lättare att granska artikeln

Ställ frågor Vad är det för teknik/metod du

behöver ta reda mer om? Hur skulle kunna samma

algoritm/metod användas på dina data?