Upload
kerry-chase
View
31
Download
1
Embed Size (px)
DESCRIPTION
Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter. Datalingvistisk metod- och fördjupningskurs HT-2005 Staffan Larsson. BÖRJA INTE MED FORMALIA. BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA - PowerPoint PPT Presentation
Citation preview
Hur göra artikelkritik Gemensam diskussion om artikel
Relevanta tidskrifter
Datalingvistisk metod- och fördjupningskurs HT-2005
Staffan Larsson
BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!!
Artikelkritik
Kritisk granskning av artikel Först: presentera innehållet
neutralt Sen: diskutera problem
De viktigaste först! Och möjligen: föreslå framtida
utveckling
Bedömningskriterier Kan användas för att hitta problem Bör ej ligga till grund för den ordning i
vilken problemen presenteras
Bedömningskriterier Innehållsrelaterade
Täckning Teori Metod Data Argumentation Originalitet
Formella Disposition Språk och stil Formalia Muntlig presentation
Bedömningskriterie:
Täckning Inga väsentliga luckor i framställningen God täckning samt explicit och motiverad
avgränsning av: problemområde beaktade teorier och metoder relevant litteratur
(säg det som behöver sägas och varför inget mer behöver sägas)
Bedömningskriterie:
Teori Visa förtrogenhet med teoribildningen
inom det valda området Utnyttjande av relevanta referenser Teorianknytning:
Koppla den egna undersökningen till teoretiska frågeställningar
Bedömningskriterie:
Metod Lämpliga metoder för uppgiften har
använts Redovisningen av metod följer
vetenskaplig standard T ex tillräckligt detaljerad för att t ex
möjliggöra replikering av experiment Visa förståelse för kopplingen mellan
problemställning och vald metod
Bedömningskriterie:
Data Relevant empiriskt material redovisas på ett
adekvat sätt Möjliggöra för läsaren att bedöma materialets
roll i argumentationen
Databehandling Urval Insamling Systematisering Klassifikation
Bedömningskriterie:
Argumentation Följs frågeställningarna upp?
knyta ihop säcken Hur väl är uppsatsens slutsatser underbyggda?
D v s om läsaren kan se hur slutsatserna följer ur teori och empiri
Argumentationen bör vara ”objektiv”: ej stödja sig på tyckanden utan på teoretiska
resonemang och empriska fakta Balanserad: belyser olika sidor av problemställningen, ej
ensidigt argumenterande som i t ex politisk text
Bedömningskriterie:
Originalitet Ej enbart referat av andras forskning Egna bidrag av ngt slag
Data ur egen undersökning Egna tolkningar av tidigare resultat …
Det ska framgå vad som är ditt egna bidrag och vad som hämtats ur litteraturen
Kvantitet & kvalitet av egna bidraget
Bedömningskriterie:
Disposition / Organisation Klar övergripande struktur
Ordning på kapitel, sektioner etc. Formen ska vara anpassad efter innehållet Olika sorters uppsats ställer olika formella
krav Några generella kriterier:
Varje avsnitt ska ha en funktion i helheten Det ska vara lätt att orientera sig i texten Bestämmelser angående formalia följs
Bedömningskriterie:
Språk och stil Uppsatsen följer språkligt och
stilmässigt vetenskaplig standard Grammatik, stavning Välformulerat, elegant
Läs skönlitteratur, poesi, dramatik för att göra din prosa mer njutbar
Bedömningskriterie:
Formalia De formella reglerna följs
Rubricering Definitioner Referenser Citat Bilder Siffror
Formalia: Definitioner Undvik avvikande bruk av gängse
terminologi Om din användning avviker, eller om du
introducerar en ny term, ge en explicit semspec(1) En semspec av ett ord X är en explicit
definition av ordets betydelse, som skrivs utskilt från den löpande texten.
Formalia: Citat Används då man funnit en formulering som man inte
kan förbättra genom en parafras Väsentlig är dock att inte överutnyttja möjligheten att citera
Måste dokumenteras: referens, sida Måste vara exakt som i originaltexten; ev. utelämnat
material måste signaleras (…)
Korta citat skrivs ”i löpande text” (Ume 2001:4) och inom citationstecken.
Längre citat i eget stycke med indrag, utan citattecken. (Ume 2001:4)
BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!!
Gemensam diskussion om artikel
Artikelns innehåll ”Self-organising vocabularies” Introduction The self-organising kernel Spatio-temporal dynamics (References)
Introduction Linguistics should explain
origin of language language learning language evolution linguistic diversity
One previous approach: Artificial Life but this approach has some problems
Proposed new approach: Self-organisation
Self-organisation occurs in complex dynamical systems... ...which are coupled in a particular way Examples: termite nest, ant paths
Focus of the present paper formation of vocabularies, i.e. couplings
between words and meanings
Assumptions A vocabulary is a self-organising phenomenon Each agent creates his own vocabulary in a
random fashion Agents are coupled
Must share vocabularies to be able to communicate and cooperate
Agents therefore change their own vocabularies untul it conforms to a common vocabulary
Thesis: under certain conditions, a coherent (but still evolving) vocabulary emerges
Structure of paper First section: Introduce kernel
mechanism responsible for self-organisation
Second section: Introduce spatiotemporal dynamics to deal with combinatorial explosions
Third section: Results of some simulation experiments
2 The self-organising kernel Some formalism is introduced
A: a group of agents of size #A Each agent aA has a set of meanings MA and a set of
words WA
What can happen? An agent can randomly associate a word wWA to a
meaning mMA Formally, a: w=m This is later referred to as a coupling
Agents can use w to express m, and interprets w to mean m
Each agent can use a word only once
cw,m is the communicative success of coupling m and w “the percentage of agents in the total group that
use w to mean m” cw,m = (1-K)K/N where
K is the number of agents that use w to mean m N is #A When all agents use the same coupling, the
communicative success is 1.0 and there should be no more changes
Depending on the success c of a coupling, it is either maintained or a random new coupling is created this decision is based on a sigmoid function, so
the chance of change decreases quickly as c increases
This results in a combinatorial implosion A rapid evolution towards coherence Self-organisation
This model also supports language learning
Problem: The simple setup does not scale up
Three axes of scaling: number of agents number of meanings number of words
Scaling up along these decreases the probability that several agents will agree on the same word
Spatio-temporal dynamics In normal circumstances...
people have conversations in specific contexts
involving a limited number of words and meanings
A global language develops from these conversations
In reality, not all agents know all words and all meanings
A conversation is an event involving a set of agents A
selected randomly from the complete set of agents
a set of meanings M selected from the set of meanings of each of the
agents
and a set of words W which the agents have coupled with the meanings in
the selected set
ck is the communicative success of a coupling k of m to w for a given conversation “the percentage of agents in involved in the
conversation that use w to mean m”
ck = (1-K)K/N where K is the number of agents that use w to mean m N is the number of agents in the conversation
Given an agent a and a meaning m, three cases are possible: a has a coupling k connecting w to m
k is changed based on ck, as before (either maintained or replaced)
a has no coupling k for m a selects a word w from W och kopplar w till m. If all
words are being used, a new word can be created
a did not have the meaning m a adopts m and chooses a word, as above
(Simulated conversations, p 6-8) Distinct groups of agents can reach
local coherence for different associations
Global coherence requires a “well-stirred” community
Kritik?
saknas definitioner vad är en agent?
definition saknas vad är AL?
mer bakgrund formel för c?? vad är N? vad är sigmoid function
metod hur sattes experimenten upp? svårt återskapa slumpa fram nya betydelser
avgränsning & antaganden saknar bakgrund om komplexa system alla agenter likadana? mkt kortfattat om litteratur
täckning hur är situationsspecifik vokabulär kopplat till t ex nationella språk? ignorerar språkreglering spelteori
argumentation: evolverar språket alltid, eller blir det stabilt
disposition slutsats saknas
knyter ej ihop utlovad slutsektion saknas
[formalia] figur 4 saknas litt.referens saknas layout: figurtext värden på c? vad är y-axeln? inkonsekvens om fig 2
Kritik Uppsatsen är en aning osammanhängande, speciellt
mot slutet (Argumentation / Disposition) Hur följer t ex slutsatserna längst ner s.8 från de
simulerade konversationerna? Målsättningarna följs inte upp explicit
(Argumentation / Disposition) Linguistics should explain
origin of language language learning language evolution linguistic diversity
Är antagandena verkligen rimliga? (Argumentation) Kunde motiveras och diskuteras mer
Den centrala formeln förklaras inte ordentligt – varför inte bara N/K? (Argumentation)
Dolt antagande: det finns ”färdiga” betydelser oberoende av språket Dock mycket vanligt inom formell lingvistik
Nämner inte icke-formella / icke-komputationella studier av de nämnda områdena (Täckning, Teori)
Ngt oklart vad nackdelarna med Artificial Life egentligen är (Argumentation)
Självmotsägelse: hur kan en stabil vokabulär fortsätta utvecklas, om det inte blir några fler förändringar när c = 1.0? (Argumentation)
Inkonsekvens i formler för c (Argumenation, Formalia)
Vad är en ”sigmoid function”? Exakt vilken funktion har använts? (Metod)
(a sigmoid function)
Formalia Inkonsekvent notation; k vs. w, m för
“couplings” En utlovad resultatdel finns inte som
egen rubruk Standardbeteckning för aritet: |A| N förklaras inte explicit saknad referens s.4
Lite mer om artikelkritik (muntlig och skriftlig) Börja med de viktigaste och mest
övergripande frågorna! Spara detaljer till sist Formalia är jätteointressant för nästan alla
nästan alltid tas bara med om det är absolut nödvändigt t ex om formaliaproblem leder till att man
verkligen inte förstår
Vad är viktigt egentligen? Vad försöker artikeln göra?
T ex argumentera för en tes, redovisa och argumentera för en implementation, redovisa experimentella resultat
Är det tydligt vad uppsatsen försöker göra och hur den gör det? Om inte, vad är oklart?
Lyckas den? Om inte, varför? Vad skulle krävas för att den skulle lyckas?
Även om den lyckas, vad kunde ha gjorts så att den hade lyckats ännu bättre?
Finns det t ex något som gör artikeln mer svårläst än nödvändigt? ... ... ... (Finns det övrigra formella fel?)
BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!! (om det går att undvika)
Konstruktiv kritik (speciellt i samband med muntlig opposition) inte “Detta är ett asdumt sätt att göra det
här experimentet” utan “Varför gjorde du experimentet på
det här sättet?” inte “Det du skriver är obegripligt och
förvirrat” utan “Vad menar du när du säger att...”
Relevanta tidskrifter
WWW allmänt Google
dock: uppsatser på nätet är inte alltid ”färdiga”
CiteSeer Amazon UB
Websajter om datlingvistik Language Technology World ELSNET: European Network of
Excellence in Human Language Technologies
Språkteknologi.se (SLATE) Survey of the state of the art in
Human Language Technology (GU Dialoglab)
Tidskrifter Natural Language Engineering Computational Linguistics ...
Proceedings från konferenser och liknande ACL SigDial SemDial IJCAI ESSLLI ...
Artikelpresentation - upplägg presentera innehållet (ca 5 min) koncentrera dig på en särskild punkt
eller detalj i artikeln (ca 5 min) testa gärna på egna (svenska) exempel definiera problem
diskutera problem (ca 5 min) förklara varför något inte fungerade utvärdera pappret
Artikelpresentation - metodkursen 15 min enskilt eller i grupp leta upp en artikel gärna med
anknytning till examensarbete bra tillfälle att testa olika ämnen
och tillämpningar
Artikelpresentation fortst. Ha en idé
lättare att välja lättare att granska artikeln
Ställ frågor Vad är det för teknik/metod du
behöver ta reda mer om? Hur skulle kunna samma
algoritm/metod användas på dina data?