View
1
Download
0
Category
Preview:
Citation preview
Paraphrasing研究进展
李维刚
IRLab, HIT2004-12-26
Outline
Definition of ParaphrasingMethods on Paraphrases ExtractionParaphrases Extraction based on CorpusOur Current WorkFuture Work
Definition of Paraphrasing
Dictionary Meaning of Paraphrase
解释, 释义
变换措辞
A restatement of a text or passage in another form or other words, often to clarify meaning
Technologic Meaning
Different words to convey the same information or 一个复述就是由字面不同而又表达相同或相近概念（概念之间仅有细微的差别）的两个或多个同级别语言单元实例 (语言单元包括字、词、短语和句子等几类)动词性的概念
Two Tasks of Sentence Paraphrasing
给定一个句子，通过复述过程，保持意义不变或者近似的条件下，将该句子变换为另外一种或多种形式
给定两个句子或者多个句子，通过复述过程，能够判断或者识别出互为复述的句子
One Example
毛泽东的生日是一八九三年十二月二十六日
毛泽东出生于一八九三年十二月二十六日
Paraphrases of Different styles
同义词：用一个词的同义词替换该词，比如帮助、帮、援助
语态：主动语态和被动语态之间的转换
词性的变化：把一个名词用作动词，或者其它词性之间的变化
断句：把一个长句子分割成几个短句
定义：用一个词的定义替换该词
句子结构的变化：用不同的句子结构表达同样的事情
Methods on Paraphrases Extraction
Three methods
手工获取复述
利用现有语言学资源获取复述
基于语料库的复述获取方法
复述实例的抽取
复述规则的抽取
生成式的复述获取
比较语料库
文本为同一种语言，文本之间有信息的重叠，由这种文本组成的语料库称为比较语料库，也有人称之为相关语料库
译文比较语料库
相关新闻语料库
不同版本的百科全书……
Paraphrases Extraction based on Corpus
Paraphrases Examples Extraction
译文比较语料库
句子对齐
相关新闻语料库
共享命名实体
简单的字符编辑距离
抽取新闻文章的首句子作为摘要
不同版本的百科全书
主题段落对齐，句子对齐
Paraphrases Rules Extraction
词汇、短语级的复述用词汇本身表示
句子级的复述规则和应用相关
词性序列表示
推理规则（QA）信息抽取（泛化命名实体）
简逻辑表达（特定域）
……
Paraphrases Generation
多重序列对齐方法
用Word lattice表示
测试语料必须和训练语料密切相关
句法结构对齐方法
有限状态自动机 （句法森林）
两个节点之间不同路径为一个复述
统计机器翻译方法
仅仅语料库不同
Our Current Work
复述实例库的构建
译文语料库
句子对齐
50,000句对
新闻语料库
基于摘要的抽取方法
Paraphrases Extraction based on Single Document Summary基本假设：对同一事件不同报道的新闻文章的摘要倾向于表达相同的内容，因此利用摘要中的句子作为候选复述可以获得更多的复述实例
简单的编辑距离方法抽取复述实例
基于改进语义编辑距离方法抽取复述实例
Synonymous Equivalence Extraction from Paraphrases Corpus
译文比较语料库
分词词性标注
统计
Dice系数(Dice Coefficient) Phi平方系数(Phi-Square Coefficient) 对数似然比(Log Likelihood Ratio, LLR)
a bc d
汉语单元c2~c2
汉语单元c1 ~c1
Evaluation
利用词性信息的影响
不同阈值对抽取准确率的影响
初步结果来看LLR的结果较好
改进
迭代的方法
抽取出的词对在同义词词林，以及Hownet中出现的多少
Future Work
Except Done Those Works Unfinished Now复述规则的抽取
句子的泛化
句法结构的分析
规则的表达
复述在问答上的应用
问题的扩展
答案的确认
Thanks！
Recommended