Paraphrasing研究进展

李维刚

IRLab, HIT2004-12-26

Outline

Definition of ParaphrasingMethods on Paraphrases ExtractionParaphrases Extraction based on CorpusOur Current WorkFuture Work

Definition of Paraphrasing

Dictionary Meaning of Paraphrase

解释, 释义

变换措辞

A restatement of a text or passage in another form or other words, often to clarify meaning

Technologic Meaning

Different words to convey the same information or 一个复述就是由字面不同而又表达相同或相近概念（概念之间仅有细微的差别）的两个或多个同级别语言单元实例 (语言单元包括字、词、短语和句子等几类)动词性的概念

Two Tasks of Sentence Paraphrasing

给定一个句子，通过复述过程，保持意义不变或者近似的条件下，将该句子变换为另外一种或多种形式

给定两个句子或者多个句子，通过复述过程，能够判断或者识别出互为复述的句子

One Example

毛泽东的生日是一八九三年十二月二十六日

毛泽东出生于一八九三年十二月二十六日

Paraphrases of Different styles

同义词：用一个词的同义词替换该词，比如帮助、帮、援助

语态：主动语态和被动语态之间的转换

词性的变化：把一个名词用作动词，或者其它词性之间的变化

断句：把一个长句子分割成几个短句

定义：用一个词的定义替换该词

句子结构的变化：用不同的句子结构表达同样的事情

Methods on Paraphrases Extraction

Three methods

手工获取复述

利用现有语言学资源获取复述

基于语料库的复述获取方法

复述实例的抽取

复述规则的抽取

生成式的复述获取

比较语料库

文本为同一种语言，文本之间有信息的重叠，由这种文本组成的语料库称为比较语料库，也有人称之为相关语料库

译文比较语料库

相关新闻语料库

不同版本的百科全书……

Paraphrases Extraction based on Corpus

Paraphrases Examples Extraction

译文比较语料库

句子对齐

相关新闻语料库

共享命名实体

简单的字符编辑距离

抽取新闻文章的首句子作为摘要

不同版本的百科全书

主题段落对齐，句子对齐

Paraphrases Rules Extraction

词汇、短语级的复述用词汇本身表示

句子级的复述规则和应用相关

词性序列表示

推理规则（QA）信息抽取（泛化命名实体）

简逻辑表达（特定域）

……

Paraphrases Generation

多重序列对齐方法

用Word lattice表示

测试语料必须和训练语料密切相关

句法结构对齐方法

有限状态自动机 （句法森林）

两个节点之间不同路径为一个复述

统计机器翻译方法

仅仅语料库不同

Our Current Work

复述实例库的构建

译文语料库

句子对齐

50,000句对

新闻语料库

基于摘要的抽取方法

Paraphrases Extraction based on Single Document Summary基本假设：对同一事件不同报道的新闻文章的摘要倾向于表达相同的内容，因此利用摘要中的句子作为候选复述可以获得更多的复述实例

简单的编辑距离方法抽取复述实例

基于改进语义编辑距离方法抽取复述实例

Synonymous Equivalence Extraction from Paraphrases Corpus

译文比较语料库

分词词性标注

统计

Dice系数(Dice Coefficient) Phi平方系数(Phi-Square Coefficient) 对数似然比(Log Likelihood Ratio, LLR)

a bc d

汉语单元c2~c2

汉语单元c1 ~c1

Evaluation

利用词性信息的影响

不同阈值对抽取准确率的影响

初步结果来看LLR的结果较好

改进

迭代的方法

抽取出的词对在同义词词林，以及Hownet中出现的多少

Future Work

Except Done Those Works Unfinished Now复述规则的抽取

句子的泛化

句法结构的分析

规则的表达

复述在问答上的应用

问题的扩展

答案的确认

Thanks！