开放 式 中文 实体 关系 抽取 研究

哈工大社会计算与信息检索研究中心

开放式中文实体关系抽取研究

导师：秦兵教授学生：刘安安

日期： 2013 年 6 月 27 日

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲 绪论 面向句子级的开放式实体关系抽取 面向互联网的开放式实体关系抽取 开放式实体关系类型体系自动构建 结论

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲 绪论 面向句子级的开放式实体关系抽取 面向互联网的开放式实体关系抽取 开放式实体关系类型体系自动构建 结论

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

绪论 问题的提出

预先定义关系类型局限性 人工定义，类型少，限定域，移植性差

实体关系往往由上下文中的关系指示词描述 关系指示词主要是动词和名词

此次爱丽丝的身边多了一位女战士，就是华人女星李冰冰饰演的艾达 · 王。

媒体试图联系徐妈妈求证，但电话一直处于人工秘书台状态，汪小菲妈妈张兰也始终拒接电话 。

三元组识别 ( 李冰冰，饰演，艾达 · 王 ) ( 汪小菲，妈妈，张兰 )

Open IE

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

绪论

研究内容

第 2 章面向句子的开放式中文实

体关系抽取

第 3 章面向互联网的开放式中文实

体关系抽取

第 4 章关系类型体系自动构建 关系类型

体系

大规模网络文本句子

关系三元组

第 5 章开放式关系抽取平台

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲 绪论 面向句子级的开放式实体关系抽取 面向互联网的开放式实体关系抽取 开放式实体关系类型体系自动构建 结论

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

面向句子级的开放式实体关系抽取 基于有指导的机器学习方法

语料预处理 语料分析 先识别实体对的方法 先识别关系指示词的方法

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

基于有指导的机器学习方法 (1)

语料以及预处理 Ontonotes4.0 中选取 1000 篇文本

分词、命名实体、共指关系、实体关系 使用 ltp 工具对其进行词性标注 正例 ( 包含关系的实体对 )3656 个，反例 ( 不包含关系 )95401

个 过滤反例

利用共指关系 如果两个实体存在共指，那么这两个实体不存在实体关系

正例 3656 个，反例 86323 个

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

基于有指导的机器学习方法 (2)

语料分析 93.6% 的关系实例存在关系指示词

使用三元组来描述一个关系实例是可行的 其中大部分关系指示词在两个实体中间或者右边

占有关系指示词实例的 95.94% 哈尔滨工业大学 <ORG> 校长 <relation_word> 王树国 <PER> 。 梁朝伟 <PER> 是刘嘉玲 <PER> 的老公 <relation_word> 。

尝试了两种不同的方法 先识别实体对的方法 先识别关系指示词的方法

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

基于有指导的机器学习方法 (3)

先识别实体对的方法 最大熵模型判断实体之间是否有关系

特征 实体类型

PER, LOC, ORG, TIME 实体的词序列（特征泛化）

Feature( 哈尔滨工业大学 ) = { 哈尔滨，工业，大学 } 实体上下文的词性

CRF 模型识别关系指示词 如果实体对存在关系，使用该模型识别关系指示词 特征

词、词性、是否是实体

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

习近平当选为中华人民共和国中央军事委员会主席，与胡锦涛亲切握手。

习近平胡锦涛{ 特征集合 }

中华人民共和国中央军事委员会胡锦涛{ 特征集合 }

实体识别

特征抽取 实体对过滤

识别关系指示词

习近平当选为中华人民共和国中央军事委员会主席，与胡锦涛亲切握手。

习近平中华人民共和国中央军事委员会{ 特征集合 }

习近平中华人民共和国中央军事委员会主席

习近平中华人民共和国中央军事委员会{ 特征集合 }

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

基于有指导的机器学习方法 (4)

先识别实体对方法的实验结果 最大熵模型判断实体之间是否有关系

训练数据不平衡导致正例召回率低 CRF 模型识别关系指示词 两步级联后的实验结果

类别 准确率

（ % ）

召回率

（ % ）

F 值（ % ）

存在关系 62 21 31

不存在关系 96 99 98评测标准 准确率

（ % ）

召回率

（ % ）

F 值（ % ）

标注结果 75.98 72.96 74.44

评测标准 准确率

（ % ）

召回率

（ % ）

F 值（ % ）

标注结果 47.10 15.32 23.12

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

基于有指导的机器学习方法 (5)

先识别关系指示词的方法 直接在实体的上下文中识别关系指示词

如果识别出关系指示词则实体对存在关系 如果没有识别出关系指示词则不存在关系

CRF 模型 特征和先识别实体对的方法相同

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

基于有指导的机器学习方法 (6)

先识别关系指示词方法的实验结果 先识别关系指示词的方法比先识别实体对的方法好

先识别关系指示词的方法融合了反例的信息

评测标准 准确率

（ % ）

召回率

（ % ）

F 值

（ % ）

先识别指示词 90.24 46.54 61.41

评测标准 准确率

（ % ）

召回率

（ % ）

F 值

（ % ）

先识别指示词 90.24 46.54 61.41

先识别实体对 47.10 15.32 23.12

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲 绪论 面向句子级的开放式实体关系抽取 面向互联网的开放式实体关系抽取 开放式实体关系类型体系自动构建 结论

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

面向互联网的开放式实体关系抽取 方法来源 算法设计 实验

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

方法来源 方法的大概思想

关系指示词功能的单一性 “爸爸” => “ 人 - 人” “总裁” => “ 人 - 机构” ……

利用这种特性，把关系指示词找出来

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 (1)

大规模网页

网页正文提取自然语言处理 预处理模块

根据限制条件从文本中抽取候选关系三元组

生成候选三元组模块

全局排序和类型排序过滤关系指示词

生成关系指示词词表模块

过滤三元组补全关系指示词

后处理模块

关系三元组

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 (2)

预处理 生成候选三元组 生成关系指示词词表 后处理

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

预处理 网页正文提取 自然语言处理

LTP 断句 分词 词性标注 命名实体识别

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 预处理 生成候选三元组 生成关系指示词词表 后处理

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

生成候选三元组 (1)

实体之间的距离限制

0 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425262728293031323334350

0.2

0.4

0.6

0.8

1

(5, 0.7457)

两个实体之间其他词的数目

关系三元组所占比例

候选三元组的两个实体之间词的数目不能超过

maxDistance

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

生成候选三元组 (1)

实体之间的距离限制

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 270

0.2

0.4

0.6

0.8

1(4, 0.9855)

两个实体之间其他实体数目

关系三元组所占比例

候选三元组的两个实体之间词其他实体数量不能超

过 maxEntityDistance

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

生成候选三元组 (2)

关系指示词的位置限制 实体之间的名词和动词 第一个实体左边 leftWordNumber 个名词和动词 第二个实体右边 rightWordNumber 个名词和动词

关系指示词的位置 关系实例数目（个） 比例（ % ）

两个实体之间 3177 75.36

第二个实体右边 609 14.44

第一个实体左边 160 3.80

没有指示词 240 6.40

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 预处理 生成候选三元组 生成关系指示词词表 后处理

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

生成关系指示词词表 全局关系指示词排序

信息增益值评判一个词语是否适合作为关系指示词

类型关系指示词排序 判断关系指示词指示何种实体对类型之间的关系

过滤关系指示词 topN(全局关系指示词 ) ∩ topK( 类型关系指示词 )

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 预处理 生成候选三元组 生成关系指示词词表 后处理

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

后处理 使用关系指示词词表过滤三元组 使用句式规则过滤三元组

规则 1 ：双动词结构（肖民 找到 黎恩 ） 寻妹 心切 的 肖民 找到 黎恩 告诉 他 自己 为 恩怜 输血 的 事。

规则 2 ：所有格（钟汉良 饰演 叶开 ） 钟汉良 与 饰演 叶开 的 陈楚河 就 被 网友 吐槽 说 “ 关系 微妙

” 。 补全关系指示词

王树国担任哈尔滨工业大学校长

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (1)

语料来源 百度百科 160W 个网页 新浪娱乐新闻（ 2008 年 -2012 年） 搜狗新闻语料（ 2006 年） 搜狗新闻语料 (2012 年 6 月到 7 月 )

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (2)

关系指示词词表实体对类型 关系指示词词表前 20 个关系指示词

LOC-PER总统 选手 首相 市长 名将 作家 国务卿 省长 雄鹰 舞台 笔画

大使 诗人 科学家 物理学家 村民 数学家 国防部长 哲学家 国王

PER-LOC出生 祖籍 离开 原籍 下台 率领 躬耕 生于 故里 南巡 病逝 访问 回到 追悼会 流放 统一 全家 遗体 走遍 来到

ORG-PER主任 书记 局长 所长 秘书长 董事长 院长 部长 会长 主席 司长 委员长 总经理 总裁 研究员 执行官 科室 理事长 校长

总工程师

PER-ORG现任 担任 做客 调任 哀思 代表 考入 致辞 出任 考上 毕业 当选 母校 杀人案 考取 辞去 加入 兼任 受聘 主持

PER-PER妻子 儿子 女儿 饰演 弟弟 丈夫 扮演 哥哥 妹妹 遗孀 女友

母亲 夫人 父亲 扮演者 神似 好友 男友 女婿 长子

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (2)

从文本中抽取的三元组

实体对类型 关系三元组 句子

LOC-PER

香港 导演 严浩 能说双语的香港著名导演严浩也积极加盟。

美国 总统 奥巴马涨工资后，他的年薪是美国总统奥巴马的 5

倍。

PER-LOC

佟铁鑫 出生 辽宁锦州男中音歌唱家佟铁鑫出生于辽宁锦州的一个

音乐世家。

秦始皇 统一 中国秦始皇统一中国后，置齐地东部为琅琊郡，

郡驻地在今天的琅琊镇。

ORG-PER

英特尔 公关经理 牛大鹏英特尔公关经理牛大鹏并没有正面确认该信

息。

腾讯 董事长 马化腾昨天，腾讯董事长马化腾在其微博上直接表

态，重申腾讯不会做手机。

PER-ORG

林茨 效力 布拉加队林茨目前效力于布拉加队，本赛季中前期表

现出色。

李开复 担任院长 微软亚洲研究院上世纪 90 年代末 , 李开复曾担任微软亚洲研

究院首任院长。

PER-PER

李冰冰 妹妹 李雪 李冰冰为妹妹李雪补办婚礼。

奥多姆 经纪人 杰夫﹒施瓦茨小牛已经给了奥多姆的经纪人杰夫﹒施瓦茨

充分的自由去为奥多姆寻求下家。

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (3)

实验设置 UnCORE

完整的系统 UnCORE-post

UnCORE除去句式规则过滤和补全关系指示词两个步骤后的系统

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (4)

实验结果

实体对类型三元组数量 准确率 (%)

UnCORE-post UnCORE UnCORE-post UnCORE

LOC-PER 289309 266080 72 78

PER-LOC 178734 110244 37.5 56

ORG-PER 211007 203318 95 99

PER-ORG 31574 18665 39.5 79

PER-PER 76498 35982 61.5 78.5

微平均     68.01 80.97

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (5)

正确的三元组数量

LOC-PER PER-LOC ORG-PER PER-ORG PER-PER0

50000

100000

150000

200000

250000

UnCORE-post

UnCORE

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (6)

关系指示词数量随语料规模的变化

1 2 3 4 5 6 7 8 9 100

200

400

600

800

1000

1200

1400

1600

PER_PER

PER_ORG

PER_LOC

ORG_PER

LOC_PER

语料规模

关系指示词数量

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (7)

三元组数量随语料规模的变化

1 2 3 4 5 6 7 8 9 100

50000

100000

150000

200000

250000

300000

PER_PER

PER_ORG

PER_LOC

ORG_PER

LOC_PER

语料规模

关系三元组数量

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (8)

Ontonotes4.0 上的实验结果

抽取方法 准确率 (%) 召回率 (%) F 值 (%)

UnCORE 69.19 50.20 58.18

UnCORE-post 77.18 48.55 59.61

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲 绪论 面向句子级的开放式实体关系抽取 面向互联网的开放式实体关系抽取 开放式实体关系类型体系自动构建 结论

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

开放式实体关系类型体系自动构建 算法设计

相似度计算 聚类

实验

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 (1)

系统流程

关系指示词词表基于HowNet基于RNN-LM 相似度计算

层次聚类近邻传播 关系指示词聚类关系类型体系

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

算法设计 (2)

相似度计算 HowNet RNN-LM

聚类 层次聚类

单连通 全连通

近邻传播算法

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (1)

实验设置方法 相似度计算方法 聚类算法

Baseline 无 随机HowNet+AP HowNet AP

HowNet+HAC(single link) HowNet HAC(single link)

HowNet+HAC(complete link) HowNet HAC(complete link)

RNN-LM+AP RNN-LM AP

RNN-LM+ HAC(single link) RNN-LM HAC(single link)

RNN-LM+ HAC(complete link) RNN-LM HAC(complete link)

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

实验 (2)

实验结果方法 类别数目 纯度 (%) F 值 (%)

baseline 540 91.75 33.43

RNN-LM+AP 266 65.98 44.65

RNN-LM+ HAC(complete link) 230 62.89 41.72

RNN-LM+ HAC(single link) 580 83.51 35.97

HowNet+AP 325 84.54 58.3

HowNet+HAC(complete link) 360 78.35 64.25

HowNet+HAC(single link) 420 85.57 59.37

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲 绪论 面向句子级的开放式实体关系抽取 面向互联网的开放式实体关系抽取 开放式实体关系类型体系自动构建 结论

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

结论 针对句子级的开放式实体关系抽取任务，提出了

有指导的方法 针对互联网的开放式实体关系抽取任务，提出了无指导的方法

自动构建关系类型体系，避免了人工参与 搭建了开放式实体关系抽取演示系统

面向句子级 面向互联网

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心