CCL 2019自然语言处理国际前沿动态综述

句法分析方向

屠可伟 （上海科技大学）

http://faculty.sist.shanghaitech.edu.cn/faculty/tukw/

趋势统计

“Tagging, Chunking, Syntax and Parsing” Area

投稿量 总投稿量占比 本领域接收率 总体接收率

ACL 2017 78 6.0% 26.9% 23.3%

ACL 2018 61 3.9% ? 24.9%

ACL 2019 99 3.7% 27.3% 22.7%

>

>

概要

句法分析前沿动态综述（2019年论文为主）

有监督句法分析

无监督句法分析

跨领域、跨语言句法分析

有监督句法分析

训练语料

句法分析器

每个句子都有句法分析标注（树库）

近几年趋势

神经网络结合传统方法

准确率不断提升，上升空间不大

论文：深入分析 + 新方法

现有方法的深入分析

John saw Mary

[0.1, 0.5, -3.2] [-3.1, 2.5, 0.2] [0.9, 0.2, -2.1]

Encoding：计算词表示

Scoring：计算各部分/各步骤分数

Decoding：找到分数最高的树

依存句法分析

现有方法的深入分析

Encoding

Contextual Word Embeddings（例如ELMo, BERT）的影响

基于图和基于转移的两类方法表现趋同

基于转移的方法尤其受益

Scoring

当使用BiLSTM计算词表示时，基于结构的特征变得不重要

基于转移的方法中，BiLSTM中的前向LSTM与基于结构的特征有相似功效，后向LSTM则与之互补

Lhoneux, et al., Recursive Subtree Composition in LSTM-Based Dependency Parsing (NAACL 2019)

Falenska & Kuhn, The (Non-)Utility of Structural Features in BiLSTM-based Dependency Parsers

(ACL 2019)

Kulmizev, et al., Deep Contextualized Word Embeddings in Transition-Based and Graph-Based

Dependency Parsing -- A Tale of Two Parsers Revisited (EMNLP 2019)

现有方法的深入分析

Decoding

基于图的依存分析，训练时的输出结构约束

传统方法：树

Head-selection：每个词有且只有一个head，允许环！

更简单的方法：独立预测每条边的存在与否，无结构约束！

实验结果

带输出结构约束的训练效果确实更好，

特别是complete match指标

但是，好得很有限

Zhang, et al., An Empirical Investigation of Structured Output Modeling for Graph-based Neural

Dependency Parsing (ACL 2019)

Labeled Attachment Score and Labeled Complete Match, average over 14 treebanks

新方法

Sequence Labeling Parsing

把成分句法分析变成一个序列标注任务

优点：更快！

Gomez-Rodriguez & Vilares, Constituent parsing as sequence labeling (EMNLP 2018)

与下一个词的公共祖先数（相对前一个值）

与下一个词的最低公共祖先

最低公共祖先到该词的unary chain

新方法

Sequence Labeling Parsing的新工作

改进编码方式、三部分分开预测

用于依存分析

同时进行成分和依存分析

Vilares, et al., Better, Faster, Stronger Sequence Tagging Constituent Parsers (NAACL 2019)

Strzyz, et al., Viable Dependency Parsing as Sequence Labeling (NAACL 2019)

Strzyz, et al., Sequence Labeling Parsing by Learning across Representations (ACL 2019)

新方法

基于图神经网络的依存分析

Ji, et al., Graph-based Dependency Parsing with Graph Neural Networks (ACL 2019)

使用一阶信息构建图，基于二阶结构不断更新向量表示

每个词有作为head和dependent两个向量表示

使用新的词向量表示计算边的分数，跑MST

新方法

二阶依存分析端到端神经网络

Wang, et al., Second-Order Semantic Dependency Parsing with End-To-End Neural Networks (ACL

2019)

一阶和二阶结构打分

使用mean-field或LBP

做近似二阶推理；推理过程可看做RNN

词向量表示

无监督句法分析

训练语料

句法分析器

训练句子没有句法分析标注

近两年突然升温

ACL 2019有7篇相关论文，NAACL/EMNLP也有多篇论文

ICLR 2019 best paper

（部分工作假设学习时有下游任务反馈）

无监督句法分析

近两年突然升温

为什么？

理论兴趣：类比人类语言习得

实际需要：有监督学习受到标注资源的限制；很多半监督方法基于无监督技术

当前潮流：使用（海量）无标注数据

现有无监督预训练模型很少考虑语言结构

但结构是语言的根本特性，何不尝试一下建模结构？

无监督句法分析

近两年突然升温

新趋势

无监督成分分析强势回归

过去十几年，无监督句法分析大都基于依存分析

不需要学习nonterminal，模型一般更为简单

经典模型：Dependency Model with Valence (ACL 2004)

但是

NAACL 2019：成分2、依存0

ACL 2019：成分5、依存2

新模式

结合下游任务

多模态

生成式模型

建模 P(sentence, parse)，一般分解成多个规则概率的乘积

概率上下文无关文法（PCFG）

Dependency Model with Valence (DMV)

训练目标：P(sentence)

训练算法：Expectation-maximization

生成式模型

Neural DMV

𝑃 𝑐ℎ𝑖𝑙𝑑 ℎ𝑒𝑎𝑑, 𝑑𝑖𝑟𝑒𝑐𝑡𝑖𝑜𝑛, 𝑣𝑎𝑙𝑒𝑛𝑐𝑦)

Jiang, et al., Unsupervised Neural Dependency Parsing (EMNLP 2016)

EM的M-step中训练该神经网络

生成式模型

Discriminative Neural DMV

Han, et al., Enhancing Unsupervised Generative Dependency Parser with Contextual Information

(ACL 2019)

D-N-DMV objective: 𝐽 𝜃 = 𝑦 𝑃𝜃 𝑥, 𝑦|𝑣𝑤 or ELBO

生成式模型

Compound PCFG 相似的方法，用于PCFG

使用terminal/nonterminal embedding输入神经网络计算PCFG规则概率

使用LSTM+Gaussian采样出句子embedding，输入到神经网络，从而影响规则概率的计算

训练目标：ELBO

Kim, et al., Compound Probabilistic Context-Free Grammars for Grammar Induction (ACL 2019)

生成式模型

引入ELMo

使用ELMo embedding表示PCFG的terminal

Preterminal规则的概率使用normalizing flow模型计算

使word embedding上的分布可以足够复杂

同时保证似然度计算tractable

Jin, et al., Unsupervised Learning of PCFGs with Normalizing Flow (ACL 2019)

自编码器模型

编码器：句子句法树

解码器：句法树句子

训练目标：

重构输入

ELBO 更常见

自编码器模型

CRF-AE

训练目标：重构输入的概率

A discriminative parser

(MST Parser)

Generating a child word

from its head word

Tree constraint

Dependency scores𝑃( 𝑥𝑖|𝑥𝑦𝑖

)

Cai, et al., CRF Autoencoder for Unsupervised Dependency Parsing (EMNLP 2017)

自编码器模型

基于recurrent neural network grammar (RNNG)的方法

编码器：discriminative RNNG

或 CRF-parser

解码器：generative RNNG

训练目标：ELBO

Li, et al., Dependency Grammar Induction with a Neural Variational Transition-based Parser (AAAI

2019)

Kim, et al., Unsupervised Recurrent Neural Network Grammars (NAACL 2019)

自编码器模型

半监督依存分析

编码器：CRF-parser

解码器：GCN

训练目标：ELBO

Corro & Titov, Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational

Autoencoder (ICLR 2019)

Dependency arcs

自编码器模型

DIORA

给定一个递归神经网络，通过类似于inside-outside的过程，计算每个词上下文的embedding，用之预测每个词

训练目标：最大化预测准确率

Drozdov, et al., Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Auto-

Encoders (NAACL 2019)

跨领域、跨语言句法分析

实用意义巨大

论文数量与前两个方向平分秋色

评测：跨领域依存句法分析@NLPCC 2019

句法分析器

多领域、多语言训练语料

跨领域、跨语言句法分析

近期技术

合并训练集（baseline）

多任务学习

Domain/language embedding

模型参数捆绑

可基于Phylogenic Tree

使用大规模语料预训练的Contextual Word Embeddings

（BERT, Multilingual BERT）

困难：各语言的词序不同

对于差异较大的语言，可使用对词序不敏感的模型

利用typological resource构建特征

可修改源语言树库，使之更匹配目标语言词序

总结

研究现状

有监督句法分析

精度上升空间不大

分析性研究 + 另辟蹊径

无监督句法分析

热度上升，成分分析 > 依存分析

仍有较大探索空间

跨领域、跨语言句法分析

巨大的实用意义

总结

研究前景（个人观点）

目前地位较为尴尬

很多方法不再显式建模和使用句法结构

非句法分析方法（如BiLSTM、BERT）隐式包含句法信息

一些任务上，现有模型引入句法结构没有积极作用

未来走向

实用主义

某些任务上，句法信息依然有用

句法分析的技术可以推广到其他问题上

理想主义

结构是语言的固有特性，建模结构应该有益

Thank you!