酷应用

计算语言顶会ACL 2017开幕在即：国内接收论文梳理（5篇杰出论文）

百家作者：机器之心 2017-07-30 15:48:06

机器之心报道

作者：李亚洲

计算机视觉与模式识别领域的顶会 CVPR 2017 刚在美国夏威夷落幕，计算语言领域的顶会 ACL 又即将在加拿大温哥华开幕。从 4 月份 ACL 2017 接收论文公布以来，机器之心已经陆续对 ACL 2017 做了数篇报道。在这篇文章中，我们将对 ACL 2017 的论文进行梳理，包括国内 5 篇获奖的杰出论文，腾讯、微软亚洲研究院、科大讯飞、搜狗等国内公司被接收的论文。

国际计算语言学协会 (ACL，The Association for Computational Linguistics)，是世界上影响力最大、最具活力的国际学术组织之一，其会员遍布世界各地。第 55 届国际计算语言学协会（ACL）年会将于 7 月 30 日-8 月 4 日在加拿大温哥华举行。

作为计算语言学领域的首要会议，广泛涉及自然语言的计算方法及其各类研究领域。ACL 2017 除了主要会议之外，还如同其他顶级会议一样包含研讨会、专题报告、研习会和演示等。

在这篇文章中，我们首先梳理了国内的 ACL 2017 论文，包括国内的 5 篇 Outstanding Papers，来自腾讯、微软亚研、科大讯飞、搜狗等产业界的数篇论文，然后介绍了一个对 ACL 论文标题进行可视化的项目，从这个项目中我们可以看到 ACL 2017 大会内容的一些特点。这是一份不完整的梳理，大部分信息来自于 4 月份中国中文信息学会青年工作委员会联合腾讯在北京举办的「ACL 2017 论文报告会」、机器之心对这些公司论文接收情况的主动了解。

国内 5 篇论文入选 ACL 2017 Outstanding Papers

6 月份，ACL 2017 官网发布 ACL 2017 杰出论文列表，列表中共有 22 篇论文入选，其中国内论文有 5 篇（全部来自学界）。5 篇论文分别为：

Adversarial Multi-Criteria Learning for Chinese Word Segmentation
论文作者：陈新驰、施展、邱锡鹏、黄萱菁（复旦大学）
论文地址：https://arxiv.org/abs/1704.07556

Visualizing and Understanding Neural Machine Translation
论文作者：丁延卓、刘洋、栾焕博、孙茂松（清华大学）
论文地址：http://nlp.csai.tsinghua.edu.cn/~ly/papers/acl2017_dyz.pdf

Abstractive Document Summarization with a Graph-Based Attentional Neural Model
论文作者： Jiwei Tan、万小军（北京大学）

Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
论文作者：郑孙聪、Feng Wang、Hongyun Bao（中科院自动化研究所）
论文地址：https://arxiv.org/abs/1706.05075

A Two-stage Parsing Method for Text-level Discourse Analysis
论文作者：王义中、李素建、Houfeng Wang（北京大学）
论文地址：https://eastonwang.github.io/papers/Two-Stage%20Parsing%20Method%20for%20Text-level%20Discourse%20Analysis.pdf

当时，机器之心对国内的 5 篇杰出论文进行了报道，详细信息请查看：ACL 2017 杰出论文公布，国内四篇论文入选（当时因有一篇论文未公开，无法确定机构，漏算一篇）。

来自国内产业界的论文

在这部分内容中，机器之心整理了国内几家公司被 ACL 2017 接收的论文，其中包括微软亚洲研究院、腾讯 AI Lab、阿里巴巴、科大讯飞、搜狗。需要区分的是，这些公司被接收的论文中，有的是与国内大学一起完成的，因此与学界被接收的论文有交叉。

腾讯 AI Lab

在 2017 谷歌学术指标（Google Scholar）按论文引用率排名中，ACL 是计算机语言学和自然语言处理领域最高级别国际学术年会。腾讯 AI Lab 副主任俞栋认为，「自然语言的理解、表达、生成和转换一直是自然语言处理的核心问题。近年来有很多新的解决思路和方法。今年的 ACL 涉及自然语言处理的各方面，尤其在语义解析、语义角色标注、基于语义和语法的自然语言生成、机器翻译和问答系统方向上都有一些有趣的工作。」

据机器之心了解，今年腾讯 AI Lab 有三篇文章入选 ACL，分别为：

论文一：Modeling Source Syntax for Neural Machine Translation
作者：Junhui Li、Deyi Xiong、Zhaopeng Tu、Muhua Zhu、Min Zhang 和 Guodong Zhou
论文地址：https://arxiv.org/abs/1705.01020

简介：本文提出将句法树转化为句法标签序列的轻量级方法，有效将源端句法信息引入神经网络翻译系统，被证实能显著提高翻译效果。

论文二：Chunk-Based Bi-Scale Decoder for Neural Machine Translation
作者：Hao Zhou、Zhaopeng Tu、Shujian Huang、Xiaohua Liu、Hang Li 和 Jiajun Chen
论文地址：https://arxiv.org/abs/1705.01452

简介：本文引入一个额外组块神经网络层，从组块到词的层次生成译文，帮助实现神经网络翻译系统短语级别的建模，实验表明该方法在多种语言上都能显著提高翻译效果。

论文三：Deep Pyramid Convolutional Neural Networks for Text Categorization
作者：Rie Johnson 和 Tong Zhang
论文地址：http://riejohnson.com/paper/dpcnn-acl17.pdf

简介：文章提出了一种能有效表达文本长距离关系的复杂度词粒度 CNN。本文研究了如何加深词粒度 CNN 对文本进行全局表达，并找到了一种简单网络结构，通过增加网络深度提升准确度，但不过多增加计算量。实验表明 15 层的 DPCNN 在六个情感和主题分类任务上达到了目前最佳结果。

微软亚洲研究院

据机器之心了解，本届 ACL 大会微软亚洲研究院共有 6 篇长文被接收，还有一篇题为「SuperAgent: A Customer Service Chatbot for E-commerce Websites」的 demo 文章发表。在上周微软亚洲研究院举办的「ACL 2017 论文研讨会」上，已被 ACL2017 大会录用论文的作者分别就各自的论文内容进行了分享。这六篇长文分别为：

论文一：Chunk-based Decoder for Neural Machine Translation
作者：Shonosuke Ishiwatari, Jingtao Yao, Shujie Liu, Mu Li, Ming Zhou, Naoki Yoshinaga, Masaru Kitsuregawa, Weijia Jia

简介：在机器翻译中使用组块信息能够更容易的对组块内的词语和组块与组块之间的关系进行建模，因此在统计机器翻译中得到了广泛的使用。该论文的科研人员将组块的信息应用到神经机器翻译中，从而更容易的解决了远距离的依赖问题。他们提出的基于组块的神经机器翻译模型，包含了一个组块级别的解码器和词级别的解码器。组块级别的解码器负责对全局（组块间）的依赖进行建模，而词级别的解码器则对局部（组块内）的依赖进行建模。在英日翻译任务（WAT』16）上的实验显示，基于组块的神经机器翻译解码算法能够显著的提高翻译性能。

论文二：Sequence-to-Dependency Neural Machine Translation
作者：Shuangzhi Wu, Dongdong Zhang, Nan Yang, Mu Li,Ming Zhou

简介：现有的神经网络机器翻译系统大多以序列的形式生成目标语言，忽略了目标语言的句法知识。通常来说，句法知识对句子的构成有重要的指导作用。受目标语言句法知识在短语翻译模型中成功应用的启发，本文提出了一种序列到依存的神经网络机器翻译模型。该模型能够在翻译源语言的同时生成目标语言的依存句法结构，进一步利用已有的句法结构指导后续翻译的生成，从而做到翻译的同时兼顾语法结构。实验表明本文提出的方法的性能在中英翻译和日英翻译任务上都高于传统神经网络机器翻译。

论文三：Active Sentiment Domain Adaptation
作者：Fangzhao Wu, Yongfeng Huang, Jun Yan

简介：情感分类是一个领域依赖的任务。不同的领域拥有不同的情感表达，因此一个领域训练得到的情感分类器在另一个领域往往效果不佳。由于网络文本涉及大量的领域，因此很难为每一个领域去标注足够多的样本来训练领域特定情感分类器。为此，该论文的研究人员提出了一个主动情感领域迁移的方法来解决该问题。他们的方法尝试基于主动学习策略选取少量有信息量的目标领域的有标注样本，从目标领域大量的无标注样本中挖掘词语间的领域特定情感关系，并通过结合以上两种信息将情感词典中的通用情感信息迁移到目标领域。在基准数据集上的实验表明，该方法能够在少量有标注样本的情况下为目标领域训练准确的情感分类器。

论文四：Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots
作者：Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li
链接：https://arxiv.org/abs/1612.01627

简介：聊天机器人的一个很重要的问题是如何在选择回复的时候考虑上下文。聊天上下文往往呈现层次结构并且有很多冗余信息，因此如何同时对聊天上下文的结构建模并且准确把握上下文中的要点成为了能否找到合适回复的关键。在这篇文章中，研究员们提出了一个序列匹配网。该网络通过二维卷积神经网和循环神经网的耦合可以很好地对上下文建模并且抓住上下文中的关键点。在大规模标准数据集上，该模型对已有模型有非常大的提升，并且有很好的解释性。另外，为了弥补学术界大规模标注数据的缺失，该文章还贡献出了一个标注数据集。

论文五：Selective Encoding for Abstractive Sentence Summarization
作者：Qingyu Zhou, Nan Yang, Furu Wei, Ming Zhou

简介：句子摘要任务的目标是产生一个句子的简短概括。该论文的研究人员提出了选择性编码模型以改善生成式句子摘要的性能。他们的模型包含了一个句子编码器、选择门网络和带注意力机制的解码器。其中，句子编码器和解码器采用了循环神经网络。选择门网络通过控制从编码器到解码器的信息流来构建额外的一层信息表示，该层表示为句子摘要构建了量身定做的语义表示。研究人员在英文 Gigaword、DUC 2004 和 MSR 三个生成式句子摘要数据集上进行了测试。实验结果表明本文提出的选择性编码模型性能比当前最优基线模型有显著提高。

论文六：Gated Self-Matching Networks for Reading Comprehension and Question Answering
作者：Wenhui Wang, Nan Yang, Furu Wei, Baobao Chang,Ming Zhou
链接：https://www.microsoft.com/en-us/research/publication/mrc/

简介：本文提出了一种针对机器阅读理解和问答任务的端到端的多层神经网络，模型主要由四部分组成。首先通过多层的双向循环神经网络得到问题和篇章的语义向量表示。第二步通过 Attention 机制和 Gate 机制学习文章和问题词汇级的匹配，从而得到篇章中每个词和问题的对齐及其重要程度。第三步通过 Self-Matching 机制，对答案所需要的篇章中的证据和问题信息进行进一步聚合，得到最终的篇章中每个词的语义向量表示。最后使用 Pointer Networks 得到答案在篇章中的起始位置和结束位置，进而得到问题的最终答案。在 Stanford 发布的机器阅读理解比赛数据集 SQuAD 上，本文提出的模型（R-Net）的单模型和集成模型结果都分别排名第一。

科大讯飞

据机器之心了解，科大讯飞有两篇论文被 ACL 2017 所接收，并且这两篇论文都是科大讯飞与哈工大社会计算与信息检索研究中心（HIT-SCIR）合作完成。

论文一：Generating and Exploiting Large-scale Pseudo Training Data for Zero Pronoun Resolution
作者：Ting Liu、Yiming Cui、Qingyu Yin、Weinan Zhang、Shijin Wang 和 Guoping Hu
论文地址：https://arxiv.org/pdf/1606.01603.pdf

简介：为了缓解零代词解析（Zero Pronoun Resolution）任务所需要的大量标注数据，本论文提出了一种简单但新颖的方法来自动生成大规模伪训练数据，因此我们可以借助这些数据进行零代词解析任务。

论文二：Attention-over-Attention Neural Networks for Reading Comprehension
作者：Yiming Cui、Zhipeng Chen、Si Wei†、Shijin Wang、Ting Liu 和 Guoping Hu
论文地址：https://arxiv.org/pdf/1607.04423.pdf

简介：本论文提出一种简单但新颖的 Attention-over-Attention 阅读器模型，该模型能很好地解决完形填空式阅读理解任务。该模型旨在将一个注意力机制放在文档级注意力上以形成「attended attention」来预测最后的回答。

阿里巴巴

2015 年 7 月 24 日，阿里巴巴发布了一款人工智能购物助理虚拟机器人「阿里小蜜」，它是阿里巴巴推出的围绕电商服务、导购以及任务助理为核心的智能人机交互产品。今年，一篇介绍阿里小蜜背后技术的论文《AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine》被 ACL 2017 所接收。

论文：AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine
作者：Minghui Qiu、Feng-Lin Li、Siyu Wang、Xing Gao、Yan Chen、Weipeng Zhao、陈海青、Jun Huang、Wei Chu
论文地址：http://aclweb.org/anthology/P17-2079

简介：面向 open domain 的聊天机器人无论在学术界还是工业界都是个有挑战的课题。通常有两种技术方案，一个是通过传统的检索模型 (IR) 来构建语聊的问答匹配，另外一个是通过生成模型 (Seq2Seq) 自动生成回复。前者回复答案可控但无法处理长尾问题，后者很难保持一致性和合理性。因此在阿里小蜜的聊天引擎中，我们结合了两者各自的优点，提出了一个融合模型。我们的模型先通过 IR 产出候选回复，然后用 Seq2Seq 对候选进行打分和重排序，如果重排序后得分超过一定阈值就输出，否则就用 Seq2Seq 生成答案。实验证明，我们的融合模型比单纯的生成模型和 IR 模型结果都好，比之前线上系统提升了 17%。

图注：阿里小蜜对话示例

搜狗

据机器之心了解，搜狗联合清华信息科学与技术国家实验室有一篇论文入选 ACL 2017。

论文：Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization
作者：Jiacheng Zhang、Yang Liu、 Huanbo Luan、Jingfang Xu 和 Maosong Sun
论文地址：http://nlp.csai.tsinghua.edu.cn/~ly/papers/acl2017_zjc.pdf

简介：本论文提出了使用后验正则化将先验知识集成到神经机器翻译中的一般框架，该方法将先验知识表征为对数线性模型中的特征，并用来指导神经机器翻译的学习过程。

ACL 2017 论文标题可视化

今年 4 月份，ACL 2017 接收论文公布，其中包含生物医学、认知建模与心理语言学、交互式对话系统、机器翻译等各研究领域的 194 篇长篇论文、107 篇短篇论文、21 个软件演示以及 21 篇在由 TACL（Transactions of the Association for Computational Linguistics）接收出版并将在 ACL 2017 上进行主题演讲报告的论文。

在机器之心的报道中，有一个可视化项目对所接收论文的标题进行了可视化，得出了几个结论：

1. 首先如下图所示，我们可以了解短篇论文和长篇论文标题的不同之处。端到端建模、联合建模、对抗性学习和阅读理解在长篇论文标题中较为普遍。案例研究、社交媒体和多语言分析在短篇论文中更为流行。学习、神经和翻译在两组论文中都很常见。