让机器自动写SQL语言，首届中文NL2SQL挑战赛等你来战

「大众 10 万到 20 万之间的车型有几种？」——机器能理解这样的自然语言，并从表格中检索出答案吗？这是非常值得探索的问题，也是追一科技举办中文 NL2SQL 挑战赛的重要目的。

SELECT SUM(col_3) FROM Table_4d29d0513aaa11e9b911f40f24344a08 WHERE (col_1 == '大黄蜂' and col_1 == '密室逃生')

如果完全正确时，表达式当然没问题，但是只要有一个子句预测错误，整条语句都会有问题。为此，在实际竞赛中，追一科技的基线模型会提供多种度量标准，我们不仅需要知道每个子句的正确情况，还需要知道整体表达式的正确情况。

基线模型

这样的问题确实非常具有挑战性，因此追一科技提供了基线解决方案供选手参考。只要选手报名了挑战赛，那么就能下载数据集，并放到基线模型上试试效果。我们可以只修改核心的模型部分，就能得出更优秀的结果。

• 基线模型地址：https://github.com/ZhuiyiTechnology/nl2sql_baseline

基线模型使用 Python 2.7 和 torch 1.0.1 构建，选手需要在天池赛题页面下载数据集与预训练词嵌入，并按一定结构组织才能最终跑起来。如下所示是我们需要组织的数据集结构，后面会把如下 data_nl2sql 目录的所有内容复制到基线模型下的 data 目录。

这里数据集都介绍过了，但还有额外的字符级词向量文件 char_embedding。

追一科技表示，他们提供的字符级预训练词嵌入，会在 10G 大小的百度百科和维基百科语料上采用 Skip-Gram 训练。以字为单位可以避免专有名词带来的 OOV 问题以及分词错误所带来的错误累积。

理论上，我们也可以采用 BERT 来作为模型的输入表示。BERT 的细粒度分词对数据集很友好，而且目前在 WikiSQL 数据集上的 SOTA 模型 X-SQL 以及 SQLova 都是采用这样的策略。追一科技表示，他们将 SOTA 模型迁移到这次挑战赛的数据集后，效果也会有较大的提升，所以选手也可以试试 BERT。

最后，基线模型的 GitHub 项目详细介绍了训练及评估过程，选手只要跟着它一步步走就行了。此外，如果本地环境配置有问题或者缺少 GPU 算力，也可以试试在 Colab 上跑基线模型：

• Colab 基线模型：https://drive.google.com/open?id=10RtAom_D4zOp_w5OsYLTtLd2TEuC7C1X

模型训练所需要的算力还是挺大的，在 K80 上训练一个 Epoch 大概需要 7 到 8 分钟，基线模型默认训练 100 个 Epoch。追一表示试验多次后，验证集上的平均 Logic Form Accuracy 为 27.5%，即 SQL 每一个子句全都预测正确的概率为 27.5%。

模型结构

基线模型是在 17 年 SQLNet 的基础上改进的，该网络也是 WikiSQL 数据集的基线模型。该网络的核心思想即将不同的子句分离开，因为不同子句的顺序有的并没有太大关系，它们间的独立性可能非常强，所以分离开也许是个不错的想法。

SQLNet 定义了一个模板，它把子句间的依赖性都构建在模板上，因此不同子句填充到该模板就能完成 SQL 语句的构建。现在模型需要单独预测出各个子句的值，即用 6 个神经网络预测选择的列、聚合函数、条件类型和条件值等等。

下图 (a) 展示了 SQL 表达式的模板，其分为 SELECT 和 WHERE 两部分，WHERE 还可能不止一个条件句。下图 (b) 展示了各个子任务间的依赖性关系，SELECT 和 WHERE 之间是相互独立的，但它们内部之间是有相关性的。例如 WHERE 下的每一个条件句，模型要根据特征列确定特征列的值，也需要根据特征列确定它与值之间的条件类型，最终它们三者组合起来就能确定条目（行）。

图注：选自 SQLNet 原论文，arXiv: 1711.04436。

这个模板算是比较通用的，而且任何 SQL 语言都可以通过扩展模板囊括进去。在挑战赛的基线模型中，它与 SQLNet 的区别并不大，只不过挑战赛会增加 Select-Number 和 Where-Relationship 两个子任务，这两个字任务能更好地适应中文 NL2SQL 数据集。

其实模型比较难解决的还是 WHERE 子句，我们发现该子句中确定特征列，及确定特征列的值是最困难的，它们的准确率相对其它子任务都要低一些。所以如何解决这些问题，并构建更强大的整体性能就是选手们该思考的。

代码结构

模型主体都在 sqlnet 目录下，而我们需要理解并修改的代码基本上都在它的子目录 model 下，其它数据加载或处理等函数直接复用就行了。如下简要展示了 model 目录的代码结构，其中 sqlnet 文件负责搭建整体网络框架，modules 目录下的代码则是完成子任务的各个神经网络。

追一表示，总体而言核心代码可以分为三大部分，选手可以从这三部分出发修改基线模型：

• 输入表达：因为问句及表格数据中存在很多的专有名词，为了避免词表覆盖度不足及错误分词而导致的 OOV 问题，自然语言问句和表格列名、表格内容都采用了以字为单位的字向量作为基本单位。可以比较容易地切换为 BERT、MT-DNN 及其它更优秀的特征表达。

• 编码层：采用了双向 LSTM 来对自然语言问句及列名进行编码，从而得到相应的向量表征。这一部分的结构在多个子任务中是共享的，但参数不共享。

• 各个子任务模块：因为 baseline 是基于 SQLNet 改动而来，所以模型仍有多个子任务。按照子任务的不同，基线模型在代码层面也很显式地进行了模块化。如果选手对不同子任务之间的关系有更好的想法，甚至认为 SQL 有更好的生成方式，都可以直接在这些子任务模块进行改写。

评分标准

对于模型的评估，其主要有两个指标：Logic Form Accuracy 和 Execution Accuracy，最后选手排名的依据则是这两项指标的平均值。其中，Logic Form Accuracy 代表的是选手预测出的 SQL 与真实的 SQL 逻辑一致的准确率，即选择的目标列是否一致、聚合函数是否一致、条件列是否一致、条件值是否一致等等。Execution Accuracy 代表的是选手预测出的 SQL 执行结果与真实 SQL 执行结果是否一致。

这两个指标的计算都非常简单，如果预测的 SQL 表达式或者检索结果与标注一致，那么正确数加 1，最后正确数除上总预测数 就是最终的正确率。

但在实际训练中，基线模型还会输出一系列子任务的效果，如下是训练 80 个 Epoch 后的输出结果，我们可以看到除了 Logic Form 和 Execution 准确率外，还有 Sel-Num 等 8 个子任务的准确率。

如上所示「Sel-」表示 SELECT 部分的子任务，「W-」表示 WHERE 部分的子任务。例如 Sel-Col 表示选择列的正确率 、Sel-Agg 为选择聚合函数的正确率、W-Op 为选择条件类型的正确率、W-Val 为选择条件值的正确率等等。

差异与改进

前面基线模型展示了一般的解决方案，目前也有很多优秀的 NL2SQL 模型可以借鉴，它们在 WikiSQL 数据集上达到了 SOTA 结果。但这里我们需要理解竞赛数据集与 WikiSQL 之间的差别是什么，这样才能有目的地改进。

数据集的三大差异

追一科技表示本次竞赛数据集与 WikiSQL 主要有三点差异/难点，它们也是本次比赛中选手需要去解决的核心问题。

1. 表格内容对选手是可见的，并且问题具有泛化性

以此表为例，如果在 WikiSQL 中，自然语言问句应该是「腾讯控股的股票今天涨了多少」，相应的 SQL 语句是「SELECT 涨跌幅 FROM TABLE WHERE 股票名称=="腾讯控股"」，所以模型可以简单地从原句中抽取一个子字符串来作为条件值。但在挑战赛的数据集中，同样的问句可能会变成「鹅厂今天涨了多少」，这就要求模型不仅可以预测出需要针对「股票名称」这一列做条件限制，同时还要能泛化到表格的内容来生成正确的 SQL。

2. 省略显式的列名信息，更口语化的表达

在 WikiSQL 中，自然语言问句由于标注方式的原因，更像是基于模板的问句，所以通常会带有比较明显的列名信息。比如「腾讯控股的股票今天涨了多少」就会带有「股票」这个列名信息。在挑战赛的数据集中，问题会变得更加口语化、贴近真实场景，这样就要求模型首先要把腾讯和股票名称这一列联系起来，才能正确地生成 SQL。

3. 数字的单位问题

针对如下这样的表格，数据集中的问题可能是，我们的问题为：「北京这周成交了多少千平方米？」。这样在千平方米和万平方米间就存在非归一化单位的问题。

提升方案

前面展示了几种数据集的不同之处，理解它们对改进方案非常重要。前面已经介绍过 X-SQL 和 SQLova 等 WikiSQL 当前最佳模型都在采用 BERT、MT-DNN 作为输入表征，它们能取得非常好的效果。此外，模型的处理流程和依赖关系都可以改进，因此可以总结为如下三个方向：

1. BERT、XLNet 等更好的输入特征

2. 更合理的模型结构：目前的基线模型是 pipeline 的方式，预测完 condition column 之后再去预测 condition op 和 condition value。但在真实数据中，我们需要一种联合预测的方式来解决问题。

3. 如何合理地将表格内数据也结合进模型，以前的方案都忽略了表格内数据。

这里展示几篇上面3个方向的论文，更多顶尖模型可以在 WikiSQL 基准中找到：

[1]X-SQL: reinforce context into schema representation, 2019
[3]Semantic Parsing with Syntax- and Table-Aware SQL Generation, 2018
[1]A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization, 2019

• WikiSQL 基准：https://github.com/salesforce/WikiSQL 

本文为机器之心原创，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：content@jiqizhixin.com

广告 & 商务合作：bd@jiqizhixin.com

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/