知识图谱与BERT相结合助力语言模型
感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的模型，欢迎大家留言讨论交流。
在之前的一期推送中，我们给大家介绍过百度的ernie。其实清华大学nlp实验室，比百度更早一点，也发表了名为ernie的模型，即enhanced language representation with informative entities。
他们认为现存的预训练语言模型很少会考虑与知识图谱（knowledge graph： kg）相结合，但其实知识图谱可以提供非常丰富的结构化知识和常识以供更好的语言理解。他们觉得这其实是很有意义的，可以通过外部的知识来强化语言模型的表示能力。在这篇文章中，他们使用大规模语料的语言模型预训练与知识图谱相结合，更好地利用语义，句法，知识等各方面的信息，推出了enhanced language representation model（ernie），在许多知识驱动的任务上获得了巨大提升，而且更适用于广泛通用的nlp任务。
作者提出，要将知识嵌入到自然语言模型表达中去，有两个关键的挑战：
知识的结构化编码
对于一个给定的文本，如何从知识图谱中，高效地将和文本相关的常识或知识抽取出来并编码是一个重要问题。
异构信息融合
语言模型表示的形式和知识图谱的表达形式是大不相同的，是两个独立的向量空间。怎么样去设计一个独特的训练任务来将，语义，句法，知识等信息融合起来是另一个挑战。
针对这些挑战， 清华nlp实验室提出方案是 enhanced language representation with informative entities （ernie）
首先，通过识别文本中的命名实体，然后将其链指到知识图谱中的相应实体上，进行知识的抽取和编码。相比于直接使用知识图谱中基于图结构的信息，作者通过trane这样的知识嵌入算法，对知识图谱的图结构实体进行编码，然后将这富有信息的实体表示作为ernie的输入，这样就可以把知识模块中的实体的信息表示，引入到模型下层的语义表示中去。
其次，和bert类似，采用了mlm和nsp的预训练目标。除此以外，为了更好地融合文本信息和知识信息，设计了一个新的预训练目标，通过随机地mask一些命名实体，同时要求模型去知识图谱中寻找合适的实体，来填充被mask掉的部分。这个训练目标这样做就可以要求语言模型，同时利用文本信息和知识图谱来对token-entity进行预测，从而成为一个富有知识的语言表达模型。
本文在两个知识驱动的nlp任务entity typing 和 relation classification进行了实验，enrie在这两个任务上的效果大幅超越bert，因为其充分利用了语义，句法和知识信息。在其他的nlp任务上，enrie的效果也很不错。
定义
首先，定义我们的文本token序列为{w1， 。 . 。 ， wn}，n为token序列的长度。同时，输入的token可以在kg中对应entity。所对应entity的序列为{e1， 。 . 。 ， em}， m是序列中entity的数量。因为不一定每一个token都对应得到kg中的一个entity，所以在大多数情况下m不等于n。所有token的集合也就是字典为v，在kg中所有entity的列表为e。如果，某个在v中的token w ∈ v 在kg中有对应的entity e ∈ e。那么这个对应关系定义为f（w） = e
我们可以看下方的模型结构图，大概包括两个模块。
下层的文本编码器（t-encoder），负责捕捉基本的词法和句法的信息，其与bert的encoder实现是相同的，都是多层的transformer，层数为n。
上方的知识编码器（k-encoder），负责将跟entity相关的知识信息融入到下方层传来的文本编码信息中，两者可以在统一的特征空间中去表示。t-encoder的输出是{w1， 。 . 。 ， wn}，实体输入通过trane得到的知识嵌入为{e1， 。 . 。 ， em}。两者通过k-encoder计算出对应的特征以实现特定任务。
k-encoder的结构和bert略微不同，包含m个stacked aggregators。首先对token的输出和entity的embedding通过两个多头自注意力进行self attention。
接着，通过以下的式子进行两者的结合。wt和we分别是token和embedding的attention权重矩阵。
pre-training for injecting knowledge
除了结构的改变以外，文章提出了特殊的预训练语言模型训练目标。通过随机地mask一些entity然后要求模型通过知识图谱中实体来进行选择预测，起名为denoising entity auto-encoder（dea）。由于知识图谱中entity的数量规模相对softmax层太大了，会首先在kg中进行筛选找到相关的entity。有时候token和entity可能没有正确的对应，就需要采取一些措施。
5%的情况下，会将token对应的entity替换成一个随机的entity，这是让模型能够在align错的时候，能够纠正过来。
15%的情况下，会将entity mask掉，纠正没有把所有存在的entity抽取出来和entity进行对应的问题。
其余的情况下，保持token-entity alignments 不变，来将entity的表示融合进token的表示，以获得更好的语言理解能力。
fine-tuning for specific tasks
对于大量普通的nlp任务来说，ernie可以采取和bert相似的finetune策略，将［cls］的输出作为输入文本序列的表示。对于一些知识驱动的任务，我们设计了特殊的finetune流程。
对于关系分类任务，任务要求模型根据上下文，对给定的entity对的关系进行分类。本文设计了特殊的方法，通过加入两种mark token来高亮实体。［hd］ 表示head entity， ［tl］表示tail entity。
对于实体类别分类任务，finetune的方式是关系分类的简化版，通过［ent］标示出entity的位置，指引模型同时结合上下文和实体的信息来进行判断。
模型细节
从头开始训enrie的代价太大了，所以模型用了bert的参数初始化。利用英文wiki作为语料，和wikidata进行对应，语料中包含大约4500m个subwords，和140m个entities，将句中小于三个实体的样本丢弃。通过trane算法在wikidata上训练entity的embedding。使用了部分wikidata，其中包含5040986个实体和24267796个三元组。
模型尺度上来说，t-encoder的层数n为6，k-encoder层数m为6。隐藏层维度两个网络分别hw = 768， he = 100。attention的头数分别 aw = 12， ae = 4。总参数量大约114m。
ernie仅在语料上训练了一轮，最大文本长度由于速度原因设为256，batch-size为512。除了学习率为5e-5，其他参数和bert几乎一样。
实验效果
直接放图吧，比当时的state-of-the-art ：bert在很多任务上都提升了不少。
这里作者认识到，有了知识图谱的介入，可以用更少的数据达到更好的效果。
结论
在文中提出了一种方法名为ernie，来将知识的信息融入到语言表达的模型中。具体地，提出了knowledgeable aggregator 和预训练任务dea来更好地结合文本和知识图谱两个异构的信息源。实验表明，enrie能更好地在有限的数据上进行训练和泛化。
未来还有几个重要的方向值得研究
将知识嵌入到基于特征的预训练语言模型如elmo。
引入更多不同的结构化知识进入到语言表达模型中去，比如conceptnet，这和wikidata是完全不同的方式。
进行真实世界更广泛的语料收集，可以进行更通用和有效的预训练
自动交付初创公司Nuro筹集了5亿美元的新资金拖曳+ 2.5%
【节能学院】芜湖苏宁环球酒店电力管理系统的研究及应用
数模转换器（DAC）数字音频信号转回模拟电信号技术
联发科技宣布开发Gigabit Wi-Fi连网产品
三星note8最新消息，三星note8什么时候上市？又是一个被队友“出卖”的手机，note8指纹识别及渲染图曝光
知识图谱与BERT相结合助力语言模型
RTX2080Ti超频测试 一起来期待图灵构架的移动显卡吧
高通发布骁龙X65基带：新iPhone能用上
斯凯孚发布新一代产品及解决方案，以创新重构旋转
甲小姐对话单记章：自动驾驶的中国芯
这几种毫米波雷达RF前端模块，您必须烂熟在心里
大疆晓Spark评测 小巧轻便随身携带手势控制操作简便
联想Z5ProGT855版全面评测 全球首款855联想的硬实力
全面解析动力电池技术、能量密度及发展路线
CSIRO开发智能宠物项圈，搭载蓝牙和GPS满足长短距离定位
BK芯片，Wi-Fi 6音视频-BLE-2.4g选型
高频变压器为什么需要定制，这样做的好处是什么
电话分机保密器工作原理及使用调整
详解国产音频DAC芯片的工作原理及应用
SPI编程时，如何理解时钟相位和时钟极性
在之前的一期推送中，我们给大家介绍过百度的ernie。其实清华大学nlp实验室，比百度更早一点，也发表了名为ernie的模型，即enhanced language representation with informative entities。
他们认为现存的预训练语言模型很少会考虑与知识图谱（knowledge graph： kg）相结合，但其实知识图谱可以提供非常丰富的结构化知识和常识以供更好的语言理解。他们觉得这其实是很有意义的，可以通过外部的知识来强化语言模型的表示能力。在这篇文章中，他们使用大规模语料的语言模型预训练与知识图谱相结合，更好地利用语义，句法，知识等各方面的信息，推出了enhanced language representation model（ernie），在许多知识驱动的任务上获得了巨大提升，而且更适用于广泛通用的nlp任务。
作者提出，要将知识嵌入到自然语言模型表达中去，有两个关键的挑战：
知识的结构化编码
对于一个给定的文本，如何从知识图谱中，高效地将和文本相关的常识或知识抽取出来并编码是一个重要问题。
异构信息融合
语言模型表示的形式和知识图谱的表达形式是大不相同的，是两个独立的向量空间。怎么样去设计一个独特的训练任务来将，语义，句法，知识等信息融合起来是另一个挑战。
针对这些挑战， 清华nlp实验室提出方案是 enhanced language representation with informative entities （ernie）
首先，通过识别文本中的命名实体，然后将其链指到知识图谱中的相应实体上，进行知识的抽取和编码。相比于直接使用知识图谱中基于图结构的信息，作者通过trane这样的知识嵌入算法，对知识图谱的图结构实体进行编码，然后将这富有信息的实体表示作为ernie的输入，这样就可以把知识模块中的实体的信息表示，引入到模型下层的语义表示中去。
其次，和bert类似，采用了mlm和nsp的预训练目标。除此以外，为了更好地融合文本信息和知识信息，设计了一个新的预训练目标，通过随机地mask一些命名实体，同时要求模型去知识图谱中寻找合适的实体，来填充被mask掉的部分。这个训练目标这样做就可以要求语言模型，同时利用文本信息和知识图谱来对token-entity进行预测，从而成为一个富有知识的语言表达模型。
本文在两个知识驱动的nlp任务entity typing 和 relation classification进行了实验，enrie在这两个任务上的效果大幅超越bert，因为其充分利用了语义，句法和知识信息。在其他的nlp任务上，enrie的效果也很不错。
定义
首先，定义我们的文本token序列为{w1， 。 . 。 ， wn}，n为token序列的长度。同时，输入的token可以在kg中对应entity。所对应entity的序列为{e1， 。 . 。 ， em}， m是序列中entity的数量。因为不一定每一个token都对应得到kg中的一个entity，所以在大多数情况下m不等于n。所有token的集合也就是字典为v，在kg中所有entity的列表为e。如果，某个在v中的token w ∈ v 在kg中有对应的entity e ∈ e。那么这个对应关系定义为f（w） = e
我们可以看下方的模型结构图，大概包括两个模块。
下层的文本编码器（t-encoder），负责捕捉基本的词法和句法的信息，其与bert的encoder实现是相同的，都是多层的transformer，层数为n。
上方的知识编码器（k-encoder），负责将跟entity相关的知识信息融入到下方层传来的文本编码信息中，两者可以在统一的特征空间中去表示。t-encoder的输出是{w1， 。 . 。 ， wn}，实体输入通过trane得到的知识嵌入为{e1， 。 . 。 ， em}。两者通过k-encoder计算出对应的特征以实现特定任务。
k-encoder的结构和bert略微不同，包含m个stacked aggregators。首先对token的输出和entity的embedding通过两个多头自注意力进行self attention。
接着，通过以下的式子进行两者的结合。wt和we分别是token和embedding的attention权重矩阵。
pre-training for injecting knowledge
除了结构的改变以外，文章提出了特殊的预训练语言模型训练目标。通过随机地mask一些entity然后要求模型通过知识图谱中实体来进行选择预测，起名为denoising entity auto-encoder（dea）。由于知识图谱中entity的数量规模相对softmax层太大了，会首先在kg中进行筛选找到相关的entity。有时候token和entity可能没有正确的对应，就需要采取一些措施。
5%的情况下，会将token对应的entity替换成一个随机的entity，这是让模型能够在align错的时候，能够纠正过来。
15%的情况下，会将entity mask掉，纠正没有把所有存在的entity抽取出来和entity进行对应的问题。
其余的情况下，保持token-entity alignments 不变，来将entity的表示融合进token的表示，以获得更好的语言理解能力。
fine-tuning for specific tasks
对于大量普通的nlp任务来说，ernie可以采取和bert相似的finetune策略，将［cls］的输出作为输入文本序列的表示。对于一些知识驱动的任务，我们设计了特殊的finetune流程。
对于关系分类任务，任务要求模型根据上下文，对给定的entity对的关系进行分类。本文设计了特殊的方法，通过加入两种mark token来高亮实体。［hd］ 表示head entity， ［tl］表示tail entity。
对于实体类别分类任务，finetune的方式是关系分类的简化版，通过［ent］标示出entity的位置，指引模型同时结合上下文和实体的信息来进行判断。
模型细节
从头开始训enrie的代价太大了，所以模型用了bert的参数初始化。利用英文wiki作为语料，和wikidata进行对应，语料中包含大约4500m个subwords，和140m个entities，将句中小于三个实体的样本丢弃。通过trane算法在wikidata上训练entity的embedding。使用了部分wikidata，其中包含5040986个实体和24267796个三元组。
模型尺度上来说，t-encoder的层数n为6，k-encoder层数m为6。隐藏层维度两个网络分别hw = 768， he = 100。attention的头数分别 aw = 12， ae = 4。总参数量大约114m。
ernie仅在语料上训练了一轮，最大文本长度由于速度原因设为256，batch-size为512。除了学习率为5e-5，其他参数和bert几乎一样。
实验效果
直接放图吧，比当时的state-of-the-art ：bert在很多任务上都提升了不少。
这里作者认识到，有了知识图谱的介入，可以用更少的数据达到更好的效果。
结论
在文中提出了一种方法名为ernie，来将知识的信息融入到语言表达的模型中。具体地，提出了knowledgeable aggregator 和预训练任务dea来更好地结合文本和知识图谱两个异构的信息源。实验表明，enrie能更好地在有限的数据上进行训练和泛化。
未来还有几个重要的方向值得研究
将知识嵌入到基于特征的预训练语言模型如elmo。
引入更多不同的结构化知识进入到语言表达模型中去，比如conceptnet，这和wikidata是完全不同的方式。
进行真实世界更广泛的语料收集，可以进行更通用和有效的预训练
自动交付初创公司Nuro筹集了5亿美元的新资金拖曳+ 2.5%
【节能学院】芜湖苏宁环球酒店电力管理系统的研究及应用
数模转换器（DAC）数字音频信号转回模拟电信号技术
联发科技宣布开发Gigabit Wi-Fi连网产品
三星note8最新消息，三星note8什么时候上市？又是一个被队友“出卖”的手机，note8指纹识别及渲染图曝光
知识图谱与BERT相结合助力语言模型
RTX2080Ti超频测试 一起来期待图灵构架的移动显卡吧
高通发布骁龙X65基带：新iPhone能用上
斯凯孚发布新一代产品及解决方案，以创新重构旋转
甲小姐对话单记章：自动驾驶的中国芯
这几种毫米波雷达RF前端模块，您必须烂熟在心里
大疆晓Spark评测 小巧轻便随身携带手势控制操作简便
联想Z5ProGT855版全面评测 全球首款855联想的硬实力
全面解析动力电池技术、能量密度及发展路线
CSIRO开发智能宠物项圈，搭载蓝牙和GPS满足长短距离定位
BK芯片，Wi-Fi 6音视频-BLE-2.4g选型
高频变压器为什么需要定制，这样做的好处是什么
电话分机保密器工作原理及使用调整
详解国产音频DAC芯片的工作原理及应用
SPI编程时，如何理解时钟相位和时钟极性