预训练语言模型设计的理论化认识
在这篇文章中，我会介绍一篇最新的预训练语言模型的论文，出自mass的同一作者。这篇文章的亮点是：将两种经典的预训练语言模型（maskedlanguage model, permuted language model）统一到一个框架中，并且基于它们的优势和缺点，取长补短，提出了一个新的预训练语言模型----mpnet，其混合了mlm和plm各自的优势，达到了比两者更好的效果，在natural language understanding和naturallanguagegeneration任务中，都取得了较好的结果。实验表明mpnet在大量下游任务中超越了mlm和plm，从而证明了pretrain方法中的2个关键点:
被预测的token之间的依赖关系 (mpnet vs mlm)
整个序列的位置信息 (mpnet vs plm)
mpnet: masked and permuted pre-training for language understanding(https://arxiv.org/pdf/2004.09297.pdf)
【小小说】这篇论文我很喜欢，读下来有一种打通了任督二脉一般行云流水的感觉。在本文中，我会从bert和xlnet的统一理论框架讲起，然后引出作者如何得到mpnet这一训练方式，接着会介绍一下作者具体实现上用到的方法。希望本文可以让你对预训练语言模型的设计有一个更加理论化的认识。
1. bert和xlnet各自的优缺点
❝既然是从bert和xlnet到mpnet，那么当然是要先从这两者讲起。大家对bert应该比较熟悉，它是划时代的工作，可以说从bert开始，nlp领域正式进入了“预训练模型”的时代。而xlnet是随后的重磅之作，在这一节中，我们先来回顾一下它们。❞
「bert」: masked language model , 使用了双边的context信息，但是忽略了masked token之间的依赖关系
「xlnet」: permuted language model , 保留了masked token之间的依赖关系，但是预测的时候每个token只能看到permuted sequence中的前置位的token的信息，不能看到所有token的信息。(p.s. 不知道xlnet的宝宝辛苦去复习 【论文串讲】从gpt和bert到xlnet )
作者分别从input和output两个角度总结了两者的优缺点分别存在的地方:
「input discrepancy」: 在natural language understanding的任务中，模型可以见到完整的input sentence，因此要求在预训练阶段，input要尽可能输入完整的信息
mlm中，token的语言信息是不完整的，不过位置信息是保留的(通过position embedding，p.s. 想具体了解如何通过position embedding保留的，请移步参考 【经典精读】transformer模型深度解读 中使用positional encoding带来的独特优势这部分的内容)
plm中，每个被预测的token只能“看”到被打乱的序列中位于它自己前面的token，而不能像mlm一样“看”到两侧的token。
「output dependency」:
mlm中，输出的token，即在input端被mask掉的token，是「互相独立的」。也就是说这些被mask掉的token之间是假定没有context层面的关系的。
plm规避了mlm中的问题，被预测的token之间也存在context层面的关系。
「总结一下就是：」
❝「plm在output dependency的问题上处理得比mlm好，但是预训练阶段和fine-tune阶段之间的差异比mlm的更大。」❞
2. 统一mlm和plm的优化目标
❝了解了bert和xlnet各自的优缺点和适用的场景后，本文的作者试图从一个统一的视角去总结这两种预训练模型，而这个总结，引出了后来的mpnet。❞
基于以上两点观察，本文的作者提出了统一masked language model和permuted language model的想法，并且起名叫「m」asked and「p」ermuted language model，缩写「mpnet」，意在取两者之长，避两者之短。
2.1. 统一优化目标的提出
mlm: 由于masked language model中的独立性假设“每个被mask的位置的token之间是彼此独立的”，我们可以换一种方式看待masked language model: 把masked tokens统一挪到序列的末尾，这样做并不会改变模型的任何部分，只是我们的看待方式变了。
重新看待masked language model
2. plm: 原顺序 被打乱成
，然后最右边的两个token 和 就被选作要预测的token。
重新看待permuted language model
基于上述的讨论，作者给出了统一mlm和plm训练目标的框架：将没有被mask的token放在左边，而将需要被预测的token（被mask掉的）放在右边。
「mlm」
「plm」
其中，是序列的其中一个permutation，表示在该permutation中的第 位，表示位置小于的所有位置。
2.2. 讨论
mlm和plm的训练目标公式非常接近，唯一的区别在于，mlm条件概率的条件部分是 和 ; 而plm的条件部分是，它们的区别是：
mlm比plm多了 这个条件，也就是比plm多了关于序列长度的信息(一个[m]就是一个位置)。
plm比mlm多了被预测部分token之间的相关性:plm的 是随着预测的进行(t的变化)而动态变化的，mlm的 对于整个模型预测过程进行是恒定不变的。
3. 提出mpnet
❝
基于上一节的总结，作者按照相同的思路提出了mpnet的预训练目标
❞
「a. mpnet的预训练目标」
我们既要像mlm那样，在预测时获取到序列长度的信息；又要像plm那样，在预测后一个token时，以前面的所有token(包含前置位被预测出来的)为条件。mpnet做到了：
mpnet示意图
(b)图中灰色的部分是encoder端的bidirectional self-attention
(b)图中蓝色和绿色的部分分别是decoder端的two stream self-attention的content stream和query stream (two stream self-attention的具体定义请参考 【论文串讲】从gpt和bert到xlnet )，这里提一下，content stream相当于query stream右移一步。
(a)图中黑色的线+绿色的线即对应了(b)图中的绿色点，(a)图中黑色的线+蓝色的线即对应了(b)图中的蓝色点。
(b)图中的行对应着query position，列对应着column position。
「b. ”位置补偿“」
由于用到了permuted language model的思想，所以mpnet和xlnet一样，也要使用two-stream self-attention。想要实现预训练目标中的 ，在实现上作者提出了“位置补偿”(positioncompensation)，也就是说，在预测过程的每一步，query stream和contentstream都可以看到n(n即序列长度)个token，具体结合图中的例子来说就是，
预测 时: 已知 , , , , , , , ,
预测 时: 已知 , , , , , , , , ,
预测 时: 已知 , , , , , , , , , ,
也就是说，无论预测到哪一步， , ,
, , , 这6个位置信息都可见。我们回顾一下xlnet，作一下对比:
预测 时: 已知 , , , , , ,
预测 时: 已知 , , , , , , , ,
预测 时: 已知 , , , , , , , , , ,
可以看出，在预测 时，比mpnet少了 , ，在预测 时，比mpnet少了 。
「c. 总结」
mpnet有效性来自于它保留了更多的信息
通过上面的详细讲解，相信到这儿大家也明白了：mpnet保留的信息是bert和xlnet的并集，第一，它利用plm的自回归特性，规避了mlm的独立性假设，在预测后面token时也利用了之前预测出来的token；第二，它利用mlm建模中自带的序列信息，规避了plm在预测前面的token时不知道序列整体的长度的缺点。这两点保证了mpnet完美扬长避短，因此在下游任务中完美击败了前两者。
给我们的启发
致力于弥合pre-train阶段和下游任务fine-tune阶段的预训练目标，尽可能减少训练和预测过程中信息的损失，是研究预训练模型的重中之重，也是预训练模型领域整体的发展方向。读预训练系列论文的时候一定要抓住这个核心线索去读。
原文标题：【论文串讲】从bert和xlnet到mpnet
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
全球云市场稳步发展，云服务将迎来最好时代
信息网格服务结构模型及未来发展方向
意法半导体推出针对智能工业应用的高集成度、高灵活性的同步整流DC/DC转换器
Datalogic得利捷将携新品Memor 11系列移动终端亮相2023中国零售业博览会
自动驾驶浪潮袭来,汽车产业链面临重新洗牌
预训练语言模型设计的理论化认识
基于SOGI滤波器的单相锁频环仿真案例
点云滤波与匹配进阶干货收藏
东芝开始提供业内首批符合UFS 2.0的嵌入式NAND闪存模块的样品出货
Linux初始的RAM磁盘（initrd）的概述
AI如何真正赋能到落地场景中，带来实际价值
模拟晶圆生产线产能需求旺盛，国内现有产能严重不足
下游新能源汽车市场复苏带动上游锂盐市场需求增长
Haylou Smart Watch智能手表在小米有品商城开启众筹 首发价99.9元
开放、包容的MM32合作共赢平台——2019灵动MM32协作大会成功举办
温度容限监测系统
传感器市场稳步增长 20家国内企业抢食“大蛋糕”
华为的胜利,本质上美式制度和管理的胜利
Spring事务的传播行为与回滚机制
永续合约系统开发,场外OTC交易系统源码开发费用
被预测的token之间的依赖关系 (mpnet vs mlm)
整个序列的位置信息 (mpnet vs plm)
mpnet: masked and permuted pre-training for language understanding(https://arxiv.org/pdf/2004.09297.pdf)
【小小说】这篇论文我很喜欢，读下来有一种打通了任督二脉一般行云流水的感觉。在本文中，我会从bert和xlnet的统一理论框架讲起，然后引出作者如何得到mpnet这一训练方式，接着会介绍一下作者具体实现上用到的方法。希望本文可以让你对预训练语言模型的设计有一个更加理论化的认识。
1. bert和xlnet各自的优缺点
❝既然是从bert和xlnet到mpnet，那么当然是要先从这两者讲起。大家对bert应该比较熟悉，它是划时代的工作，可以说从bert开始，nlp领域正式进入了“预训练模型”的时代。而xlnet是随后的重磅之作，在这一节中，我们先来回顾一下它们。❞
「bert」: masked language model , 使用了双边的context信息，但是忽略了masked token之间的依赖关系
「xlnet」: permuted language model , 保留了masked token之间的依赖关系，但是预测的时候每个token只能看到permuted sequence中的前置位的token的信息，不能看到所有token的信息。(p.s. 不知道xlnet的宝宝辛苦去复习 【论文串讲】从gpt和bert到xlnet )
作者分别从input和output两个角度总结了两者的优缺点分别存在的地方:
「input discrepancy」: 在natural language understanding的任务中，模型可以见到完整的input sentence，因此要求在预训练阶段，input要尽可能输入完整的信息
mlm中，token的语言信息是不完整的，不过位置信息是保留的(通过position embedding，p.s. 想具体了解如何通过position embedding保留的，请移步参考 【经典精读】transformer模型深度解读 中使用positional encoding带来的独特优势这部分的内容)
plm中，每个被预测的token只能“看”到被打乱的序列中位于它自己前面的token，而不能像mlm一样“看”到两侧的token。
「output dependency」:
mlm中，输出的token，即在input端被mask掉的token，是「互相独立的」。也就是说这些被mask掉的token之间是假定没有context层面的关系的。
plm规避了mlm中的问题，被预测的token之间也存在context层面的关系。
「总结一下就是：」
❝「plm在output dependency的问题上处理得比mlm好，但是预训练阶段和fine-tune阶段之间的差异比mlm的更大。」❞
2. 统一mlm和plm的优化目标
❝了解了bert和xlnet各自的优缺点和适用的场景后，本文的作者试图从一个统一的视角去总结这两种预训练模型，而这个总结，引出了后来的mpnet。❞
基于以上两点观察，本文的作者提出了统一masked language model和permuted language model的想法，并且起名叫「m」asked and「p」ermuted language model，缩写「mpnet」，意在取两者之长，避两者之短。
2.1. 统一优化目标的提出
mlm: 由于masked language model中的独立性假设“每个被mask的位置的token之间是彼此独立的”，我们可以换一种方式看待masked language model: 把masked tokens统一挪到序列的末尾，这样做并不会改变模型的任何部分，只是我们的看待方式变了。
重新看待masked language model
2. plm: 原顺序 被打乱成
，然后最右边的两个token 和 就被选作要预测的token。
重新看待permuted language model
基于上述的讨论，作者给出了统一mlm和plm训练目标的框架：将没有被mask的token放在左边，而将需要被预测的token（被mask掉的）放在右边。
「mlm」
「plm」
其中，是序列的其中一个permutation，表示在该permutation中的第 位，表示位置小于的所有位置。
2.2. 讨论
mlm和plm的训练目标公式非常接近，唯一的区别在于，mlm条件概率的条件部分是 和 ; 而plm的条件部分是，它们的区别是：
mlm比plm多了 这个条件，也就是比plm多了关于序列长度的信息(一个[m]就是一个位置)。
plm比mlm多了被预测部分token之间的相关性:plm的 是随着预测的进行(t的变化)而动态变化的，mlm的 对于整个模型预测过程进行是恒定不变的。
3. 提出mpnet
❝
基于上一节的总结，作者按照相同的思路提出了mpnet的预训练目标
❞
「a. mpnet的预训练目标」
我们既要像mlm那样，在预测时获取到序列长度的信息；又要像plm那样，在预测后一个token时，以前面的所有token(包含前置位被预测出来的)为条件。mpnet做到了：
mpnet示意图
(b)图中灰色的部分是encoder端的bidirectional self-attention
(b)图中蓝色和绿色的部分分别是decoder端的two stream self-attention的content stream和query stream (two stream self-attention的具体定义请参考 【论文串讲】从gpt和bert到xlnet )，这里提一下，content stream相当于query stream右移一步。
(a)图中黑色的线+绿色的线即对应了(b)图中的绿色点，(a)图中黑色的线+蓝色的线即对应了(b)图中的蓝色点。
(b)图中的行对应着query position，列对应着column position。
「b. ”位置补偿“」
由于用到了permuted language model的思想，所以mpnet和xlnet一样，也要使用two-stream self-attention。想要实现预训练目标中的 ，在实现上作者提出了“位置补偿”(positioncompensation)，也就是说，在预测过程的每一步，query stream和contentstream都可以看到n(n即序列长度)个token，具体结合图中的例子来说就是，
预测 时: 已知 , , , , , , , ,
预测 时: 已知 , , , , , , , , ,
预测 时: 已知 , , , , , , , , , ,
也就是说，无论预测到哪一步， , ,
, , , 这6个位置信息都可见。我们回顾一下xlnet，作一下对比:
预测 时: 已知 , , , , , ,
预测 时: 已知 , , , , , , , ,
预测 时: 已知 , , , , , , , , , ,
可以看出，在预测 时，比mpnet少了 , ，在预测 时，比mpnet少了 。
「c. 总结」
mpnet有效性来自于它保留了更多的信息
通过上面的详细讲解，相信到这儿大家也明白了：mpnet保留的信息是bert和xlnet的并集，第一，它利用plm的自回归特性，规避了mlm的独立性假设，在预测后面token时也利用了之前预测出来的token；第二，它利用mlm建模中自带的序列信息，规避了plm在预测前面的token时不知道序列整体的长度的缺点。这两点保证了mpnet完美扬长避短，因此在下游任务中完美击败了前两者。
给我们的启发
致力于弥合pre-train阶段和下游任务fine-tune阶段的预训练目标，尽可能减少训练和预测过程中信息的损失，是研究预训练模型的重中之重，也是预训练模型领域整体的发展方向。读预训练系列论文的时候一定要抓住这个核心线索去读。
原文标题：【论文串讲】从bert和xlnet到mpnet
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
全球云市场稳步发展，云服务将迎来最好时代
信息网格服务结构模型及未来发展方向
意法半导体推出针对智能工业应用的高集成度、高灵活性的同步整流DC/DC转换器
Datalogic得利捷将携新品Memor 11系列移动终端亮相2023中国零售业博览会
自动驾驶浪潮袭来,汽车产业链面临重新洗牌
预训练语言模型设计的理论化认识
基于SOGI滤波器的单相锁频环仿真案例
点云滤波与匹配进阶干货收藏
东芝开始提供业内首批符合UFS 2.0的嵌入式NAND闪存模块的样品出货
Linux初始的RAM磁盘（initrd）的概述
AI如何真正赋能到落地场景中，带来实际价值
模拟晶圆生产线产能需求旺盛，国内现有产能严重不足
下游新能源汽车市场复苏带动上游锂盐市场需求增长
Haylou Smart Watch智能手表在小米有品商城开启众筹 首发价99.9元
开放、包容的MM32合作共赢平台——2019灵动MM32协作大会成功举办
温度容限监测系统
传感器市场稳步增长 20家国内企业抢食“大蛋糕”
华为的胜利,本质上美式制度和管理的胜利
Spring事务的传播行为与回滚机制
永续合约系统开发,场外OTC交易系统源码开发费用