浅析Google Research的LaserTagger和Seq2Edits
本期导读：近年来，序列到序列（seq2seq）方法成为许多文本生成任务的主流思路，在机器翻译、文本摘要等绝大多数生成任务上都得到了广泛的应用。与此同时，一些研究人员另辟蹊径，跳脱出传统的seq2seq方法，探索如何将 编辑方法（edit-based approach） 应用于一些文本生成任务，从而提升模型在生成任务上的表现。本期结合google research的三篇工作，对基于编辑方法的文本生成技术进行介绍。
1. 引言
在文本生成任务中引入编辑方法的 motivation 主要有两方面：
首先，基于transformer结构的seq2seq模型在当前各项文本生成任务上得到了广泛使用。而这类传统seq2seq模型的不足主要有以下几点：
（1）数据效率： 为使模型在文本生成任务上获得较好的表现，传统seq2seq模型通常需要在大量数据上进行训练，时间长，计算量庞大。
（2）推理时间： 传统seq2seq模型在解码时主要采用自回归的方式。这种方式按顺序从左至右一个词一个词地预测输出，虽然遵循了人类语言的单向顺序性，但大大增加了模型的推理时间。
（3）可控性与可解释性： 传统seq2seq模型在输出时会发生一些错误。例如，产生输入文本中并不支持的输出（hallucination）。此外，模型在输出时的可解释性也较差。
其次，以句子融合、语法纠错等为代表的一些文本生成任务均具有 “重合”（overlap） 的特点，即源文本和目标文本在语言上重复性较大，只需要对源文本做微小的改动就能生成目标文本（图1）。因此从头训练一个seq2seq模型然后自回归地预测输出就显得较为浪费。基于此，复制机制（copy mechanism）的引入使得模型能够对当前输出是复制原词还是生成新词进行选择。但即使模型使用了复制机制，仍需要较大规模的训练数据来满足解码时的词汇量需求，从而保证模型性能。
综上，在文本生成任务中引入文本编辑的方法，意在针对一些生成任务中的overlap特点，合理利用源文本与目标文本的相似部分，改善传统seq2seq模型的不足。这种方法直观上保留了从源文本到目标文本的编辑过程（如哪些词保留，哪些词需要删除等），与人类实际处理这类生成任务的思路不谋而合，从而也带来了较好的可解释性。
2. lasertagger
lasertagger是google research在 “encode， tag， realize： high-precision text editing” 一文中提出的文本生成模型，该论文发表于emnlp 2019。
这篇工作的主要贡献有：
（1）将序列标注作为源文本到目标文本的跳板，即首先对源文本标注编辑操作标签，再根据标注得到的标签序列将源文本并行转化为目标文本（图2）。
（2）基于（1）的思路，设计了基于编辑操作的文本生成模型lasertagger（包括lasertaggerff和lasertaggerar两种模型变体），并且在四种文本生成任务上进行了对比实验，获得了较好的效果。
2.1 主要方法
标注操作定义
本文定义文本编辑操作标签由两部分构成：基本标签b和附加标签p，表示为。
基本标签分为两种：保留（）或删除（），指对当前位置的token进行保留还是删除操作。
附加标签指需要在当前位置插入新短语（可以是单个词、多个词或标点等，也可以为空）。
在构造编辑标签序列时，由匹配算法（见图4）从训练语料构造出的phrase vocabulary 中选出合适的短语插入。因此，若词典的大小为，则编辑标签的总规模则约为。
此外，可以根据不同的下游任务定义一些特殊标签。例如在句子融合任务中有时需要交换输入句子的语序，此时可以设置标签swap代表交换语序操作。
构造phrase vocabulary
在构造训练数据对应的编辑标签序列时，若词典无法提供可插入的新短语，则该条训练数据会被筛掉。因此理想的词典应满足以下两点：一方面，词典规模应尽可能的小；另一方面，该词典应能够尽可能的覆盖更多的训练数据。
构造词典的步骤为：
（1） 将源文本和目标文本对齐，计算出它们的最长公共子序列（longest common subsequence， lcs）。
（2） 将目标文本中不属于lcs的n-grams加入词典中。
（3） 最终保留出现频率最高的个phrases。
在实验中发现，词典保留频率最高的500个phrases已能覆盖85%的训练样本，且再继续增大词典规模对lasertagger的性能帮助很小。因此，在本文的各主要实验中，词典的大小均被设置为500。
构造编辑标签序列
在定义好标签、构造完词典之后，就可以根据训练语料中的源文本和目标文本构造出对应编辑标签序列，进行有监督学习。
构造编辑标签序列的算法如图4中伪代码所示。该算法主要采用贪心匹配的思想，通过设置两个指针（is与it）对源文本和目标文本进行遍历，进而构造出标签序列。值得注意的是伪代码中并未给出pdelete标签如何生成。笔者猜测可能是由于pdelete标签与pkeep标签实际上可以相互替代（如图5所示），在实验中二者使用一个即可。
2.2 模型概述
本文设计的lasertagger有两种变体：lasertaggerff与lasertaggerar。前者decoder部分采用前馈网络（feed forward network），推理速度更快；后者decoder部分采用的是1层transformer decoder，推理效果更好。两种变体encoder部分均与bert-base结构相同，为12层transformer encoder。
3. seq2edits
seq2edits是google research在 “seq2edits： sequence transduction using span-level edit operations” 一文中提出的文本生成模型，该论文发表于emnlp 2020。
本篇工作的主要改进有：
（1）与lasertagger不同，seq2edits是在span-level上进行标签标注。即，lasertagger对每一个词（token）标注一个编辑标签，而seq2edits对一个或多个词（span）标注一个编辑标签。
论文作者认为在span-level上进行标注操作能够更好地对局部依赖（local dependencies）进行建模，而对于语法纠错等生成任务而言，人类实际解决这类问题时的主要根据也是span与span间的局部依赖，因此在span-level上进行标注操作也与人类实际解决问题时的思路相吻合。
（2）seq2edits将标注操作进一步细化，每一个span对应的编辑标签都由一个三元组组成，相比lasertagger的标签定义方式粒度更细，因此可解释性也更好。
（3）推理时间不再取决于目标文本的长度，而是依赖于编辑操作的规模。推理速度相比传统seq2seq模型仍得到大幅提升。
3.1 主要方法
标注操作定义
seq2edits的标注操作与lasertagger主要有两点不同：（1）seq2edits是在span-level上打标签；（2）seq2edits的编辑标签被定义为三元组的形式。
编辑标签被定义为一个三元组，其中代表编辑操作类型（例如修改标点，修改动词形式等），代表编辑操作的结束位置（默认当前操作的开始位置为上一个标签的结束位置），为替换短语（保留原文为）。
生成任务表示
设源文本为序列，长度为；目标文本为序列，长度为。
则传统seq2seq思路下文本生成任务可表示为：
使用本文方法，则任务可表示为：
以图7中句子为例，若源文本、目标文本分别为：
则编辑标签序列为：
从源文本到目标文本的过程则可表示为：
从本文对生成任务的概率表示中可以看出，在每一个上，标签三元组中相互并不是条件独立的，而是有着一定的依赖关系，即：
因此，模型在预测标签三元组时存在着先后顺序：在第个上，先预测，然后预测，最后预测。
3.2 模型概述
在理解seq2edits生成文本的概率表示后就不难理解其模型结构。seq2edits沿用了标准的transformer encoder-decoder结构，将decoder分为a和b两部分来分别预测标签、和。decoder a和decoder b之间使用残差连接（residual connections）。
对于位置标签的预测基于pointer-network，使用了类似transformer中attention的机制，即：其中（queries）来自历史的decoder states，（keys）和（values）来自当前的encoder states。
本期介绍了google research的lasertagger和seq2edits两篇工作，下一期将继续介绍google的第三篇工作felix以及三篇工作的实验评价部分和总结，敬请关注。
变频电机型号及参数_变频电机型号表示方法
零度智控与人民网、高通合作 助力『无人机+媒体』发展
人工智能电视迎来三座大山 既是机遇也是挑战
三星S7更新安卓7.0 相机功能五大变化！
36V/30A镍氢电池充电电源的设计和实现
浅析Google Research的LaserTagger和Seq2Edits
苹果今年将会发布两款平板电脑分别为iPad mini 5和一款入门级iPad
串联谐振电路实验原理_串联谐振的特点_串联谐振的原理图
科大讯飞星火认知大模型V3.5发布
25G SFP28 SR 100m光模块特征及应用
研讨会报名丨Nordic低功耗蓝牙芯片&村田中国传感器、高性能微型电池方案深度分享
大众集团推出新型电动汽车移动充电机器人
携手Open RAN领域合作伙伴，VIAVI可在本地、云或以“即服务”提供测试和保障
这11个值得注意的AI应用，需采取预防措施进行应对
光纤熔接机有辐射吗_光纤熔接机是做什么的
高科技高触感的未来购物零售空间如何捕获消费者的心
如何通过组件配置为深度学习培训选择企业服务器
电液伺服疲劳试验机定制服务，让测试更精准
5G和物联网将助力电子测试市场增长
卫星通信序幕拉开，AI算力浪潮澎湃
1. 引言
在文本生成任务中引入编辑方法的 motivation 主要有两方面：
首先，基于transformer结构的seq2seq模型在当前各项文本生成任务上得到了广泛使用。而这类传统seq2seq模型的不足主要有以下几点：
（1）数据效率： 为使模型在文本生成任务上获得较好的表现，传统seq2seq模型通常需要在大量数据上进行训练，时间长，计算量庞大。
（2）推理时间： 传统seq2seq模型在解码时主要采用自回归的方式。这种方式按顺序从左至右一个词一个词地预测输出，虽然遵循了人类语言的单向顺序性，但大大增加了模型的推理时间。
（3）可控性与可解释性： 传统seq2seq模型在输出时会发生一些错误。例如，产生输入文本中并不支持的输出（hallucination）。此外，模型在输出时的可解释性也较差。
其次，以句子融合、语法纠错等为代表的一些文本生成任务均具有 “重合”（overlap） 的特点，即源文本和目标文本在语言上重复性较大，只需要对源文本做微小的改动就能生成目标文本（图1）。因此从头训练一个seq2seq模型然后自回归地预测输出就显得较为浪费。基于此，复制机制（copy mechanism）的引入使得模型能够对当前输出是复制原词还是生成新词进行选择。但即使模型使用了复制机制，仍需要较大规模的训练数据来满足解码时的词汇量需求，从而保证模型性能。
综上，在文本生成任务中引入文本编辑的方法，意在针对一些生成任务中的overlap特点，合理利用源文本与目标文本的相似部分，改善传统seq2seq模型的不足。这种方法直观上保留了从源文本到目标文本的编辑过程（如哪些词保留，哪些词需要删除等），与人类实际处理这类生成任务的思路不谋而合，从而也带来了较好的可解释性。
2. lasertagger
lasertagger是google research在 “encode， tag， realize： high-precision text editing” 一文中提出的文本生成模型，该论文发表于emnlp 2019。
这篇工作的主要贡献有：
（1）将序列标注作为源文本到目标文本的跳板，即首先对源文本标注编辑操作标签，再根据标注得到的标签序列将源文本并行转化为目标文本（图2）。
（2）基于（1）的思路，设计了基于编辑操作的文本生成模型lasertagger（包括lasertaggerff和lasertaggerar两种模型变体），并且在四种文本生成任务上进行了对比实验，获得了较好的效果。
2.1 主要方法
标注操作定义
本文定义文本编辑操作标签由两部分构成：基本标签b和附加标签p，表示为。
基本标签分为两种：保留（）或删除（），指对当前位置的token进行保留还是删除操作。
附加标签指需要在当前位置插入新短语（可以是单个词、多个词或标点等，也可以为空）。
在构造编辑标签序列时，由匹配算法（见图4）从训练语料构造出的phrase vocabulary 中选出合适的短语插入。因此，若词典的大小为，则编辑标签的总规模则约为。
此外，可以根据不同的下游任务定义一些特殊标签。例如在句子融合任务中有时需要交换输入句子的语序，此时可以设置标签swap代表交换语序操作。
构造phrase vocabulary
在构造训练数据对应的编辑标签序列时，若词典无法提供可插入的新短语，则该条训练数据会被筛掉。因此理想的词典应满足以下两点：一方面，词典规模应尽可能的小；另一方面，该词典应能够尽可能的覆盖更多的训练数据。
构造词典的步骤为：
（1） 将源文本和目标文本对齐，计算出它们的最长公共子序列（longest common subsequence， lcs）。
（2） 将目标文本中不属于lcs的n-grams加入词典中。
（3） 最终保留出现频率最高的个phrases。
在实验中发现，词典保留频率最高的500个phrases已能覆盖85%的训练样本，且再继续增大词典规模对lasertagger的性能帮助很小。因此，在本文的各主要实验中，词典的大小均被设置为500。
构造编辑标签序列
在定义好标签、构造完词典之后，就可以根据训练语料中的源文本和目标文本构造出对应编辑标签序列，进行有监督学习。
构造编辑标签序列的算法如图4中伪代码所示。该算法主要采用贪心匹配的思想，通过设置两个指针（is与it）对源文本和目标文本进行遍历，进而构造出标签序列。值得注意的是伪代码中并未给出pdelete标签如何生成。笔者猜测可能是由于pdelete标签与pkeep标签实际上可以相互替代（如图5所示），在实验中二者使用一个即可。
2.2 模型概述
本文设计的lasertagger有两种变体：lasertaggerff与lasertaggerar。前者decoder部分采用前馈网络（feed forward network），推理速度更快；后者decoder部分采用的是1层transformer decoder，推理效果更好。两种变体encoder部分均与bert-base结构相同，为12层transformer encoder。
3. seq2edits
seq2edits是google research在 “seq2edits： sequence transduction using span-level edit operations” 一文中提出的文本生成模型，该论文发表于emnlp 2020。
本篇工作的主要改进有：
（1）与lasertagger不同，seq2edits是在span-level上进行标签标注。即，lasertagger对每一个词（token）标注一个编辑标签，而seq2edits对一个或多个词（span）标注一个编辑标签。
论文作者认为在span-level上进行标注操作能够更好地对局部依赖（local dependencies）进行建模，而对于语法纠错等生成任务而言，人类实际解决这类问题时的主要根据也是span与span间的局部依赖，因此在span-level上进行标注操作也与人类实际解决问题时的思路相吻合。
（2）seq2edits将标注操作进一步细化，每一个span对应的编辑标签都由一个三元组组成，相比lasertagger的标签定义方式粒度更细，因此可解释性也更好。
（3）推理时间不再取决于目标文本的长度，而是依赖于编辑操作的规模。推理速度相比传统seq2seq模型仍得到大幅提升。
3.1 主要方法
标注操作定义
seq2edits的标注操作与lasertagger主要有两点不同：（1）seq2edits是在span-level上打标签；（2）seq2edits的编辑标签被定义为三元组的形式。
编辑标签被定义为一个三元组，其中代表编辑操作类型（例如修改标点，修改动词形式等），代表编辑操作的结束位置（默认当前操作的开始位置为上一个标签的结束位置），为替换短语（保留原文为）。
生成任务表示
设源文本为序列，长度为；目标文本为序列，长度为。
则传统seq2seq思路下文本生成任务可表示为：
使用本文方法，则任务可表示为：
以图7中句子为例，若源文本、目标文本分别为：
则编辑标签序列为：
从源文本到目标文本的过程则可表示为：
从本文对生成任务的概率表示中可以看出，在每一个上，标签三元组中相互并不是条件独立的，而是有着一定的依赖关系，即：
因此，模型在预测标签三元组时存在着先后顺序：在第个上，先预测，然后预测，最后预测。
3.2 模型概述
在理解seq2edits生成文本的概率表示后就不难理解其模型结构。seq2edits沿用了标准的transformer encoder-decoder结构，将decoder分为a和b两部分来分别预测标签、和。decoder a和decoder b之间使用残差连接（residual connections）。
对于位置标签的预测基于pointer-network，使用了类似transformer中attention的机制，即：其中（queries）来自历史的decoder states，（keys）和（values）来自当前的encoder states。
本期介绍了google research的lasertagger和seq2edits两篇工作，下一期将继续介绍google的第三篇工作felix以及三篇工作的实验评价部分和总结，敬请关注。
变频电机型号及参数_变频电机型号表示方法
零度智控与人民网、高通合作 助力『无人机+媒体』发展
人工智能电视迎来三座大山 既是机遇也是挑战
三星S7更新安卓7.0 相机功能五大变化！
36V/30A镍氢电池充电电源的设计和实现
浅析Google Research的LaserTagger和Seq2Edits
苹果今年将会发布两款平板电脑分别为iPad mini 5和一款入门级iPad
串联谐振电路实验原理_串联谐振的特点_串联谐振的原理图
科大讯飞星火认知大模型V3.5发布
25G SFP28 SR 100m光模块特征及应用
研讨会报名丨Nordic低功耗蓝牙芯片&村田中国传感器、高性能微型电池方案深度分享
大众集团推出新型电动汽车移动充电机器人
携手Open RAN领域合作伙伴，VIAVI可在本地、云或以“即服务”提供测试和保障
这11个值得注意的AI应用，需采取预防措施进行应对
光纤熔接机有辐射吗_光纤熔接机是做什么的
高科技高触感的未来购物零售空间如何捕获消费者的心
如何通过组件配置为深度学习培训选择企业服务器
电液伺服疲劳试验机定制服务，让测试更精准
5G和物联网将助力电子测试市场增长
卫星通信序幕拉开，AI算力浪潮澎湃