关于标签数据提升语法错误纠正效果
语法错误纠正 （gec） 指的是试图对语法和其他类型的写作错误进行建模，并给出语法和拼写建议，从而改善文档、电子邮件、文章甚至非正式聊天中的书面输出质量。在过去 15 年里，gec 的质量有了很大提高，其中很大一部分原因是它将问题重塑为一项“翻译”任务。例如，将这种方法引入 google 文档后，用户采纳的语法纠正建议数量显著增加。
将问题重塑为一项“翻译”任务
https://aclanthology.org/p06-1032/
但是，gec 模型面临的最大挑战之一是数据稀少。不同于其他语音识别 （speech recognition） 和机器翻译 （machine translation） 等自然语言处理 （nlp） 任务，即便是针对英语这样的高资源语言，gec 可用的训练数据非常有限。对于这类问题，一个常见的补救措施是使用一系列技术来生成合成数据，其中包括启发式随机词或字符级的损坏，以及基于模型的方法。然而，这些方法往往是简化的，不能反映实际用户错误类型的真实分布。
在 eacl 第 16 届创新使用 nlp 构建教育应用研讨会上发表的《使用有标签损坏模型进行语法错误纠正的合成数据生成》 （synthetic data generation for grammatical error correction with tagged corruption models） 一文中，我们介绍了有标签损坏模型。这种方法受到机器翻译中流行的回译数据合成技术启发，能够精确控制合成数据的生成，确保产生与实践中错误分布更加一致的多样化输出。我们使用有标签损坏模型来生成一个新的数据集（包含 2 亿个句子）。目前这个数据集应发布，可供研究人员提供真实的 gec 预训练数据。通过将新的数据集整合到训练流水线，我们能够显著改善 gec 的基线。
使用有标签损坏模型进行语法错误纠正的合成数据生成
https://aclanthology.org/2021.bea-1.4/
回译
https://aclanthology.org/p16-1009/
数据集（包含 2 亿个句子）
https://github.com/google-research-datasets/c4_200m-synthetic-dataset-for-grammatical-error-correction
有标签损坏模型
将传统的损坏模型应用于 gec，其背后的理念是，从一个语法正确的句子开始，然后通过添加错误“损坏”它。通过在现有 gec 数据集中切换源句和目标句，可以轻松地训练出损坏模型，之前的研究已经表明，这种方法对生成改进的 gec 数据集非常有效。
提供干净的输入句（绿色）后，传统损坏模型会生成一个不符合语法的句子（红色）
之前的研究
https://aclanthology.org/d19-1119.pdf
我们提出的有标签损坏模型建立在这一理念的基础之上，它将一个干净的句子作为输入，加上一个错误类型标签，描述所要重现的错误类型。然后，它为输入句生成一个包含指定错误类型的语法错误版本。与传统的损坏模型相比，为不同句子选择不同的错误类型增加了损坏的多样性。
有标签损坏模型会根据错误类型标签，为干净的输入句（绿色）生成损坏（红色）。限定词错误可能会导致丢失限定词 “a”，而名词屈折变化错误可能导致错误的复数形式 “sheeps”
为使用此模型生成数据，我们首先从 c4 语料库中随机选择了 2 亿个干净的句子，并为每个句子分配了一个错误类型标签，令其相对频率与小型开发集 bea-dev 的错误类型标签分布相匹配。由于 bea-dev 是一个精心制作的集合，涵盖各种英语水平，范围很广，我们预计其标签分布能够代表现实中出现的写作错误。然后，我们用一个有标签损坏模型来合成源句。
使用有标签损坏模型生成合成数据。在合成的 gec 训练语料库中，干净的 c4 句子（绿色）与损坏的句子（红色）配对。遵循开发集（条形图）中错误类型的频率，使用有标签损坏模型生成损坏的句子
c4 语料库
https://ai.googleblog.com/2020/02/exploring-transfer-learning-with-t5.html
bea-dev
https://aclanthology.org/w19-4406.pdf
结果
在我们的实验中，有标签损坏模型在两个标准开发集（conll-13 和 bea-dev）上表现优于无标签损坏模型，比后者高出三个 f0.5-点（gec 研究中的一个标准指标，结合了精确率和召回率 （precision and recall），更注重精确率），并在两个广泛使用的学术测试集（conll-14 和 bea-test）上体现了最先进的水平。
conll-13
https://aclanthology.org/w13-3601.pdf
标准指标
https://aclanthology.org/p17-1074/
conll-14
https://aclanthology.org/w14-1701.pdf
此外，使用有标签损坏模型不仅能在标准的 gec 测试集上获得收益，还能够让 gec 系统适应用户的语言水平。这一点会十分有用，原因之一是英语母语写作者的错误标签分布往往与非英语母语写作者的分布有很大不同。例如，英语母语者通常会犯更多标点符号和拼写错误，而限定词错误（例如缺少或多加冠词，如 “a”、“an” 或 “the”）在非英语母语写作者的文本中更为常见。
结论
众所周知，神经序列模型对数据的需求非常大，但用于语法错误纠正的注释训练数据却很少。新的 c4_200m 语料库是一个包含各种语法错误的合成数据集，用于预训练 gec 系统时，它体现出了最先进的性能。通过发布该数据集，我们希望为 gec 研究人员提供宝贵的资源来训练强大的基线系统。
条码技术的特点
迈威通信精彩亮相德国纽伦堡世界嵌入式展，展现民族品牌实力
微软平板电脑的前世今生：希望与失望间徘徊
焊接机器人焊接质量的影响因素有哪些
如何向客户展示石棉隔热效果
关于标签数据提升语法错误纠正效果
RF信号链的基本构建模块
buck电路和boost电路的区别
未来人工智能有可能取代哪类医生
美国首辆无人驾驶电动公交车上路：最高时速达43KM
PetaLinux入门指南
章泽天罕见晒照，幸福的刘强东为京东未来发展奠定了怎样的轨迹
浅谈中国移动机器人企业出海的必然性
联想Z5s采用传统的背部指纹识别 三摄加持或为钻孔全面屏
半导体切割-研磨-抛光工艺简介
HDDL-IV带电电缆识别仪使用方法说明
谷物筛选器的作用是什么，关于它的相关功能分析
ED-IPC2010工业计算机-比树莓派4B更适合工业应用
工业机器人技术之碰撞检测系统
TCL X11领曜QD-Mini LED智屏的背后究竟有哪些秘密
将问题重塑为一项“翻译”任务
https://aclanthology.org/p06-1032/
但是，gec 模型面临的最大挑战之一是数据稀少。不同于其他语音识别 （speech recognition） 和机器翻译 （machine translation） 等自然语言处理 （nlp） 任务，即便是针对英语这样的高资源语言，gec 可用的训练数据非常有限。对于这类问题，一个常见的补救措施是使用一系列技术来生成合成数据，其中包括启发式随机词或字符级的损坏，以及基于模型的方法。然而，这些方法往往是简化的，不能反映实际用户错误类型的真实分布。
在 eacl 第 16 届创新使用 nlp 构建教育应用研讨会上发表的《使用有标签损坏模型进行语法错误纠正的合成数据生成》 （synthetic data generation for grammatical error correction with tagged corruption models） 一文中，我们介绍了有标签损坏模型。这种方法受到机器翻译中流行的回译数据合成技术启发，能够精确控制合成数据的生成，确保产生与实践中错误分布更加一致的多样化输出。我们使用有标签损坏模型来生成一个新的数据集（包含 2 亿个句子）。目前这个数据集应发布，可供研究人员提供真实的 gec 预训练数据。通过将新的数据集整合到训练流水线，我们能够显著改善 gec 的基线。
使用有标签损坏模型进行语法错误纠正的合成数据生成
https://aclanthology.org/2021.bea-1.4/
回译
https://aclanthology.org/p16-1009/
数据集（包含 2 亿个句子）
https://github.com/google-research-datasets/c4_200m-synthetic-dataset-for-grammatical-error-correction
有标签损坏模型
将传统的损坏模型应用于 gec，其背后的理念是，从一个语法正确的句子开始，然后通过添加错误“损坏”它。通过在现有 gec 数据集中切换源句和目标句，可以轻松地训练出损坏模型，之前的研究已经表明，这种方法对生成改进的 gec 数据集非常有效。
提供干净的输入句（绿色）后，传统损坏模型会生成一个不符合语法的句子（红色）
之前的研究
https://aclanthology.org/d19-1119.pdf
我们提出的有标签损坏模型建立在这一理念的基础之上，它将一个干净的句子作为输入，加上一个错误类型标签，描述所要重现的错误类型。然后，它为输入句生成一个包含指定错误类型的语法错误版本。与传统的损坏模型相比，为不同句子选择不同的错误类型增加了损坏的多样性。
有标签损坏模型会根据错误类型标签，为干净的输入句（绿色）生成损坏（红色）。限定词错误可能会导致丢失限定词 “a”，而名词屈折变化错误可能导致错误的复数形式 “sheeps”
为使用此模型生成数据，我们首先从 c4 语料库中随机选择了 2 亿个干净的句子，并为每个句子分配了一个错误类型标签，令其相对频率与小型开发集 bea-dev 的错误类型标签分布相匹配。由于 bea-dev 是一个精心制作的集合，涵盖各种英语水平，范围很广，我们预计其标签分布能够代表现实中出现的写作错误。然后，我们用一个有标签损坏模型来合成源句。
使用有标签损坏模型生成合成数据。在合成的 gec 训练语料库中，干净的 c4 句子（绿色）与损坏的句子（红色）配对。遵循开发集（条形图）中错误类型的频率，使用有标签损坏模型生成损坏的句子
c4 语料库
https://ai.googleblog.com/2020/02/exploring-transfer-learning-with-t5.html
bea-dev
https://aclanthology.org/w19-4406.pdf
结果
在我们的实验中，有标签损坏模型在两个标准开发集（conll-13 和 bea-dev）上表现优于无标签损坏模型，比后者高出三个 f0.5-点（gec 研究中的一个标准指标，结合了精确率和召回率 （precision and recall），更注重精确率），并在两个广泛使用的学术测试集（conll-14 和 bea-test）上体现了最先进的水平。
conll-13
https://aclanthology.org/w13-3601.pdf
标准指标
https://aclanthology.org/p17-1074/
conll-14
https://aclanthology.org/w14-1701.pdf
此外，使用有标签损坏模型不仅能在标准的 gec 测试集上获得收益，还能够让 gec 系统适应用户的语言水平。这一点会十分有用，原因之一是英语母语写作者的错误标签分布往往与非英语母语写作者的分布有很大不同。例如，英语母语者通常会犯更多标点符号和拼写错误，而限定词错误（例如缺少或多加冠词，如 “a”、“an” 或 “the”）在非英语母语写作者的文本中更为常见。
结论
众所周知，神经序列模型对数据的需求非常大，但用于语法错误纠正的注释训练数据却很少。新的 c4_200m 语料库是一个包含各种语法错误的合成数据集，用于预训练 gec 系统时，它体现出了最先进的性能。通过发布该数据集，我们希望为 gec 研究人员提供宝贵的资源来训练强大的基线系统。
条码技术的特点
迈威通信精彩亮相德国纽伦堡世界嵌入式展，展现民族品牌实力
微软平板电脑的前世今生：希望与失望间徘徊
焊接机器人焊接质量的影响因素有哪些
如何向客户展示石棉隔热效果
关于标签数据提升语法错误纠正效果
RF信号链的基本构建模块
buck电路和boost电路的区别
未来人工智能有可能取代哪类医生
美国首辆无人驾驶电动公交车上路：最高时速达43KM
PetaLinux入门指南
章泽天罕见晒照，幸福的刘强东为京东未来发展奠定了怎样的轨迹
浅谈中国移动机器人企业出海的必然性
联想Z5s采用传统的背部指纹识别 三摄加持或为钻孔全面屏
半导体切割-研磨-抛光工艺简介
HDDL-IV带电电缆识别仪使用方法说明
谷物筛选器的作用是什么，关于它的相关功能分析
ED-IPC2010工业计算机-比树莓派4B更适合工业应用
工业机器人技术之碰撞检测系统
TCL X11领曜QD-Mini LED智屏的背后究竟有哪些秘密