解读一下DeBERTa在BERT上有哪些改造
deberta刷新了glue的榜首，本文解读一下deberta在bert上有哪些改造
deberta对bert的改造主要在三点
分散注意力机制
为了更充分利用相对位置信息，输入的input embedding不再加入pos embedding, 而是input在经过transformer编码后，在encoder段与“decoder”端 通过相对位置计算分散注意力
增强解码器（有点迷）
为了解决预训练和微调时，因为任务的不同而预训练和微调阶段的gap，加入了一个增强decoder端，这个decoder并非transformer的decoder端（需要decoder端有输入那种），只是直观上起到了一个decoder作用
解码器前接入了绝对位置embedding，避免只有相对位置而丢失了绝对位置embedding
其实本质就是在原始bert的倒数第二层transformer中间层插入了一个分散注意力计算
训练trick
训练时加入了一些数据扰动
mask策略中不替换词，变为替换成词的pos embedding
分散注意力机制
motivation
bert加入位置信息的方法是在输入embedding中加入postion embedding, pos embedding与char embedding和segment embedding混在一起，这种早期就合并了位置信息在计算self-attention时，表达能力受限，维护信息非常被弱化了
bert embedding
本文的motivation就是将pos信息拆分出来，单独编码后去content 和自己求attention，增加计算 “位置-内容” 和 “内容-位置” 注意力的分散disentangled attention
disentangled attention计算方法
分散注意力机制首先在input中分离相对位置embedding，在原始char embedding+segment embedding经过编码成后，与相对位置计算attention,
即是内容编码，是相对的位置编码， attention的计算中，融合了位置-位置，内容-内容，位置-内容，内容-位置
相对位置的计算
限制了相对距离，相距大于一个阈值时距离就无效了，此时距离设定为一个常数，距离在有效范围内时，用参数用控制
增强型解码器
强行叫做解码器
用 emd( enhanced mask decoder) 来代替原 bert 的 softmax 层预测遮盖的 token。因为我们在精调时一般会在 bert 的输出后接一个特定任务的 decoder，但是在预训练时却并没有这个 decoder；所以本文在预训练时用一个两层的 transformer decoder 和一个 softmax 作为 decoder。其实就是给后层的transformer encoder换了个名字，千万别以为是用到了transformer 的 decoder端
绝对位置embedding
在decoder前有一个骚操作是在这里加入了一层绝对位置embedding来弥补一下只有相对位置的损失，比如“超市旁新开了一个商场”，当mask的词是“超市”，“商场”，时，只有相对位置时没法区分这两个词的信息，因此decoder中加入一层
一些训练tricks
将bert的训练策略中，mask有10%的情况是不做任何替换，这种情况attention偏向自己会非常明显，debeta将不做替换改成了换位该位置词绝对位置的pos embedding, 实验中明显能看到这种情况下的attention对自身依赖减弱
在训练下游任务时，给训练集做了一点扰动来增强模型的鲁棒性
效果
deberta large目前是glue的榜首，在大部分任务上整体效果相比还是有一丢丢提升
PFA是什么材料
一加7T已正式发布该机搭载骁龙855 Plus和8GB+128GB内存组合
华普微推出首款Matter模块，助力智能家居互联互通
华为未来将致力数据基础设施的建设革新
硬科技 “芯”未来 | 华润微再度荣膺“2023科创板硬科技领军企业”等两大奖项
解读一下DeBERTa在BERT上有哪些改造
第一代计算机
年终好价节 盘点最值得入手的4款3D打印机
三星可折叠手机已获得中国无线电管理认证
勒姆森SK-Alpha无线蓝牙耳机评测 外观设计动感时尚做工精致且极其轻巧
免费在线简单高大上的组织架构图怎么做？这3款软件教你
英创信息技术主板EM9280 IRIG-B码校时方案简介
TMC2225步进电机驱动芯片概述及特性
人工智能会为肿瘤诊疗带来什么
BCG发布《2018年全球最具创新力企业50强》，有你喜欢的企业入榜吗？
新能源之神：特斯拉在加拿大测试最新的智能电网实验
特斯拉推出货真价实的太阳能“屋顶” 与屋子连成一体
应用于大规模自然驾驶数据的收集和分析
是情怀还是炒作？诺基亚3310复刻版预定量惊人
人工智能如何协助企业来减少资源的浪费
deberta对bert的改造主要在三点
分散注意力机制
为了更充分利用相对位置信息，输入的input embedding不再加入pos embedding, 而是input在经过transformer编码后，在encoder段与“decoder”端 通过相对位置计算分散注意力
增强解码器（有点迷）
为了解决预训练和微调时，因为任务的不同而预训练和微调阶段的gap，加入了一个增强decoder端，这个decoder并非transformer的decoder端（需要decoder端有输入那种），只是直观上起到了一个decoder作用
解码器前接入了绝对位置embedding，避免只有相对位置而丢失了绝对位置embedding
其实本质就是在原始bert的倒数第二层transformer中间层插入了一个分散注意力计算
训练trick
训练时加入了一些数据扰动
mask策略中不替换词，变为替换成词的pos embedding
分散注意力机制
motivation
bert加入位置信息的方法是在输入embedding中加入postion embedding, pos embedding与char embedding和segment embedding混在一起，这种早期就合并了位置信息在计算self-attention时，表达能力受限，维护信息非常被弱化了
bert embedding
本文的motivation就是将pos信息拆分出来，单独编码后去content 和自己求attention，增加计算 “位置-内容” 和 “内容-位置” 注意力的分散disentangled attention
disentangled attention计算方法
分散注意力机制首先在input中分离相对位置embedding，在原始char embedding+segment embedding经过编码成后，与相对位置计算attention,
即是内容编码，是相对的位置编码， attention的计算中，融合了位置-位置，内容-内容，位置-内容，内容-位置
相对位置的计算
限制了相对距离，相距大于一个阈值时距离就无效了，此时距离设定为一个常数，距离在有效范围内时，用参数用控制
增强型解码器
强行叫做解码器
用 emd( enhanced mask decoder) 来代替原 bert 的 softmax 层预测遮盖的 token。因为我们在精调时一般会在 bert 的输出后接一个特定任务的 decoder，但是在预训练时却并没有这个 decoder；所以本文在预训练时用一个两层的 transformer decoder 和一个 softmax 作为 decoder。其实就是给后层的transformer encoder换了个名字，千万别以为是用到了transformer 的 decoder端
绝对位置embedding
在decoder前有一个骚操作是在这里加入了一层绝对位置embedding来弥补一下只有相对位置的损失，比如“超市旁新开了一个商场”，当mask的词是“超市”，“商场”，时，只有相对位置时没法区分这两个词的信息，因此decoder中加入一层
一些训练tricks
将bert的训练策略中，mask有10%的情况是不做任何替换，这种情况attention偏向自己会非常明显，debeta将不做替换改成了换位该位置词绝对位置的pos embedding, 实验中明显能看到这种情况下的attention对自身依赖减弱
在训练下游任务时，给训练集做了一点扰动来增强模型的鲁棒性
效果
deberta large目前是glue的榜首，在大部分任务上整体效果相比还是有一丢丢提升
PFA是什么材料
一加7T已正式发布该机搭载骁龙855 Plus和8GB+128GB内存组合
华普微推出首款Matter模块，助力智能家居互联互通
华为未来将致力数据基础设施的建设革新
硬科技 “芯”未来 | 华润微再度荣膺“2023科创板硬科技领军企业”等两大奖项
解读一下DeBERTa在BERT上有哪些改造
第一代计算机
年终好价节 盘点最值得入手的4款3D打印机
三星可折叠手机已获得中国无线电管理认证
勒姆森SK-Alpha无线蓝牙耳机评测 外观设计动感时尚做工精致且极其轻巧
免费在线简单高大上的组织架构图怎么做？这3款软件教你
英创信息技术主板EM9280 IRIG-B码校时方案简介
TMC2225步进电机驱动芯片概述及特性
人工智能会为肿瘤诊疗带来什么
BCG发布《2018年全球最具创新力企业50强》，有你喜欢的企业入榜吗？
新能源之神：特斯拉在加拿大测试最新的智能电网实验
特斯拉推出货真价实的太阳能“屋顶” 与屋子连成一体
应用于大规模自然驾驶数据的收集和分析
是情怀还是炒作？诺基亚3310复刻版预定量惊人
人工智能如何协助企业来减少资源的浪费