在视觉语言表示学习中建立编码器间的桥梁
0. take-away messages
提出了一个简单有效的视觉语言模型架构，bridgetower，通过在顶层单模态层和每个跨模态层之间建立桥梁，成功地引入了不同语义层次的视觉和文本表示，从而提高了跨模态编码器中注意力头的多样性，并在各种任务上实现了突出的性能改进。
在公平的评估设置下，与two-tower架构的meter模型相比，bridgetower显著地提高了模型的多模态表示能力。
仅使用400万张图片进行视觉语言预训练，bridgetower在各种视觉语言下游任务上取得了十分强大的性能，击败了许多用更多数据和参数进行预训练的强大模型。
bridgetower可以适用于不同的视觉、文本或跨模态编码器。
1. 背景与动机
视觉语言任务示例
图源：12-in-1: multi-task vision and language representation learning
视觉语言研究的目标，是训练一个能够理解图像和文本的智能ai系统。上图展示了一些流行的视觉语言任务。视觉问答是其中最著名的任务之一，它需要根据输入图像来回答和图片相关的问题。
各类视觉语言模型
自2019年以来，在大规模图像-文本对的自监督预训练的帮助下，基于transformer的视觉语言模型取得了显著的进展。其中，具有双塔结构的视觉语言 (vl) 模型在视觉语言表示学习中占主导地位。基于不同的文本和视觉编码器，人们提出了各种模型架构和预训练目标。从模型架构的角度来看，近期大多数的vl工作，可以看作是由三个模块组成的双塔架构，即文本编码器、视觉编码器，以及在它们之上的跨模态融合模块。不同的vl模型在这三个模块的设计上有所不同。
视觉语言模型架构简述
图(a)-(d)是目前的四类视觉语言模型。图(e)简要说明了bridgetower的模型结构。ve、te和ce分别是视觉编码器、文本编码器和跨模态编码器的简称。每个矩形的高度代表其相对计算成本。本图受到了vilt: vision-and-language transformer without convolution or region supervision的启发。
目前的vl模型要么使用轻量级的单模态编码器，并学习在深度跨模态编码器中同时提取、对齐和融合两种模态，要么将预训练的深层单模态编码器的最后一层单模态表示，送入顶部的跨模态编码器中。这两种方法都有可能限制视觉-语言表示的学习，并进一步限制模型的性能。
动机
如果我们深入双塔结构的单模态塔 (编码器) ，例如meter模型。我们可以发现他们只将最后一层的单模态特征直接送入顶部的跨模态融合模块，忽略了深层单模态塔的不同层的语义信息。我们自然地想到，能否在不同层的预训练单模态塔和跨模态融合模块之间建立起桥梁，以充分利用多层单模态特征？
架构对比
因此，我们提出了bridgetower架构。与双塔架构不同，bridgetower在跨模态融合模块和单模态编码器之间建立起了多座桥梁。二者的主要区别在于，双塔结构只融合最后一层的特征，而bridgetower则逐渐融合单模态编码器顶部的多层特征。
2. 模型架构
模型架构
这里我们展示了bridgetower的详细架构图。具体而言，我们采用12层的roberta-base和12层的clip-vit-b作为单模态编码器。跨模态编码器为6层，每一层都添加了bridgelayer来与单模态编码器的顶部6层建立连接。
这使得预训练单模态编码器中的不同语义层次的视觉和文本表示，通过bridgelayer与跨模态表示进行融合，从而促进了跨模态编码器中，高效的，自下而上的跨模态对齐与融合。需要注意的是，bridgetower架构适用于不同的视觉、文本或跨模态编码器。
3. 设计选择
我们对bridgetower的不同设计选择进行了广泛的实验。
3.1 bridgelayer的定义
bridge-layer
首先是bridgelayer的定义，也就是单模态信息与跨模态信息如何在bridgelayer中融合。
上表展示了不同定义的bridgelayer的参数量和其在vqav2和flickr30k数据集上的性能。rsum表示图文检索任务的召回度量之和。
表示前一层输出的跨模态表示。
表示相应的单模态表示。我们省略了每一行中使用的 。有些出乎意料但又合乎情理的是，第一行中的 使用最小的参数量得到了最好的结果。
3.2 cross-modal layer的数量
cross-modal-layer
接着我们基于12层的文本和视觉编码器，研究不同数量的跨模态层对性能的影响。
表示跨模态层的数量，并且bridgetower使用top-的单模态表示作为跨模态层的输入。我们在两个数据集上比较不同下，meter和bridgetower的性能情况，我们发现更多的跨模态层并不能不断提高性能。这可能是由于
更多的跨模态层需要更多的训练数据。
顶层的单模态表示有利于跨模态对齐和融合，而底层的单模态表示可能不利于，甚至是有害于跨模态表示的学习。虽然meter和bridgetower之间唯一的区别是bridgelayers，但bridgetower在不同数量的跨模态层中始终获得了一致的性能提升。
3.3 bridgelayer的数量
internal-external
最后是bridgelayer的数量，也就是在使用相同数量的跨模态层时，应该加入多少个bridgelayer。
为了充分比较bridgetower和双塔结构的meter模型，我们试图建立一个从bridgetower到two-tower逐渐变化的情景。为了进行公平的比较，我们使用共计6个跨模态层，并将它们分为外部 (external) 跨模态层和内部 (internal) 跨模态层。二者的区别在于内部跨模态层具有bridgelayer，而外部跨模态层没有。
第一行显示了6个跨模态层均为内部层的bridgetower的结果。然后，我们逐渐增加外部层，减少内部层。我们发现在两个数据集上的性能都出现了稳定的下降。
最后一行显示了双塔结构的meter模型的性能。这表明bridgetower通过bridgelayers，将单模态编码器的顶层与跨模态编码器的每一层连接起来，可以显著提高性能。
3.4 单模态编码器
最后我们尝试了不同的视觉和文本编码器作为bridgetower的预训练单模态编码器，并直接对下游任务进行微调，以进一步研究bridgelayers带来的影响。我们发现，对于不同的预训练视觉和文本编码器，bridgetower的性能都持续且显著地优于meter的性能。
4. 实验效果
我们基于公共图文对数据集对bridgetower进行预训练，如上表所示，大约共计400万张独立图片，900万对图文对。我们使用通用的掩码语言建模 (masked language modeling, mlm) 和图文匹配 (image-text matching, itm) 任务作为预训练任务。所有的预训练设置与预训练参数都与meter一致，以提供meter和bridgetower之间的公平比较。
上图展示了bridgetower模型在视觉问答 (visual question answering) 的vqav2数据集上的base和large两种size的模型性能。在视觉-语言预训练中，我们的base模型只使用了400万张图片进行预训练，就在vqav2基准上取得了令人印象深刻的表现。
而且，meter和bridgetower使用相同的文本编码器、视觉编码器和跨模态融合机制。只需将meter模型的two-tower架构改为bridgetower架构，在相同的预训练数据和几乎可以忽略不计的额外参数和计算成本下，vqav2数据集的test-standard性能就可以轻松提高1.09。bridgetower的large模型在vqav2数据集上更是取得81.15的test-standard性能。
值得注意的是，bridgetower超过了许多使用10倍甚至100倍的图像进行vl预训练的base模型与large模型，击败了许多用更多数据和参数进行预训练的强大模型。
类似的趋势也出现在视觉蕴含 (visual entailment) 和图像-文本检索 (image-text retrieval) 任务中。特别是在flickr30k数据集上，bridgetower的base模型带来了5.9点收益。
5. 可视化结果
为了进一步研究性能提高的原因，我们通过分析每个跨模态层中，不同注意力头的注意力权重分布之间的kl散度，来比较双塔架构的meter模型和我们的bridgetower架构。
kl散度可以被看作是注意力头的多样性。较高或较低的kl散度表示不同的注意力头之间，关注的token更加不同或更加相似。
图中的小点代表不同注意力头的注意力分布间的kl散度，大点表示同层kl散度的均值。上图对比了meter和bridgetower模型的跨模态编码器中，视觉/文本部分的自我/交叉注意力层之间的区别。
上图展示了两个模型的跨模态编码器的视觉和文本部分的自注意力以及交叉注意力的注意力头的多样性。图中存在两个明显的趋势：
对于bridgetower来说，注意力头的多样性随着层的深入而逐渐变小，但对于meter来说，注意力头的多样性随着层的深入而逐渐变大，然后变小。
bridgetower每层的注意力头的多样性明显大于meter，尤其是第1层至第5层。
因此，对于跨模态编码器的视觉和文本部分的自注意力以及交叉注意力的不同注意力头，与meter相比，bridgetower能够关注到更多不同的标记 (token)。
我们将此归功于我们提出的bridgelayers，它将单模态编码器的顶层与跨模态编码器的每一层连接起来。不同语义层次的视觉和文本表示通过bridgelayer与跨模态表示进行融合，从而促进了跨模态编码器每一层的更有效和更丰富的跨模态对齐和融合。
6. 结论
在本文中，我们提出了bridgetower，它引入了多个bridgelayer，在单模态编码器的顶层和跨模态编码器的每一层之间建立连接。这使得预训练单模态编码器中的不同语义层次的视觉和文本表示，通过bridgelayer与跨模态表示进行融合，从而促进了跨模态编码器中，高效的，自下而上的跨模态对齐与融合。
仅使用400万张图像进行视觉语言预训练，bridgetower在各种下游的视觉-语言任务中取得了非常强大的性能。特别是在vqav2数据集上，bridgetower达到了78.73%的准确率，在相同的预训练数据和几乎可以忽略不计的额外参数和计算成本下，比two-tower架构的meter模型高出了1.09%的准确率。值得注意的是，当进一步扩展该模型时，bridgetower达到了81.15%的准确率，甚至超过了一些在更大数量级的数据集上使用更多参数进行预训练的强大模型。
差模电感和共模电感的绕制方法和作用？
高电压容忍能力的丽智厚膜贴片电阻介绍
NexGen垂直GaN半导体 预计2023年第三季度全面生产
2023中国康复医学会综合学术年会邀请函
手持机在停车收费管理中有什么作用？
在视觉语言表示学习中建立编码器间的桥梁
用Reno花式追《长安十二时辰》，简直太棒了！
ldo稳压器的原理_LDO稳压器结构
电磁辐射监测器电路的制作
红米Note6Pro真机曝光 外观与其他红米手机没有多大差异
柔性供料器 弗莱克斯视觉上料 柔性振动盘
无矢量测试：高速I/O的最佳选择
基于PLC的大型超滤污水处理控制系统
快讯：英特尔7纳米推迟到2022年 华为申请中止将孟晚舟引渡到美国 Twitter员工拥有内部权限
安科瑞微电网能量管理系统
小米Note3什么时候上市？小米Note3最新消息汇总：小米Note3基于小米Note2全面升级，再次确认外观给力
因为一件事，记住那一年：小米6明日发布将记住这一年！
深圳大学副校长张学记：智能传感与精准健康是“无尽的科学前沿”
LG G6发布时间确定，将采用LCD屏18:9宽高比
谷歌快递无人机Wing在澳大利亚获得快递资质，历经18个月试飞已完成3000单包裹寄送
提出了一个简单有效的视觉语言模型架构，bridgetower，通过在顶层单模态层和每个跨模态层之间建立桥梁，成功地引入了不同语义层次的视觉和文本表示，从而提高了跨模态编码器中注意力头的多样性，并在各种任务上实现了突出的性能改进。
在公平的评估设置下，与two-tower架构的meter模型相比，bridgetower显著地提高了模型的多模态表示能力。
仅使用400万张图片进行视觉语言预训练，bridgetower在各种视觉语言下游任务上取得了十分强大的性能，击败了许多用更多数据和参数进行预训练的强大模型。
bridgetower可以适用于不同的视觉、文本或跨模态编码器。
1. 背景与动机
视觉语言任务示例
图源：12-in-1: multi-task vision and language representation learning
视觉语言研究的目标，是训练一个能够理解图像和文本的智能ai系统。上图展示了一些流行的视觉语言任务。视觉问答是其中最著名的任务之一，它需要根据输入图像来回答和图片相关的问题。
各类视觉语言模型
自2019年以来，在大规模图像-文本对的自监督预训练的帮助下，基于transformer的视觉语言模型取得了显著的进展。其中，具有双塔结构的视觉语言 (vl) 模型在视觉语言表示学习中占主导地位。基于不同的文本和视觉编码器，人们提出了各种模型架构和预训练目标。从模型架构的角度来看，近期大多数的vl工作，可以看作是由三个模块组成的双塔架构，即文本编码器、视觉编码器，以及在它们之上的跨模态融合模块。不同的vl模型在这三个模块的设计上有所不同。
视觉语言模型架构简述
图(a)-(d)是目前的四类视觉语言模型。图(e)简要说明了bridgetower的模型结构。ve、te和ce分别是视觉编码器、文本编码器和跨模态编码器的简称。每个矩形的高度代表其相对计算成本。本图受到了vilt: vision-and-language transformer without convolution or region supervision的启发。
目前的vl模型要么使用轻量级的单模态编码器，并学习在深度跨模态编码器中同时提取、对齐和融合两种模态，要么将预训练的深层单模态编码器的最后一层单模态表示，送入顶部的跨模态编码器中。这两种方法都有可能限制视觉-语言表示的学习，并进一步限制模型的性能。
动机
如果我们深入双塔结构的单模态塔 (编码器) ，例如meter模型。我们可以发现他们只将最后一层的单模态特征直接送入顶部的跨模态融合模块，忽略了深层单模态塔的不同层的语义信息。我们自然地想到，能否在不同层的预训练单模态塔和跨模态融合模块之间建立起桥梁，以充分利用多层单模态特征？
架构对比
因此，我们提出了bridgetower架构。与双塔架构不同，bridgetower在跨模态融合模块和单模态编码器之间建立起了多座桥梁。二者的主要区别在于，双塔结构只融合最后一层的特征，而bridgetower则逐渐融合单模态编码器顶部的多层特征。
2. 模型架构
模型架构
这里我们展示了bridgetower的详细架构图。具体而言，我们采用12层的roberta-base和12层的clip-vit-b作为单模态编码器。跨模态编码器为6层，每一层都添加了bridgelayer来与单模态编码器的顶部6层建立连接。
这使得预训练单模态编码器中的不同语义层次的视觉和文本表示，通过bridgelayer与跨模态表示进行融合，从而促进了跨模态编码器中，高效的，自下而上的跨模态对齐与融合。需要注意的是，bridgetower架构适用于不同的视觉、文本或跨模态编码器。
3. 设计选择
我们对bridgetower的不同设计选择进行了广泛的实验。
3.1 bridgelayer的定义
bridge-layer
首先是bridgelayer的定义，也就是单模态信息与跨模态信息如何在bridgelayer中融合。
上表展示了不同定义的bridgelayer的参数量和其在vqav2和flickr30k数据集上的性能。rsum表示图文检索任务的召回度量之和。
表示前一层输出的跨模态表示。
表示相应的单模态表示。我们省略了每一行中使用的 。有些出乎意料但又合乎情理的是，第一行中的 使用最小的参数量得到了最好的结果。
3.2 cross-modal layer的数量
cross-modal-layer
接着我们基于12层的文本和视觉编码器，研究不同数量的跨模态层对性能的影响。
表示跨模态层的数量，并且bridgetower使用top-的单模态表示作为跨模态层的输入。我们在两个数据集上比较不同下，meter和bridgetower的性能情况，我们发现更多的跨模态层并不能不断提高性能。这可能是由于
更多的跨模态层需要更多的训练数据。
顶层的单模态表示有利于跨模态对齐和融合，而底层的单模态表示可能不利于，甚至是有害于跨模态表示的学习。虽然meter和bridgetower之间唯一的区别是bridgelayers，但bridgetower在不同数量的跨模态层中始终获得了一致的性能提升。
3.3 bridgelayer的数量
internal-external
最后是bridgelayer的数量，也就是在使用相同数量的跨模态层时，应该加入多少个bridgelayer。
为了充分比较bridgetower和双塔结构的meter模型，我们试图建立一个从bridgetower到two-tower逐渐变化的情景。为了进行公平的比较，我们使用共计6个跨模态层，并将它们分为外部 (external) 跨模态层和内部 (internal) 跨模态层。二者的区别在于内部跨模态层具有bridgelayer，而外部跨模态层没有。
第一行显示了6个跨模态层均为内部层的bridgetower的结果。然后，我们逐渐增加外部层，减少内部层。我们发现在两个数据集上的性能都出现了稳定的下降。
最后一行显示了双塔结构的meter模型的性能。这表明bridgetower通过bridgelayers，将单模态编码器的顶层与跨模态编码器的每一层连接起来，可以显著提高性能。
3.4 单模态编码器
最后我们尝试了不同的视觉和文本编码器作为bridgetower的预训练单模态编码器，并直接对下游任务进行微调，以进一步研究bridgelayers带来的影响。我们发现，对于不同的预训练视觉和文本编码器，bridgetower的性能都持续且显著地优于meter的性能。
4. 实验效果
我们基于公共图文对数据集对bridgetower进行预训练，如上表所示，大约共计400万张独立图片，900万对图文对。我们使用通用的掩码语言建模 (masked language modeling, mlm) 和图文匹配 (image-text matching, itm) 任务作为预训练任务。所有的预训练设置与预训练参数都与meter一致，以提供meter和bridgetower之间的公平比较。
上图展示了bridgetower模型在视觉问答 (visual question answering) 的vqav2数据集上的base和large两种size的模型性能。在视觉-语言预训练中，我们的base模型只使用了400万张图片进行预训练，就在vqav2基准上取得了令人印象深刻的表现。
而且，meter和bridgetower使用相同的文本编码器、视觉编码器和跨模态融合机制。只需将meter模型的two-tower架构改为bridgetower架构，在相同的预训练数据和几乎可以忽略不计的额外参数和计算成本下，vqav2数据集的test-standard性能就可以轻松提高1.09。bridgetower的large模型在vqav2数据集上更是取得81.15的test-standard性能。
值得注意的是，bridgetower超过了许多使用10倍甚至100倍的图像进行vl预训练的base模型与large模型，击败了许多用更多数据和参数进行预训练的强大模型。
类似的趋势也出现在视觉蕴含 (visual entailment) 和图像-文本检索 (image-text retrieval) 任务中。特别是在flickr30k数据集上，bridgetower的base模型带来了5.9点收益。
5. 可视化结果
为了进一步研究性能提高的原因，我们通过分析每个跨模态层中，不同注意力头的注意力权重分布之间的kl散度，来比较双塔架构的meter模型和我们的bridgetower架构。
kl散度可以被看作是注意力头的多样性。较高或较低的kl散度表示不同的注意力头之间，关注的token更加不同或更加相似。
图中的小点代表不同注意力头的注意力分布间的kl散度，大点表示同层kl散度的均值。上图对比了meter和bridgetower模型的跨模态编码器中，视觉/文本部分的自我/交叉注意力层之间的区别。
上图展示了两个模型的跨模态编码器的视觉和文本部分的自注意力以及交叉注意力的注意力头的多样性。图中存在两个明显的趋势：
对于bridgetower来说，注意力头的多样性随着层的深入而逐渐变小，但对于meter来说，注意力头的多样性随着层的深入而逐渐变大，然后变小。
bridgetower每层的注意力头的多样性明显大于meter，尤其是第1层至第5层。
因此，对于跨模态编码器的视觉和文本部分的自注意力以及交叉注意力的不同注意力头，与meter相比，bridgetower能够关注到更多不同的标记 (token)。
我们将此归功于我们提出的bridgelayers，它将单模态编码器的顶层与跨模态编码器的每一层连接起来。不同语义层次的视觉和文本表示通过bridgelayer与跨模态表示进行融合，从而促进了跨模态编码器每一层的更有效和更丰富的跨模态对齐和融合。
6. 结论
在本文中，我们提出了bridgetower，它引入了多个bridgelayer，在单模态编码器的顶层和跨模态编码器的每一层之间建立连接。这使得预训练单模态编码器中的不同语义层次的视觉和文本表示，通过bridgelayer与跨模态表示进行融合，从而促进了跨模态编码器中，高效的，自下而上的跨模态对齐与融合。
仅使用400万张图像进行视觉语言预训练，bridgetower在各种下游的视觉-语言任务中取得了非常强大的性能。特别是在vqav2数据集上，bridgetower达到了78.73%的准确率，在相同的预训练数据和几乎可以忽略不计的额外参数和计算成本下，比two-tower架构的meter模型高出了1.09%的准确率。值得注意的是，当进一步扩展该模型时，bridgetower达到了81.15%的准确率，甚至超过了一些在更大数量级的数据集上使用更多参数进行预训练的强大模型。
差模电感和共模电感的绕制方法和作用？
高电压容忍能力的丽智厚膜贴片电阻介绍
NexGen垂直GaN半导体 预计2023年第三季度全面生产
2023中国康复医学会综合学术年会邀请函
手持机在停车收费管理中有什么作用？
在视觉语言表示学习中建立编码器间的桥梁
用Reno花式追《长安十二时辰》，简直太棒了！
ldo稳压器的原理_LDO稳压器结构
电磁辐射监测器电路的制作
红米Note6Pro真机曝光 外观与其他红米手机没有多大差异
柔性供料器 弗莱克斯视觉上料 柔性振动盘
无矢量测试：高速I/O的最佳选择
基于PLC的大型超滤污水处理控制系统
快讯：英特尔7纳米推迟到2022年 华为申请中止将孟晚舟引渡到美国 Twitter员工拥有内部权限
安科瑞微电网能量管理系统
小米Note3什么时候上市？小米Note3最新消息汇总：小米Note3基于小米Note2全面升级，再次确认外观给力
因为一件事，记住那一年：小米6明日发布将记住这一年！
深圳大学副校长张学记：智能传感与精准健康是“无尽的科学前沿”
LG G6发布时间确定，将采用LCD屏18:9宽高比
谷歌快递无人机Wing在澳大利亚获得快递资质，历经18个月试飞已完成3000单包裹寄送