简述文本与图像领域的多模态学习有关问题
来自：哈工大scir
本期导读：近年来研究人员在计算机视觉和自然语言处理方向均取得了很大进展，因此融合了二者的多模态深度学习也越来越受到关注。本期主要讨论结合文本和图像的多模态任务，将从多模态预训练模型中的几个分支角度，简述文本与图像领域的多模态学习有关问题。
1. 引言
近年来，计算机视觉和自然语言处理方向均取得了很大进展。而融合二者的多模态深度学习也越来越受到关注，在基于图像和视频的字幕生成、视觉问答（vqa）、视觉对话、基于文本的图像生成等方面研究成果显著，下图1展示了有关多模态深度学习的应用范畴。
在这些任务中，无论是文本还是语音，自然语言都起到了帮助计算机“理解”图像内容的关键作用，这里的“理解”指的是对齐语言中蕴含的语义特征与图像中蕴含的图像特征。本文主要关注于结合文本和图像的多模态任务，将从多模态预训练模型中的几个分支来分析目前图像与文本的多模态信息处理领域的有关问题。
2. 多模态预训练模型
学习输入特征的更好表示是深度学习的核心内容。在传统的nlp单模态领域，表示学习的发展已经较为完善，而在多模态领域，由于高质量有标注多模态数据较少，因此人们希望能使用少样本学习甚至零样本学习。最近两年出现了基于transformer结构的多模态预训练模型，通过海量无标注数据进行预训练，然后使用少量有标注数据进行微调即可。
多模态预训练模型根据信息融合的方式可分为两大类，分别是cross-stream类和single-stream类。
（1）cross-stream类模型是指将不同模态的输入分别处理之后进行交叉融合，例如vilbert［1］。2019年lu jiasen等人将输入的文本经过文本embedding层后被输入到transformer编码器中提取上下文信息。
使用预训练faster r-cnn生成图片候选区域提取特征并送入图像embedding层，然后将获取好的文本和图像表示通过co-attention-transformer模块进行交互融合，得到最后的表征。
（2）single-stream类模型将图片、文本等不同模态的输入一视同仁，在同一个模型进行融合，例如vl-bert［2］。2020年，su weijie等人提出了vl-bert，它采用transformer作为主干，将视觉和语言嵌入特征同时输入模型。
3. 统一多模态模型
在之前的模型中，单模态数据集上训练的模型只能做各自领域的任务，否则它们的表现会大幅下降。要想学习多模态模型必须图文结合才行。这种多模态图文对数据数据量少，获取成本高。2021年，百度的li wei等人［3］提出的unimo模型，统一了单模态、多模态模型的训练方式，既可以利用海量的单模态数据，又能将多模态信号统一在一个语义空间内促进理解。
unimo的核心网络是transformer，同时为图像和文本输入学习统一的语义表示。图像和文本数据分别通过预训练的faster r-cnn和bert进行特征提取和表示，多模态图文对数据被转换为图像表示序列和文本表示序列的拼接。
这三种类型数据共享模型参数，经过多层注意力机制后得到图像文本信息统一的语义表示，unimo结构如图4所示。其训练方式类似bert， 此外论文还提出了一种跨模态对比学习的新预训练方法。
在多模态任务上， unimo超过了诸如vilbert、vlp、uniter、oscar、villa等最新的多模预训练模型。而且在单模态任务上也取得了不错的效果，如图5（b）所示。
4. 视觉物体锚点模型
前面的几个模型只是将图像区域特征和文本特征连接起来作为输入，并不参考任何对齐线索，利用transformer的self-attention机制，让模型自动学习整张图像和文本的语义对齐方式。oscar的作者［4］提出把物体用作图像和文本语义层面上的锚点（anchor point），以简化图像和文本之间的语义对齐的学习任务。
使用faster r-cnn等预训练物体检测器 ，将图像表示为一组图像区域特征，每个图像区域特征分配一个物体标签，同时使用预训练后的bert得到物体标签的词嵌入表示。
该模型在共享空间中显式地将图像和文本关联在一起，物体则扮演图像、文本语义对齐中锚点的角色。在此例中，由于视觉重叠区域，“狗”和“沙发”在图像区域特征空间中相似，在单词嵌入空间中有所差异。
经过实验测试，该模型的性能在多个任务上已经超过sota模型。下表中 sotas、 sotab、和sotal分别表示小规模模型、与bert-base和bert-large规模相近的vlp模型。oscarb和oscarl分别是基于bert-base和bert-large训练的oscar模型。
5. 总结
目前多模态研究已经取得了较大进展，但如果以构建能感知多模态信息并利用多模态信息跨越语义鸿沟的智能系统为目标，那么现在的研究仍处于初级阶段，既面临着挑战，也存在着机遇。在未来，多模态表示学习、多模态情感分析以及任务导向的大规模多模态人机交互系统等方向的发展值得我们关注。
reference
［1］ lu j ， batra d ， parikh d ， et al. vilbert： pretraining task-agnostic visiolinguistic representations for vision-and-language tasks［j］。 2019.
［2］ su w ， zhu x ， y cao， et al. vl-bert： pre-training of generic visual-linguistic representations［j］。 2019.
［3］ li w ， gao c ， niu g ， et al. unimo： towards unified-modal understanding and generation via cross-modal contrastive learning［j］。 2020.
［4］ li x ， yin x ， li c ， et al. oscar： object-semantics aligned pre-training for vision-language tasks［m］。 2020.
原文：李晓辰
基于AT89C51的红外遥控密码锁系统的设计方案
骨传导耳机排名，2021值得推荐的骨传导耳机
浅谈NTC热敏电阻
Synaptics发布全新FS4600指纹传感器系列，扩大Natural ID产品组合
华为荣耀8：一直被赞扬外表神机，其实它有的不止是外表！
简述文本与图像领域的多模态学习有关问题
比特币市场下跌，区块链领域正迎来哪六大转变？
如何借助“粒子追踪模块”，开发分析静态混合器性能的App
长见识了，原来USB口的颜色是有含义的，值得收藏！
OBT智能衡器控制器
尖端的IIoT解决方案正在推动行业向前发展
多个电压系统需要电源电压排序
如何在数据中心进行效率测量
苹果秋季发布会9月16日举办_iPhone12外观/价格/配置提前看
如何提高混合集成电路的电磁兼容性
EERAM解决方案可消除电池备份问题的不可靠性
接触器的基本知识
PCB技术：如果传输线也有身材？
本安型红外热像仪是否也需要使用防爆挠性管呢？
华为云FusionInsight助力客户全面演进到现代数据栈 云领未来
本期导读：近年来研究人员在计算机视觉和自然语言处理方向均取得了很大进展，因此融合了二者的多模态深度学习也越来越受到关注。本期主要讨论结合文本和图像的多模态任务，将从多模态预训练模型中的几个分支角度，简述文本与图像领域的多模态学习有关问题。
1. 引言
近年来，计算机视觉和自然语言处理方向均取得了很大进展。而融合二者的多模态深度学习也越来越受到关注，在基于图像和视频的字幕生成、视觉问答（vqa）、视觉对话、基于文本的图像生成等方面研究成果显著，下图1展示了有关多模态深度学习的应用范畴。
在这些任务中，无论是文本还是语音，自然语言都起到了帮助计算机“理解”图像内容的关键作用，这里的“理解”指的是对齐语言中蕴含的语义特征与图像中蕴含的图像特征。本文主要关注于结合文本和图像的多模态任务，将从多模态预训练模型中的几个分支来分析目前图像与文本的多模态信息处理领域的有关问题。
2. 多模态预训练模型
学习输入特征的更好表示是深度学习的核心内容。在传统的nlp单模态领域，表示学习的发展已经较为完善，而在多模态领域，由于高质量有标注多模态数据较少，因此人们希望能使用少样本学习甚至零样本学习。最近两年出现了基于transformer结构的多模态预训练模型，通过海量无标注数据进行预训练，然后使用少量有标注数据进行微调即可。
多模态预训练模型根据信息融合的方式可分为两大类，分别是cross-stream类和single-stream类。
（1）cross-stream类模型是指将不同模态的输入分别处理之后进行交叉融合，例如vilbert［1］。2019年lu jiasen等人将输入的文本经过文本embedding层后被输入到transformer编码器中提取上下文信息。
使用预训练faster r-cnn生成图片候选区域提取特征并送入图像embedding层，然后将获取好的文本和图像表示通过co-attention-transformer模块进行交互融合，得到最后的表征。
（2）single-stream类模型将图片、文本等不同模态的输入一视同仁，在同一个模型进行融合，例如vl-bert［2］。2020年，su weijie等人提出了vl-bert，它采用transformer作为主干，将视觉和语言嵌入特征同时输入模型。
3. 统一多模态模型
在之前的模型中，单模态数据集上训练的模型只能做各自领域的任务，否则它们的表现会大幅下降。要想学习多模态模型必须图文结合才行。这种多模态图文对数据数据量少，获取成本高。2021年，百度的li wei等人［3］提出的unimo模型，统一了单模态、多模态模型的训练方式，既可以利用海量的单模态数据，又能将多模态信号统一在一个语义空间内促进理解。
unimo的核心网络是transformer，同时为图像和文本输入学习统一的语义表示。图像和文本数据分别通过预训练的faster r-cnn和bert进行特征提取和表示，多模态图文对数据被转换为图像表示序列和文本表示序列的拼接。
这三种类型数据共享模型参数，经过多层注意力机制后得到图像文本信息统一的语义表示，unimo结构如图4所示。其训练方式类似bert， 此外论文还提出了一种跨模态对比学习的新预训练方法。
在多模态任务上， unimo超过了诸如vilbert、vlp、uniter、oscar、villa等最新的多模预训练模型。而且在单模态任务上也取得了不错的效果，如图5（b）所示。
4. 视觉物体锚点模型
前面的几个模型只是将图像区域特征和文本特征连接起来作为输入，并不参考任何对齐线索，利用transformer的self-attention机制，让模型自动学习整张图像和文本的语义对齐方式。oscar的作者［4］提出把物体用作图像和文本语义层面上的锚点（anchor point），以简化图像和文本之间的语义对齐的学习任务。
使用faster r-cnn等预训练物体检测器 ，将图像表示为一组图像区域特征，每个图像区域特征分配一个物体标签，同时使用预训练后的bert得到物体标签的词嵌入表示。
该模型在共享空间中显式地将图像和文本关联在一起，物体则扮演图像、文本语义对齐中锚点的角色。在此例中，由于视觉重叠区域，“狗”和“沙发”在图像区域特征空间中相似，在单词嵌入空间中有所差异。
经过实验测试，该模型的性能在多个任务上已经超过sota模型。下表中 sotas、 sotab、和sotal分别表示小规模模型、与bert-base和bert-large规模相近的vlp模型。oscarb和oscarl分别是基于bert-base和bert-large训练的oscar模型。
5. 总结
目前多模态研究已经取得了较大进展，但如果以构建能感知多模态信息并利用多模态信息跨越语义鸿沟的智能系统为目标，那么现在的研究仍处于初级阶段，既面临着挑战，也存在着机遇。在未来，多模态表示学习、多模态情感分析以及任务导向的大规模多模态人机交互系统等方向的发展值得我们关注。
reference
［1］ lu j ， batra d ， parikh d ， et al. vilbert： pretraining task-agnostic visiolinguistic representations for vision-and-language tasks［j］。 2019.
［2］ su w ， zhu x ， y cao， et al. vl-bert： pre-training of generic visual-linguistic representations［j］。 2019.
［3］ li w ， gao c ， niu g ， et al. unimo： towards unified-modal understanding and generation via cross-modal contrastive learning［j］。 2020.
［4］ li x ， yin x ， li c ， et al. oscar： object-semantics aligned pre-training for vision-language tasks［m］。 2020.
原文：李晓辰
基于AT89C51的红外遥控密码锁系统的设计方案
骨传导耳机排名，2021值得推荐的骨传导耳机
浅谈NTC热敏电阻
Synaptics发布全新FS4600指纹传感器系列，扩大Natural ID产品组合
华为荣耀8：一直被赞扬外表神机，其实它有的不止是外表！
简述文本与图像领域的多模态学习有关问题
比特币市场下跌，区块链领域正迎来哪六大转变？
如何借助“粒子追踪模块”，开发分析静态混合器性能的App
长见识了，原来USB口的颜色是有含义的，值得收藏！
OBT智能衡器控制器
尖端的IIoT解决方案正在推动行业向前发展
多个电压系统需要电源电压排序
如何在数据中心进行效率测量
苹果秋季发布会9月16日举办_iPhone12外观/价格/配置提前看
如何提高混合集成电路的电磁兼容性
EERAM解决方案可消除电池备份问题的不可靠性
接触器的基本知识
PCB技术：如果传输线也有身材？
本安型红外热像仪是否也需要使用防爆挠性管呢？
华为云FusionInsight助力客户全面演进到现代数据栈 云领未来