谷歌多模态大模型PaLI研究神经网络
作者丨xi chen等
来源丨机器之心
编辑丨张倩
语言和视觉任务的建模中，更大的神经网络模型能获得更好的结果，几乎已经是共识。在语言方面，t5、gpt-3、megatron-turing、glam、chinchilla 和 palm 等模型显示出了在大文本数据上训练大型 transformer 的明显优势。视觉方面，cnn、视觉 transformer 和其他模型都从大模型中取得了很好的结果。language-and-vision 建模也是类似的情况，如 simvlm、florence、coca、git、beit 和 flamingo。
在这篇论文中，来自谷歌的研究者通过一个名为 pali （pathways language and image）的模型来延续这一方向的研究。
pali 使用单独 “image-and-text to text” 接口执行很多图像、语言以及 “图像 + 语言” 任务。pali 的关键结构之一是重复使用大型单模态 backbone 进行语言和视觉建模，以迁移现有能力并降低训练成本。
在语言方面，作者复用有 13b 参数的 mt5-xxl。mt5-xxl 已经把语言理解和泛化能力一体打包。作者通过实验证明这些功能可以维护并扩展到多模态情况。
在视觉方面，除复用 2b 参数 vit-g 模型外，作者还训练了拥有 4b 参数的模型 vit-e（“enormous”）。vit-e 在图像任务上表现出很好的性能（imagenet 上准确率达到 90.9％；objectnet 准确率达到 84.9%）。
作者发现了联合 scaling 视觉和语言组件的好处，视觉提供了更好的投入回报（每个参数 / flop 带来的准确度提升）。实验结果表明，最大的 pali 模型——pali-17b 在两种任务模式下表现相对平衡，vit-e 模型约占总参数的 25％。而先前的大规模视觉和语言建模工作，情况并非总是如此（wang 等人，2022a；alayrac 等人，2022），因为视觉和语言 backbone 之间的先验量表并不匹配。
作者通过将多个图像和 （或） 语言任务转换为广义的类似 vqa 的任务，实现它们之间的知识共享。使用 “image+query to answer” 来构建所有任务，其中检索和回答都表示为文本标记。这使得 pali 能够使用跨任务的迁移学习，并在广泛的视觉和语言问题中增强 language-and-image 理解能力：图像描述、视觉问答、场景文本理解等（如图 1 所示）。
为了训练 pali-17b，作者构建了全新的大容量 image-and-language 数据集 webli，包含 10b 的图文对数据，webli 数据集包含 100 多种语言的文本。通过训练模型用多种语言执行多模态任务，这大大增加了任务的多样性，并测试了模型在跨任务和跨语言之间有效扩展的能力。作者也提供了数据卡来介绍有关 webli 及其构造的信息。
pali-17b 在多个 benchmark 上都达到了 sota，表现优于某些强大的模型（见表 1）。
具体来说，pali 在 coco 数据集 benchmark 上的表现优于多数新旧模型，在 karpaty 分割上的得分为 149.1。pali 在 vqav2 上使用类似 flamingo 的开放词汇文本生成的设置达到 84.3% 的最新 sota，该结果甚至优于在固定词汇分类环境中评估的模型，例如 coca、simvlm、beit-3。作者的工作为未来的多模态模型提供了 scaling 路线图。model scaling 对于多语言环境中的语言图像理解特别重要。作者的结果支持这样一个结论：与其他替代方案相比，scaling 每个模式的组件会产生更好的性能。
这篇文章在知乎上引发了一些讨论。有人感叹说，「刚要汇报 beit3，随便一刷知乎，又被超了」（引自知乎用户 @走遍山水路）。还有人认为，论震撼程度，pali 比不上 beit-3，「毕竟 model scaling 这事大家已经比较麻了」。但「谷歌把这个大家伙做出来了，还达到了一系列新 sota，并且零样本都已经做得很突出，还是非常令人敬佩」（引自知乎用户 @霜清老人）。
以下是论文细节。
模型架构
作者使用 pali 的目的是执行单模态（语言、视觉）和多模态（语言和视觉）任务。这些任务中的许多任务最好由不同的模型处理。如图像分类及许多 vqa 需要从固定集合中预测元素，而 language-only 任务和图像描述需要开放词汇文本生成。作者通过使用所有任务所需的通用接口来解决该问题：模型接受图像和文本字符串作为输入，并生成文本作为输出。在预训练和微调时使用相同的接口。由于所有任务都使用相同的模型执行，即没有任务特定的参数，因此使用基于文本的提示指导模型需要执行的任务。
图 2 展示了模型架构的高阶示意图。其核心是一个文本 encoder-decoder transformer。为了将视觉作为输入，向文本编码器提供视觉“tokens”：视觉 transformer 将图像作为输入，并输出相关特征。通过交叉注意力将视觉 token 传递到 encoder-decoder 模型之前，不会将池化应用于视觉 transformer 的输出。
作者重复使用之前训练过的单模态模型。对于文本 encoder-decoder，重复使用预训练的 mt5（xue 等，2021）模型，而对于图像编码，则重复使用大型 vanilla vit 模型（dosovitskiy 等，2021; zhai 等，20222a）。
实验结果
作者在三个纯英文图像的 benchmark 上评估了 pali 模型的变体，结果如表 4 所示。
作者对四个仅英文视觉问答（vqa）benchmark 进行评估，结果见表 6。
作者将 mt5-xxl 和 pali-17b 在一系列语言理解任务 benchmark 进行比较，对比结果如表 8 所示。
作者使用 224x224 分辨率（在高分辨率预微调之前）对 pali 模型在 imagenet 和 imagenet ood 数据集上进行评估，评估结果如表 9 所示。
ABB亮相行业年会 携手业界推动智能技术发展
基于块层的组成“bio层”的详细解析
使用HART兼容性处理技术简化设计过程
智慧城市的数据治理
【英飞凌PSoC 6 RTT开发板试用】通过软件和硬件I2C接口获取数字温湿度传感器SHT30的数据
谷歌多模态大模型PaLI研究神经网络
详解列控中心与ZPW-2000轨道电路接口
轨交信号系统基础简介
果汁LED灯制作步骤
销售火爆 好评如潮，OPPO R11首销受热捧
中国布局新能源汽车开放,本土化才是关键
5G工业网关助力搭建污水预处理智能化信息应用平台
安森美半导体将在2015 APEC展示下一代电源系统
恩智浦半导体公司宣布推出首个多设备车载无线充电解决方案
电梯前室 (合用前室) 和楼梯间的余压传感器的是怎么进行工作的
单片机教程十二:单片机逻辑与或异或指令详解
Helm部署MinIO集群
CES 2023 | 从科技趋势看存储新风向
2020年人气爆棚的十大真无线蓝牙耳机品牌终极盘点
国美U7怎么样 到底值不值得买
来源丨机器之心
编辑丨张倩
语言和视觉任务的建模中，更大的神经网络模型能获得更好的结果，几乎已经是共识。在语言方面，t5、gpt-3、megatron-turing、glam、chinchilla 和 palm 等模型显示出了在大文本数据上训练大型 transformer 的明显优势。视觉方面，cnn、视觉 transformer 和其他模型都从大模型中取得了很好的结果。language-and-vision 建模也是类似的情况，如 simvlm、florence、coca、git、beit 和 flamingo。
在这篇论文中，来自谷歌的研究者通过一个名为 pali （pathways language and image）的模型来延续这一方向的研究。
pali 使用单独 “image-and-text to text” 接口执行很多图像、语言以及 “图像 + 语言” 任务。pali 的关键结构之一是重复使用大型单模态 backbone 进行语言和视觉建模，以迁移现有能力并降低训练成本。
在语言方面，作者复用有 13b 参数的 mt5-xxl。mt5-xxl 已经把语言理解和泛化能力一体打包。作者通过实验证明这些功能可以维护并扩展到多模态情况。
在视觉方面，除复用 2b 参数 vit-g 模型外，作者还训练了拥有 4b 参数的模型 vit-e（“enormous”）。vit-e 在图像任务上表现出很好的性能（imagenet 上准确率达到 90.9％；objectnet 准确率达到 84.9%）。
作者发现了联合 scaling 视觉和语言组件的好处，视觉提供了更好的投入回报（每个参数 / flop 带来的准确度提升）。实验结果表明，最大的 pali 模型——pali-17b 在两种任务模式下表现相对平衡，vit-e 模型约占总参数的 25％。而先前的大规模视觉和语言建模工作，情况并非总是如此（wang 等人，2022a；alayrac 等人，2022），因为视觉和语言 backbone 之间的先验量表并不匹配。
作者通过将多个图像和 （或） 语言任务转换为广义的类似 vqa 的任务，实现它们之间的知识共享。使用 “image+query to answer” 来构建所有任务，其中检索和回答都表示为文本标记。这使得 pali 能够使用跨任务的迁移学习，并在广泛的视觉和语言问题中增强 language-and-image 理解能力：图像描述、视觉问答、场景文本理解等（如图 1 所示）。
为了训练 pali-17b，作者构建了全新的大容量 image-and-language 数据集 webli，包含 10b 的图文对数据，webli 数据集包含 100 多种语言的文本。通过训练模型用多种语言执行多模态任务，这大大增加了任务的多样性，并测试了模型在跨任务和跨语言之间有效扩展的能力。作者也提供了数据卡来介绍有关 webli 及其构造的信息。
pali-17b 在多个 benchmark 上都达到了 sota，表现优于某些强大的模型（见表 1）。
具体来说，pali 在 coco 数据集 benchmark 上的表现优于多数新旧模型，在 karpaty 分割上的得分为 149.1。pali 在 vqav2 上使用类似 flamingo 的开放词汇文本生成的设置达到 84.3% 的最新 sota，该结果甚至优于在固定词汇分类环境中评估的模型，例如 coca、simvlm、beit-3。作者的工作为未来的多模态模型提供了 scaling 路线图。model scaling 对于多语言环境中的语言图像理解特别重要。作者的结果支持这样一个结论：与其他替代方案相比，scaling 每个模式的组件会产生更好的性能。
这篇文章在知乎上引发了一些讨论。有人感叹说，「刚要汇报 beit3，随便一刷知乎，又被超了」（引自知乎用户 @走遍山水路）。还有人认为，论震撼程度，pali 比不上 beit-3，「毕竟 model scaling 这事大家已经比较麻了」。但「谷歌把这个大家伙做出来了，还达到了一系列新 sota，并且零样本都已经做得很突出，还是非常令人敬佩」（引自知乎用户 @霜清老人）。
以下是论文细节。
模型架构
作者使用 pali 的目的是执行单模态（语言、视觉）和多模态（语言和视觉）任务。这些任务中的许多任务最好由不同的模型处理。如图像分类及许多 vqa 需要从固定集合中预测元素，而 language-only 任务和图像描述需要开放词汇文本生成。作者通过使用所有任务所需的通用接口来解决该问题：模型接受图像和文本字符串作为输入，并生成文本作为输出。在预训练和微调时使用相同的接口。由于所有任务都使用相同的模型执行，即没有任务特定的参数，因此使用基于文本的提示指导模型需要执行的任务。
图 2 展示了模型架构的高阶示意图。其核心是一个文本 encoder-decoder transformer。为了将视觉作为输入，向文本编码器提供视觉“tokens”：视觉 transformer 将图像作为输入，并输出相关特征。通过交叉注意力将视觉 token 传递到 encoder-decoder 模型之前，不会将池化应用于视觉 transformer 的输出。
作者重复使用之前训练过的单模态模型。对于文本 encoder-decoder，重复使用预训练的 mt5（xue 等，2021）模型，而对于图像编码，则重复使用大型 vanilla vit 模型（dosovitskiy 等，2021; zhai 等，20222a）。
实验结果
作者在三个纯英文图像的 benchmark 上评估了 pali 模型的变体，结果如表 4 所示。
作者对四个仅英文视觉问答（vqa）benchmark 进行评估，结果见表 6。
作者将 mt5-xxl 和 pali-17b 在一系列语言理解任务 benchmark 进行比较，对比结果如表 8 所示。
作者使用 224x224 分辨率（在高分辨率预微调之前）对 pali 模型在 imagenet 和 imagenet ood 数据集上进行评估，评估结果如表 9 所示。
ABB亮相行业年会 携手业界推动智能技术发展
基于块层的组成“bio层”的详细解析
使用HART兼容性处理技术简化设计过程
智慧城市的数据治理
【英飞凌PSoC 6 RTT开发板试用】通过软件和硬件I2C接口获取数字温湿度传感器SHT30的数据
谷歌多模态大模型PaLI研究神经网络
详解列控中心与ZPW-2000轨道电路接口
轨交信号系统基础简介
果汁LED灯制作步骤
销售火爆 好评如潮，OPPO R11首销受热捧
中国布局新能源汽车开放,本土化才是关键
5G工业网关助力搭建污水预处理智能化信息应用平台
安森美半导体将在2015 APEC展示下一代电源系统
恩智浦半导体公司宣布推出首个多设备车载无线充电解决方案
电梯前室 (合用前室) 和楼梯间的余压传感器的是怎么进行工作的
单片机教程十二:单片机逻辑与或异或指令详解
Helm部署MinIO集群
CES 2023 | 从科技趋势看存储新风向
2020年人气爆棚的十大真无线蓝牙耳机品牌终极盘点
国美U7怎么样 到底值不值得买