Meta开源NLLB翻译模型，支持200种语言互译
这个翻译模型，不仅支持200+语言之间任意两两互译，还是开源的。meta ai在发布开源大型预训练模型opt之后，再次发布最新成果nllb。
nllb的全称为no language left behind，如果套用某著名电影，可以翻译成“一个语言都不能少”。
这其中，中文分为简体繁体和粤语三种，而除了中英法日语等常用语种外，还包括了许多小众语言。
▲nllb支持的部分语种截图
由于这些语言之间都可以两两互译，所以咱们能用nllb把阿斯图里亚语、卢甘达语、乌尔都语等地球上的小众语言直接译成中文了。
一位用粤语的靓仔看到这里直接喜大普奔。
要知道，此前的众多语言模型，要么不支持这么多种语言，要么不能直接完成小众语言之间的两两翻译。
有了nllb，世界各地的人都有机会以自己的母语访问和分享网络内容；并且无论他们的语言偏好如何，都可以与他人在任意地方沟通。
meta称，他们计划先将这个技术应用于facebook和instagram，以提升这些平台上小众语言的计算机翻译水平。
同时，这也是他们元宇宙计划的一部分。而这项成果正式开源的消息，也受到广受好评。
除了ai业内关心他们如何支持语料稀缺的冷门语言，以及如何在bleu基准测试上提高7个点以外。也有来自西非的网友认为，语言障碍正是全球互联网用户数量进一步增长的关键。
在hacker news论坛上，大家也对这个ai议论纷纷。一个前端开发者说，自己的母语就是非常小众的那种，仅有约一百万人使用。
这位开发者此前从未见过对这种语言好用的ai翻译软件，而nllb给他带来了希望。
不过他认为，连著名的谷歌ai在处理“德-英-德”这样语料丰富的语言翻译时，都常常会出问题，所以他暂且对这个声称能翻译好小众语言的新模型持保留态度。
有网友给这位开发者支招儿，告诉他meta开放了有支持翻译的儿童书籍，可以去看看翻译效果。
还有人补充道，许多小众语言有许多不同的自然变体，更偏于口语化，而没有特定书面化标准，可以用多种文字书写。所以，如何对小众语言进行标准化是个棘手的问题。
怎么支持语料少的语言
这个掌握了200多种语言的ai模型是怎么训练的？
据meta ai介绍，他们的ai研究人员主要通过3个方面来解决一些语言语料少的问题。
其一是为语料少的语言自动构建高质量的数据集。研究者建立了一个多对多的多语言数据集flores-200。专业的真人翻译员和审稿人采用统一的标准，来保质保量地建立这个数据集。
首先，译员们翻译flores-200的全部句子，并检查；然后，独立审查员小组开始审查翻译质量，根据他们的评估将一些译文送去进行后期编辑。
如果质量评估表明，质量在90%以上，则认为该语言可以被纳入flores-200中。
最终，flores-200中包含了842篇不同文章的翻译，共3001个句子。
其二，是对200种语言建模：研究者开发了一个语言识别系统lid（language identification systems），标记出某段文字是用哪种语言写的。
用监督方式训练的lid模型在看似流畅的句子上，可能难以识别处不正确语法和不完整的字符串。
此外，lid很容易学习到没有意义的相关性。所以，在这个lid开发的不同阶段，工程师们都和语言学家们保持着紧密合作来尽量规避这些问题。
为了对小众语言进行较好的建模，研究者开发了一种“学生-教师挖掘法” （student-teacher mining）该方法的内容是：让一个大规模的多语言句子编码器的教师模型，与几个语料少的学生模型相互学习整合。
这样能够在不和多语料语言争夺容量的情况下，丰富小众语言的训练数据，保持了多语言嵌入空间的兼容性，避免从头开始重新训练整个模型。
其三，是将一个人工翻译的评估基准：flores的覆盖范围扩大2倍，来评估每一种语言的翻译质量。虽然自动评分是推动该研究的重要工具，但人工评价对于翻译质量的评估也是必不可少的。
通过整合ai自动评分和人工评估，能够广泛量化翻译水平，便于提升整理的翻译质量。
为了让更多程序员和工程师们能够使用或完善nllb，meta开放了所有的评估基准（flores-200、nllb-md、toxicity-200）、lid模型和训练代码，以及最终的nllb-200模型和其小型提炼版本等。
meta ai已将这些内容开源，就在fariseq仓库里面，感兴趣的小伙伴们可以去看看。
论文地址：
https://research.facebook.com/publications/no-language-left-behind/
开源地址：
https://github.com/facebookresearch/fairseq/tree/nllb
中信国际电讯集团共创新可能，华丽亮相2022世界人工智能大会
MS4525DO-DS3AI005DPF差压传感器在暖通空调的应用
PCB板工艺设计经验总结
三大可以让人工智能和区块链技术结合的方法详解
保险箱智能化真的有必要吗？
Meta开源NLLB翻译模型，支持200种语言互译
医疗高速“眼科CT“成功研制
iPhone8、三星Note8最新消息汇总：iPhone8、三星Note8不拼性能拼价格，超8000你买谁？
电子复合功能材料在智能手机中的应用
【蓝桥杯物联网】第三章 stm32l0xx_hal_gpio.c的常见函数
【分享】Wi-Fi的诞生与发展
通用定时器具有什么功能和作用
NASA的经验教训文件中的一些电气工程事故
制作用TDA7250驱动的100W功放
卫浴陶瓷行业MES系统应用价值
语音芯片在仿生驱鸟器上的应用！
特斯拉新车或采用UWB无缝解锁汽车模式
行业方案|冶金行业数字化采购管理系统解决方案
5G时代来临是物联网的催化剂，万物互联将成全球重要发展方向
奥迪的数字化转型路：虚拟驾驶舱发力
nllb的全称为no language left behind，如果套用某著名电影，可以翻译成“一个语言都不能少”。
这其中，中文分为简体繁体和粤语三种，而除了中英法日语等常用语种外，还包括了许多小众语言。
▲nllb支持的部分语种截图
由于这些语言之间都可以两两互译，所以咱们能用nllb把阿斯图里亚语、卢甘达语、乌尔都语等地球上的小众语言直接译成中文了。
一位用粤语的靓仔看到这里直接喜大普奔。
要知道，此前的众多语言模型，要么不支持这么多种语言，要么不能直接完成小众语言之间的两两翻译。
有了nllb，世界各地的人都有机会以自己的母语访问和分享网络内容；并且无论他们的语言偏好如何，都可以与他人在任意地方沟通。
meta称，他们计划先将这个技术应用于facebook和instagram，以提升这些平台上小众语言的计算机翻译水平。
同时，这也是他们元宇宙计划的一部分。而这项成果正式开源的消息，也受到广受好评。
除了ai业内关心他们如何支持语料稀缺的冷门语言，以及如何在bleu基准测试上提高7个点以外。也有来自西非的网友认为，语言障碍正是全球互联网用户数量进一步增长的关键。
在hacker news论坛上，大家也对这个ai议论纷纷。一个前端开发者说，自己的母语就是非常小众的那种，仅有约一百万人使用。
这位开发者此前从未见过对这种语言好用的ai翻译软件，而nllb给他带来了希望。
不过他认为，连著名的谷歌ai在处理“德-英-德”这样语料丰富的语言翻译时，都常常会出问题，所以他暂且对这个声称能翻译好小众语言的新模型持保留态度。
有网友给这位开发者支招儿，告诉他meta开放了有支持翻译的儿童书籍，可以去看看翻译效果。
还有人补充道，许多小众语言有许多不同的自然变体，更偏于口语化，而没有特定书面化标准，可以用多种文字书写。所以，如何对小众语言进行标准化是个棘手的问题。
怎么支持语料少的语言
这个掌握了200多种语言的ai模型是怎么训练的？
据meta ai介绍，他们的ai研究人员主要通过3个方面来解决一些语言语料少的问题。
其一是为语料少的语言自动构建高质量的数据集。研究者建立了一个多对多的多语言数据集flores-200。专业的真人翻译员和审稿人采用统一的标准，来保质保量地建立这个数据集。
首先，译员们翻译flores-200的全部句子，并检查；然后，独立审查员小组开始审查翻译质量，根据他们的评估将一些译文送去进行后期编辑。
如果质量评估表明，质量在90%以上，则认为该语言可以被纳入flores-200中。
最终，flores-200中包含了842篇不同文章的翻译，共3001个句子。
其二，是对200种语言建模：研究者开发了一个语言识别系统lid（language identification systems），标记出某段文字是用哪种语言写的。
用监督方式训练的lid模型在看似流畅的句子上，可能难以识别处不正确语法和不完整的字符串。
此外，lid很容易学习到没有意义的相关性。所以，在这个lid开发的不同阶段，工程师们都和语言学家们保持着紧密合作来尽量规避这些问题。
为了对小众语言进行较好的建模，研究者开发了一种“学生-教师挖掘法” （student-teacher mining）该方法的内容是：让一个大规模的多语言句子编码器的教师模型，与几个语料少的学生模型相互学习整合。
这样能够在不和多语料语言争夺容量的情况下，丰富小众语言的训练数据，保持了多语言嵌入空间的兼容性，避免从头开始重新训练整个模型。
其三，是将一个人工翻译的评估基准：flores的覆盖范围扩大2倍，来评估每一种语言的翻译质量。虽然自动评分是推动该研究的重要工具，但人工评价对于翻译质量的评估也是必不可少的。
通过整合ai自动评分和人工评估，能够广泛量化翻译水平，便于提升整理的翻译质量。
为了让更多程序员和工程师们能够使用或完善nllb，meta开放了所有的评估基准（flores-200、nllb-md、toxicity-200）、lid模型和训练代码，以及最终的nllb-200模型和其小型提炼版本等。
meta ai已将这些内容开源，就在fariseq仓库里面，感兴趣的小伙伴们可以去看看。
论文地址：
https://research.facebook.com/publications/no-language-left-behind/
开源地址：
https://github.com/facebookresearch/fairseq/tree/nllb
中信国际电讯集团共创新可能，华丽亮相2022世界人工智能大会
MS4525DO-DS3AI005DPF差压传感器在暖通空调的应用
PCB板工艺设计经验总结
三大可以让人工智能和区块链技术结合的方法详解
保险箱智能化真的有必要吗？
Meta开源NLLB翻译模型，支持200种语言互译
医疗高速“眼科CT“成功研制
iPhone8、三星Note8最新消息汇总：iPhone8、三星Note8不拼性能拼价格，超8000你买谁？
电子复合功能材料在智能手机中的应用
【蓝桥杯物联网】第三章 stm32l0xx_hal_gpio.c的常见函数
【分享】Wi-Fi的诞生与发展
通用定时器具有什么功能和作用
NASA的经验教训文件中的一些电气工程事故
制作用TDA7250驱动的100W功放
卫浴陶瓷行业MES系统应用价值
语音芯片在仿生驱鸟器上的应用！
特斯拉新车或采用UWB无缝解锁汽车模式
行业方案|冶金行业数字化采购管理系统解决方案
5G时代来临是物联网的催化剂，万物互联将成全球重要发展方向
奥迪的数字化转型路：虚拟驾驶舱发力