使用TensorFlow开发的一款通用深度学习框架,侧重于针对语言相关任务的序列模型

lingvo 是国际性语言世界语中的一个单词,意为 “语言”。此名称寓指 lingvo 框架的根基,即它是使用 tensorflow 开发的一款通用深度学习框架,侧重于针对语言相关任务(例如机器翻译、语音识别和语音合成)的序列模型。
此框架在 google 内部非常受欢迎,使用它的研究人员也越来越多。目前已发表 数十篇使用 lingvo 获得顶尖成果的论文,未来还会有更多论文面世。lingvo 支持多种架构,从传统的循环神经网络 (rnn) 序列模型到 transformer 模型,再到包含变分自编码器 (vae) 组件的模型,不一而足。为表示对研究社区的支持,同时鼓励可复现的研究工作,我们开源了此框架,并开始发布论文中使用的模型。
图 1:lingvo 框架概览,简要展示了如何实例化和训练模型,以及如何将模型导出以进行评估和部署
在构建 lingvo 时,我们秉持着协作研究的理念,通过在不同任务之间共享公共层的实现来提升代码复用率。此外,所有层都采用相同的公共界面,并且以相同的方式布局。这不仅可以产生更简洁易懂的代码,还能让您非常轻松地将其他开发者为其他任务所做的改进应用到您自己的任务上。执行这种一致性的确成本不菲,需要更多的规则和样板文件,但 lingvo 会努力将成本降至最低,以确保在研究过程中更快地进行迭代。
协作的另一个方面是共享可复现的成果。lingvo 提供一个集中的位置,用于存储检入的模型超参数配置。这不仅可以用来记录重要的实验,还能让其他研究者通过训练相同的模型,轻松复现您的成果。
虽然 lingvo 最初的关注重点是 nlp,但它其实非常灵活,研究人员已经使用此框架成功实现了图像分割、点云分类等任务的模型。它还支持提炼、生成式对抗网络 (gan) 和多任务模型。同时,此框架的速度并未因此而受到影响,它具有经优化的输入管道和快速分布式训练能力。最后,lingvo 还将易于实现生产化也纳入考虑,它甚至有一条明确定义的路径,可以将模型移植到移动推理。

小米电视内容团队宣布向武汉地区用户免费开放2万部优质影视剧内容
UDI系统试点工作将展开 医疗器械最严溯源监管时代即将来临
关于农药残留快速检测仪器设备的性能描述
远距监控改善病患健康状况 研究:仍缺乏明显实证
LED背光灯驱动控制电路原理及常见故障分析
使用TensorFlow开发的一款通用深度学习框架,侧重于针对语言相关任务的序列模型
物联网数据计算新方式,边缘计算加强人工智能生态融合
Redmi Note 9 Pro预计将与Redmi Note 9一同发布
配电网和微电网区别
Acrel-6000电气火灾监控系统的结构及功能
单芯片电源管理和端口控制器解决方案
从产业经济学角度看美国制裁华为
LSI通过1TB希捷闪存达到百万次IOPS性能水平
安全不小事,选择电源还是选择「安规电源」
Windows10迎来对更多微软产品的Windows Update更新支持
“日本制造”被质疑 造假事故不断
如何使用Arduino测量液体的浊度
与众不同是快餐店:它的主要员工是机器人
iPhone 16或添拍摄按钮,支持空间视频录制
FAIR何恺明团队近日发表神经结构搜索NAS方面的最新力作