微软亚洲互联网工程院NLP团队重磅推出开源项目NeuronBlocks

近日,为了提高nlp深度学习模型过程中的效率,微软亚洲互联网工程院nlp团队重磅推出开源项目neuronblocks,使得上述复杂的任务像搭积木一样简单!
其实,构建nlp深度学习模型就是搭积木。
在构建自然语言理解深度学习模型过程中,研究人员或者工程师们经常需要在编程细节和代码调试上花费大量精力,而不是专注于模型架构设计与参数调整。
为了提升构建深度模型的效率,微软亚洲互联网工程院自然语言理解团队 (stca nlp group, microsoft) 推出了开源项目neuronblocks——自然语言处理任务的模块化深度学习建模工具包。
论文地址:https://arxiv.org/abs/1904.09535
项目地址:https://github.com/microsoft/neuronblocks
neuronblocks将常用的神经网络层封装为标准模块,通过配置简单的配置文件,就可以轻松构建复杂的深度神经网络模型。与此同时,工具包还提供了一系列针对常见nlp 任务的经典模型。neuronblocks能使工程师们在几秒钟内快速构建和训练各种自然语言处理模型。工具包的可扩展性很强,支持快速加入新的神经元模块用于新的网络模型的构建,最大程度地避免重复的代码工作。
目前工具包支持的任务包括:句子分类(二/多分类),文本匹配,序列标注,阅读理解,基于知识蒸馏的模型压缩,等等。
neuronblocks设计
neuronblocks是基于pytorch的nlp深度学习建模工具包,可以帮助研究员或者工程师们快速构建自然语言理解任务的深度神经网络模型。该工具包的主要目标是将nlp深度神经网络模型构建的开发成本降到最低,包括模型训练阶段和推断阶段。neuronblocks整体框架如下图所示,包括block zoo和model zoo两个重要组件。
block zoo将常用的神经网络层抽象并封装为可重用的标准模块。这些模块将被用于构建各种针对不同自然语言理解任务的深度学习模型。工具包目前支持的标准神经网络模块包括:词嵌入、cnn、lstm/gpu、transformer和各种attention等。
model zoo提供大量预构建好的深度神经网络模型,涵盖了常见的nlp任务。这些模型以json配置文件的形式呈现,用户可以通过简单修改model zoo中的示例模型配置,即可将其应用于自己的任务中。此外,工具包支持linux和windows操作系统、cpu与gpu处理器、以及pai等gpu调度平台。
快速开始
neuronblocks目前支持:python 3.6, pytorch 0.4.1,linux/windows,gpu/cpu。
1、获取源码:
gitclonehttps://github.com/microsoft/neuronblocks
2、安装依赖包:
pipinstall-rrequirements.txtpipinstalltorch==0.4.1
3、运行示例模型:
#训练cdproject_rootpythontrain.py--conf_path=model_zoo/demo/conf.json#测试pythontest.py--conf_path=model_zoo/demo/conf.json#预测pythonpredict.py--conf_path=model_zoo/demo/conf.json
neuronblocks工作流程
用户可以选择model zoo中的示例模型(json配置文件)开启模型训练,或者利用block zoo中的标准神经网络模块自由构建新的模型架构,就像玩乐高积木一样。
模型可视化工具
neuronblocks提供了一个模型可视化工具,可以快速绘制模型架构图,如下图所示。
neuronblocks优势
模型构建:用户只需要配置简单的json文件,就能够构建模型和调整参数,大大减少了模型实现的工作量;
模型分享:可以通过分享json配置文件来分享模型,使模型共享变得非常容易。对于不同的任务或模型,用户只需维护一个通用的源码库;
代码重用:可以在各任务与模型间共享神经网络模块,减少重复的编程工作;
平台灵活性:可以在linux和windows机器上运行,支持cpu和gpu,也支持像open pai这样的gpu管理平台;
模型可视化:提供了一个模型可视化工具,用于观察模型结构及检查json配置的正确性;
可扩展性:支持用户贡献新的神经网络模块或者新的模型。
当然,有兴趣的读者可以加入neuronblocks开源项目,一起贡献代码!

光纤配线架分类有这些
华米宣布应用黄山1号芯片的产品将在2019年问世
从原子角度揭示单晶与多晶的氧空位形成机理
【节能学院】电力运维云平台开启电力系统无人值班、少人值守新模式
日本企业开发出了安全的5G移动网络和无人机技术
微软亚洲互联网工程院NLP团队重磅推出开源项目NeuronBlocks
游侠汽车宣布完成B+轮3.5亿美金融资
电气工作原理图及其符号所表示的含义
三星计划在西安扩大闪存产能 未来三年投70亿美元
进气压力传感器坏症状
豪威科技发布带LED闪烁抑制功能的830万像素HDR传感器
自制限电器电路图
关于二极管的那些知识你不知道的故事
小企业如何使用云计算实现最大效益
中兴事件与华为事件的本质区别是什么
如何利用Intel的傲腾技术和CPU提升Ceph性能
基于单片机AT89C51和CAN控制器实现柴油发动机测试系统的设计
Powerbox推出一个新系列高压输入DC / DC转换器,可用于微电网,数据中心和工业应用
前两代的究极形态版,小米手环 3 上手评测
合作智慧医疗解决更多患者痛苦,济南小伙期待在科研上走得更远