近日,ai主播亮相京东数科产业ai公开课,而这也是京东数科自主研发的ai虚拟数字人产品首次出现在公众面前。据介绍,京东数科融合了2d和3d技术,将传统方法与深度学习结合,仅需使用一段几分钟的人物视频数据,经过几小时训练就可以合成出写实风格的ai虚拟数字人。
据悉,为了顺利实现文字到语音的转化,京东数科自研了轻量级对抗语音合成技术,通过结合深度神经网络在多人数据上进行个性化建模,达到音色丰富、特色鲜明的语音合成效果,甚至可以模拟人的呼吸和停顿,听感酷似真人。高效轻量的对抗神经网络大幅提升了合成速度,合成1秒音频只需0.07秒,合成时延仅为业界水平的1/3,充分支持多场景实时语音合成。
在语音生成视频的阶段,为了使ai主播形象更加逼真,京东数科ai实验室利用对抗生成网络来还原更真实的表情,通过3d模型运动追踪技术来确保ai主播在说话时口型准确、表情细腻、头部运动自然。为了在口型匹配方面达到完美效果,京东数科ai实验室利用大量语音数据,并特意设计了鲁棒的语音特征,使其可以被不同音色、语言和语速的合成语音所驱动,且都能保持准确、连贯的口型。
最终,京东数科开发出了高度还原真人形象的ai虚拟数字人,在ai算法的驱动下,只需输入文本内容,“小妮”就能根据语义实时进行主持,且表情、动作和语音表达非常自然逼真。
京东数科ai实验室首席科学家薄列峰表示:“ai主播小妮的推出,是京东数科在多模态ai技术领域一次成功的落地应用。除了在客服、招聘等领域的应用之外,我们还将服务内容创造者,通过ai虚拟数字人技术,把静态图文内容转化为由‘真人’讲解的短视频,满足用户对多样化呈现形式的需求,增强用户黏性和社区活跃度。”
功率MOSFET及其发展浅说
基于Verilog的分数分频电路设计
SuperGLUE正式上线:NLP模型们,来迎接挑战吧!
基于RTX51实时操作系统的用户专用键盘软件设计
Linux关于Makefile的用法介绍
京东数科推出AI虚拟数字人 可应用于招募、客服等多场景
第79届中国电子展指引产业发展方向
Cree公司LED产品实现销售收入4.332亿美元,同比下降20%
单键触摸开关
影响超级电容器性能的因素
李彦宏现身贵州数博会称:无人车将在7月量产
Mouser Electronics荣获Murata Americas总裁奖
如何解决传感器的零点漂移问题
基于TMS34020的图形显示处理模块的设计
万众瞩目的OPPO R11开售在即,价格2999起,明天十点不见不散
Razer炼狱蝰蛇标准版评测 各方面特性都很均衡
LED显示屏的分类有哪些
基于DS1820的大功率LED驱动温度补偿电路设计
聚焦AIGC时代数据中心创新之道,OCP China Day 2023开幕在即
Oculus Go商业套装开始发货,VR解谜游戏《GNOG》登陆HTC Vive和Oculus Rift