速度提升270倍！微软和浙大联合推出全新语音合成系统FastSpeech
目前，基于神经网络的端到端文本到语音合成技术发展迅速，但仍面临不少问题——合成速度慢、稳定性差、可控性缺乏等。为此，微软亚洲研究院机器学习组和微软（亚洲）互联网工程院语音团队联合浙江大学提出了一种基于transformer的新型前馈网络fastspeech，兼具快速、鲁棒、可控等特点。与自回归的transformer tts相比，fastspeech将梅尔谱的生成速度提高了近270倍，将端到端语音合成速度提高了38倍，单gpu上的语音合成速度达到了实时语音速度的30倍。
近年来，基于神经网络的端到端文本到语音合成（text-to-speech,tts）技术取了快速发展。与传统语音合成中的拼接法（concatenative synthesis）和参数法（statistical parametric synthesis）相比，端到端语音合成技术生成的声音通常具有更好的声音自然度。但是，这种技术依然面临以下几个问题：
合成语音的速度较慢：端到端模型通常以自回归（autoregressive）的方式生成梅尔谱（mel-spectrogram），再通过声码器（vocoder）合成语音，而一段语音的梅尔谱通常能到几百上千帧，导致合成速度较慢；
合成的语音稳定性较差：端到端模型通常采用编码器-注意力-解码器（encoder-attention-decoder）机制进行自回归生成，由于序列生成的错误传播（error propagation）以及注意力对齐不准，导致出现重复吐词或漏词现象；
缺乏可控性：自回归的神经网络模型自动决定一条语音的生成长度，无法显式地控制生成语音的语速或者韵律停顿等。
为了解决上述的一系列问题，微软亚洲研究院机器学习组和微软（亚洲）互联网工程院语音团队联合浙江大学提出了一种基于transformer的新型前馈网络fastspeech，可以并行、稳定、可控地生成高质量的梅尔谱，再借助声码器并行地合成声音。
在ljspeech数据集上的实验表明，fastspeech除了在语音质量方面可以与传统端到端自回归模型（如tacotron2和transformer tts）相媲美，还具有以下几点优势：
快速：与自回归的transformer tts相比，fastspeech将梅尔谱的生成速度提高了近270倍，将端到端语音合成速度提高了近38倍，单gpu上的语音合成速度是实时语音速度的30倍；
鲁棒：几乎完全消除了合成语音中重复吐词和漏词问题；
可控：可以平滑地调整语音速度和控制停顿以部分提升韵律。
模型框架
图1. fastspeech网络架构
前馈transformer架构
fastspeech采用一种新型的前馈transformer网络架构，抛弃掉传统的编码器-注意力-解码器机制，如图1（a）所示。其主要模块采用transformer的自注意力机制（self-attention）以及一维卷积网络（1d convolution），我们将其称之为fft块（feed-forward transformer block, fft block），如图1（b）所示。前馈transformer堆叠多个fft块，用于音素（phoneme）到梅尔谱变换，音素侧和梅尔谱侧各有n个fft块。特别注意的是，中间有一个长度调节器（length regulator），用来调节音素序列和梅尔谱序列之间的长度差异。
长度调节器
长度调节器如图1（c）所示。由于音素序列的长度通常小于其梅尔谱序列的长度，即每个音素对应于几个梅尔谱序列，我们将每个音素对齐的梅尔谱序列的长度称为音素持续时间。长度调节器通过每个音素的持续时间将音素序列平铺以匹配到梅尔谱序列的长度。我们可以等比例地延长或者缩短音素的持续时间，用于声音速度的控制。此外，我们还可以通过调整句子中空格字符的持续时间来控制单词之间的停顿，从而调整声音的部分韵律。
音素持续时间预测器
音素持续时间预测对长度调节器来说非常重要。如图1（d）所示，音素持续时间预测器包括一个2层一维卷积网络，以及叠加一个线性层输出标量用以预测音素的持续时间。这个模块堆叠在音素侧的fft块之上，使用均方误差（mse）作为损失函数，与fastspeech模型协同训练。我们的音素持续时间的真实标签信息是从一个额外的基于自回归的transformer tts模型中抽取encoder-decoder之间的注意力对齐信息得到的，详细信息可查阅文末论文。
实验评估
为了验证fastspeech模型的有效性，我们从声音质量、生成速度、鲁棒性和可控制性几个方面来进行了评估。
声音质量
我们选用ljspeech数据集进行实验，ljspeech包含13100个英语音频片段和相应的文本，音频的总长度约为24小时。我们将数据集分成3组：300个样本作为验证集，300个样本作为测试集，剩下的12500个样本用来训练。
我们对测试样本作了mos测试，每个样本至少被20个英语母语评测者评测。mos指标用来衡量声音接近人声的自然度和音质。我们将fastspeech方法与以下方法进行对比：1) gt, 真实音频数据；2) gt (mel + waveglow), 用waveglow作为声码器将真实梅尔谱转换得到的音频；3) tacotron 2 (mel + waveglow)；4) transformer tts (mel + waveglow)；5) merlin (world), 一种常用的参数法语音合成系统，并且采用world作为声码器。
从表1中可以看出，我们的音质几乎可以与自回归的transformer tts和tacotron 2相媲美。
fastspeech合成的声音demo：
文字：“the result of the recommendation of the committee of 1862 was the prison act of 1865”
合成速度
我们比较fastspeech与具有近似参数量的transformer tts的语音合成速度。从表2可以看出，在梅尔谱的生成速度上，fastspeech比自回归的transformer tts提速将近270倍；在端到端（合成语音）的生成速度上，fastspeech比自回归的transformer tts提速将近38倍。fastspeech平均合成一条语音的时间为0.18s，由于我们的语音平均时长为6.2s，我们的模型在单gpu上的语音合成速度是实时语音速度的30倍（6.2/0.18）。
图2展示了测试集上生成语音的耗时和生成的梅尔谱长度（梅尔谱长度与语音长度成正比）的可视化关系图。可以看出，随着生成语音长度的增大，fastspeech的生成耗时并没有发生较大变化，而transformer tts的速度对长度非常敏感。这也表明我们的方法非常有效地利用了gpu的并行性实现了加速。
图2. 生成语音的耗时与生成的梅尔谱长度的可视化关系图
鲁棒性
自回归模型中的编码器-解码器注意力机制可能导致音素和梅尔谱之间的错误对齐，进而导致生成的语音出现重复吐词或漏词。为了评估fastspeech的鲁棒性，我们选择微软（亚洲）互联网工程院语音团队产品线上使用的50个较难的文本对fastspeech和基准模型transformer tts鲁棒性进行测试。从下表可以看出，transformer tts的句级错误率为34％，而fastspeech几乎可以完全消除重复吐词和漏词。
语速调节
fastspeech可以通过长度调节器很方便地调节音频的语速。通过实验发现，从0.5x到1.5x变速，fastspeech生成的语音清晰且不失真。
消融对比实验
我们也比较了fastspeech中一些重要模块和训练方法（包括fft中的一维卷积、序列级别的知识蒸馏技术和参数初始化）对生成音质效果的影响，通过cmos的结果来衡量影响程度。由下表可以看出，这些模块和方法确实有助于我们模型效果的提升。
未来，我们将继续提升fastspeech模型在生成音质上的表现，并且将会把该模型应用到其它语言（例如中文）、多说话人和低资源场景中。我们还会尝试将fastspeech与并行神经声码器结合在一起训练，形成一个完全端到端训练的语音到文本并行架构。
【新品】多模GNSS定位模块，轻松实现高精度定位！
风力发电充电宝：解决旅行途中的充电问题
1-7月我国软件业完成软件业务收入42448亿元
搪瓷储罐脱瓷损坏如何修复
TDK对嵌入式电机控制器系列进行了扩展，实现了对高温环境的适应
速度提升270倍！微软和浙大联合推出全新语音合成系统FastSpeech
越看2020苹果发布会 越怀念乔布斯
聚脂膜电容器的分类及技术参数介绍
SEI膜的形成机理和化成工艺
利用稀土掺杂UCNCs作为光活性材料用于NIR PDs的研究进展
5G时代“边云协同”,服务器市场迎来巨大增量
扩展软件体系结构的六个通用规则
美的新推出显示器护眼挂屏灯正式上市
氢能源安全事故频发,我们是否也该冷静下来
农业温室大棚中所应用的几种传感器介绍
奥地利微电子转攻电源管理IC，锁定大陆处理器厂家
LAPIS Semiconductor开发出实现丰富色彩与亮度的全彩LED照明用低功耗微控制器
用于触觉和生物信号监测的超柔性有机有源矩阵传感器片
三星推出了AR Emoji的新版本,更精准的面部追踪功能
VR游戏《In Death: Unchained》登陆Quest
近年来，基于神经网络的端到端文本到语音合成（text-to-speech,tts）技术取了快速发展。与传统语音合成中的拼接法（concatenative synthesis）和参数法（statistical parametric synthesis）相比，端到端语音合成技术生成的声音通常具有更好的声音自然度。但是，这种技术依然面临以下几个问题：
合成语音的速度较慢：端到端模型通常以自回归（autoregressive）的方式生成梅尔谱（mel-spectrogram），再通过声码器（vocoder）合成语音，而一段语音的梅尔谱通常能到几百上千帧，导致合成速度较慢；
合成的语音稳定性较差：端到端模型通常采用编码器-注意力-解码器（encoder-attention-decoder）机制进行自回归生成，由于序列生成的错误传播（error propagation）以及注意力对齐不准，导致出现重复吐词或漏词现象；
缺乏可控性：自回归的神经网络模型自动决定一条语音的生成长度，无法显式地控制生成语音的语速或者韵律停顿等。
为了解决上述的一系列问题，微软亚洲研究院机器学习组和微软（亚洲）互联网工程院语音团队联合浙江大学提出了一种基于transformer的新型前馈网络fastspeech，可以并行、稳定、可控地生成高质量的梅尔谱，再借助声码器并行地合成声音。
在ljspeech数据集上的实验表明，fastspeech除了在语音质量方面可以与传统端到端自回归模型（如tacotron2和transformer tts）相媲美，还具有以下几点优势：
快速：与自回归的transformer tts相比，fastspeech将梅尔谱的生成速度提高了近270倍，将端到端语音合成速度提高了近38倍，单gpu上的语音合成速度是实时语音速度的30倍；
鲁棒：几乎完全消除了合成语音中重复吐词和漏词问题；
可控：可以平滑地调整语音速度和控制停顿以部分提升韵律。
模型框架
图1. fastspeech网络架构
前馈transformer架构
fastspeech采用一种新型的前馈transformer网络架构，抛弃掉传统的编码器-注意力-解码器机制，如图1（a）所示。其主要模块采用transformer的自注意力机制（self-attention）以及一维卷积网络（1d convolution），我们将其称之为fft块（feed-forward transformer block, fft block），如图1（b）所示。前馈transformer堆叠多个fft块，用于音素（phoneme）到梅尔谱变换，音素侧和梅尔谱侧各有n个fft块。特别注意的是，中间有一个长度调节器（length regulator），用来调节音素序列和梅尔谱序列之间的长度差异。
长度调节器
长度调节器如图1（c）所示。由于音素序列的长度通常小于其梅尔谱序列的长度，即每个音素对应于几个梅尔谱序列，我们将每个音素对齐的梅尔谱序列的长度称为音素持续时间。长度调节器通过每个音素的持续时间将音素序列平铺以匹配到梅尔谱序列的长度。我们可以等比例地延长或者缩短音素的持续时间，用于声音速度的控制。此外，我们还可以通过调整句子中空格字符的持续时间来控制单词之间的停顿，从而调整声音的部分韵律。
音素持续时间预测器
音素持续时间预测对长度调节器来说非常重要。如图1（d）所示，音素持续时间预测器包括一个2层一维卷积网络，以及叠加一个线性层输出标量用以预测音素的持续时间。这个模块堆叠在音素侧的fft块之上，使用均方误差（mse）作为损失函数，与fastspeech模型协同训练。我们的音素持续时间的真实标签信息是从一个额外的基于自回归的transformer tts模型中抽取encoder-decoder之间的注意力对齐信息得到的，详细信息可查阅文末论文。
实验评估
为了验证fastspeech模型的有效性，我们从声音质量、生成速度、鲁棒性和可控制性几个方面来进行了评估。
声音质量
我们选用ljspeech数据集进行实验，ljspeech包含13100个英语音频片段和相应的文本，音频的总长度约为24小时。我们将数据集分成3组：300个样本作为验证集，300个样本作为测试集，剩下的12500个样本用来训练。
我们对测试样本作了mos测试，每个样本至少被20个英语母语评测者评测。mos指标用来衡量声音接近人声的自然度和音质。我们将fastspeech方法与以下方法进行对比：1) gt, 真实音频数据；2) gt (mel + waveglow), 用waveglow作为声码器将真实梅尔谱转换得到的音频；3) tacotron 2 (mel + waveglow)；4) transformer tts (mel + waveglow)；5) merlin (world), 一种常用的参数法语音合成系统，并且采用world作为声码器。
从表1中可以看出，我们的音质几乎可以与自回归的transformer tts和tacotron 2相媲美。
fastspeech合成的声音demo：
文字：“the result of the recommendation of the committee of 1862 was the prison act of 1865”
合成速度
我们比较fastspeech与具有近似参数量的transformer tts的语音合成速度。从表2可以看出，在梅尔谱的生成速度上，fastspeech比自回归的transformer tts提速将近270倍；在端到端（合成语音）的生成速度上，fastspeech比自回归的transformer tts提速将近38倍。fastspeech平均合成一条语音的时间为0.18s，由于我们的语音平均时长为6.2s，我们的模型在单gpu上的语音合成速度是实时语音速度的30倍（6.2/0.18）。
图2展示了测试集上生成语音的耗时和生成的梅尔谱长度（梅尔谱长度与语音长度成正比）的可视化关系图。可以看出，随着生成语音长度的增大，fastspeech的生成耗时并没有发生较大变化，而transformer tts的速度对长度非常敏感。这也表明我们的方法非常有效地利用了gpu的并行性实现了加速。
图2. 生成语音的耗时与生成的梅尔谱长度的可视化关系图
鲁棒性
自回归模型中的编码器-解码器注意力机制可能导致音素和梅尔谱之间的错误对齐，进而导致生成的语音出现重复吐词或漏词。为了评估fastspeech的鲁棒性，我们选择微软（亚洲）互联网工程院语音团队产品线上使用的50个较难的文本对fastspeech和基准模型transformer tts鲁棒性进行测试。从下表可以看出，transformer tts的句级错误率为34％，而fastspeech几乎可以完全消除重复吐词和漏词。
语速调节
fastspeech可以通过长度调节器很方便地调节音频的语速。通过实验发现，从0.5x到1.5x变速，fastspeech生成的语音清晰且不失真。
消融对比实验
我们也比较了fastspeech中一些重要模块和训练方法（包括fft中的一维卷积、序列级别的知识蒸馏技术和参数初始化）对生成音质效果的影响，通过cmos的结果来衡量影响程度。由下表可以看出，这些模块和方法确实有助于我们模型效果的提升。
未来，我们将继续提升fastspeech模型在生成音质上的表现，并且将会把该模型应用到其它语言（例如中文）、多说话人和低资源场景中。我们还会尝试将fastspeech与并行神经声码器结合在一起训练，形成一个完全端到端训练的语音到文本并行架构。
【新品】多模GNSS定位模块，轻松实现高精度定位！
风力发电充电宝：解决旅行途中的充电问题
1-7月我国软件业完成软件业务收入42448亿元
搪瓷储罐脱瓷损坏如何修复
TDK对嵌入式电机控制器系列进行了扩展，实现了对高温环境的适应
速度提升270倍！微软和浙大联合推出全新语音合成系统FastSpeech
越看2020苹果发布会 越怀念乔布斯
聚脂膜电容器的分类及技术参数介绍
SEI膜的形成机理和化成工艺
利用稀土掺杂UCNCs作为光活性材料用于NIR PDs的研究进展
5G时代“边云协同”,服务器市场迎来巨大增量
扩展软件体系结构的六个通用规则
美的新推出显示器护眼挂屏灯正式上市
氢能源安全事故频发,我们是否也该冷静下来
农业温室大棚中所应用的几种传感器介绍
奥地利微电子转攻电源管理IC，锁定大陆处理器厂家
LAPIS Semiconductor开发出实现丰富色彩与亮度的全彩LED照明用低功耗微控制器
用于触觉和生物信号监测的超柔性有机有源矩阵传感器片
三星推出了AR Emoji的新版本,更精准的面部追踪功能
VR游戏《In Death: Unchained》登陆Quest