嵌入式TTS汉语语音系统的解决方案
嵌入式tts汉语语音系统的解决方案
使计算机、带有人机交互的电器、仪表等能像人一样开口“说话”是科技工作者多年的研究目标。语言是人与人交流信息的一种手段，文语转换tts（text to speech）是自动将输入文字转换成语音输出,并尽量使输出的语音效率流畅、自然的一类技术。
tts系统主要需解决两个问题：
①文本分析,即语言学分析。该任务是将以文本广度输入的字符串转换成语言学的表述;
②语音合成。即根据语言学的内在表述信息合成语音。
tts系统中的语音合成方法分为时域和频域两大类：频域方法主要有lpc参数合成及其振峰合成两种,其实质是在工程上实现语音生成模型,进而在终端特性上模拟发音器官。在目前阶段,频域方法形成的发音尚不自然,且需要的计算量很大,不适宜在低端的嵌入式芯片上使用。波形编辑法是将较短的数字音频段（即合成基元）拼接并进行段音平滑后生成连续语流的方法。这种方法占用的存储空间大,但计算量小、计算速度快,而且合成语音自然度较高,显然比较适合于芯片性能较弱的嵌入式系统方面的应用。
采用波形编辑法的嵌入式tts系统由于成本低、性能完善、自然度高,随着波形修改算法的不断提出以及微处理器和非易失性存储介质功能的不断增强,正日益受到人们的关注。本系统即采用时域波形编辑技术,采集gb2312汉字编码字符集中所有字符发音作为原始材料,通过使用改进的游程编码算法压缩生成可适用于当前flash存储器的语音库,并采用多重查找表设计及预存储命令字技术有效地加快语音库的寻址速度,在基于atmel公司的at89s52单片机上成功实现了一个tts语音系统,经测试取得了令人满意的效果。该系统应用简便,具有很小的尺寸和很低的功耗及通用的串行接口,可以广泛用于有关的汉语语音应用系统中。
1 系统原理
图1为系统原理图框图以及主要操作流程。系统采用串行口与外界交互,任何具有标准串口的设备均可与本系统相连。欲发音汉字的国标码（gb码）由串口送入mcu,mcu将其映射为flash存储器地址表中对应项的地址,然后根据此地址取得对应项中的命令字,由mcu根据该命令字读取该汉字发音对应的语音数据,连续读出语音数据并以游程码解码算法解码后,按照语音采样时的固定速率通过d/a转换和功率放大播放。本文中语音采样速率为11025b/s。为满足应用需求,本文首先构建易于快速解码的语音库,根据特定flash存储器的存储格式,以快速多查找表寻址及命令字预先存储的方式组织并存储在flash存储器中,以满足语音播放的实时要求。同样,mcu的代码也要优先考虑速度而牺牲诸如模块化、可读性方面的要求。最后,出于实用性考虑,系统中需加入足够的输入缓冲区支持,以满足一次输入多个流字或整句的要求。
原始语音数据的采集和处理
本系统共采集了1335种发音,内含1306个流字发音,26个英文字母发音及3个停顿音,语音采集卡ad转换整编11025b/s,分辨率8位,样本值域0～255,静默值为80h。原始语音以wav文件的格式保存在pc机中。
图2是“哎”音样本的时域波形。所有的采集样本除具有不同的波形包络外,均具有大体相同的结构,即一个完整的汉字发音均由前后两个静音部分和中间的发音部分组成。静音的采集值绝大多数为80h（一些轻微扰动可视为录音过程中的噪声,但尾音部分要另外处理）,因而可将其统一为80h,以提高压缩比。另由图2可见,00h、01h、ffh、feh这些边缘值的出现概率是很小的,这个特性亦可用于语音的压缩算法中。
本文根据上述静默值及边缘值的分布特点,提出了一种改进的游程编码用于语音数据的压缩,具体做法是：用00h代表游程压缩起始码,其后是被编码字符,再下一个字节是被编码字符的重复码,如：80 80 80 80 80可以表示为00 80 05。显然,游程长度小于等于3时没有编码的必要,因而不会出现值为00h、01h和02h的重复码。如上所述,在原始语音文件中,00h、01h这些边缘值是基本上不出现的。因为大量出现这些边缘值即意味着语音采集系统的动态范围设置错误。尽管如此,为确保原始语音文件中没有“多余”边缘值,需要将语音文件略做处理,将可能存在的00h和01h都改为02h,显然这样的处理并不会影响语音的实际播放效果。处理后的00h、01h即可作为特殊控制字符使用。图3是本文提出的改进流程压缩编码的流程图。编码前,1335种原始语音样本的大小为14978622字节,压缩后为7767112字节,压缩比超过50%。该语音库已经可以装入容量为8m字节的flash存储器中。
3 语音库的存储结构
本文以8mbit×8位nand型flash存储器k9f6408u0b为例,描述本系统语音库的存储结构。
语音库的基本内容分为两部分：前端是地址查找表,其后是压缩后的语音数据。地址表中,每4个字节代表一个地址项。gb2312汉字编码字符集中每个汉字在地址表中都有一个对应项,其内容指向该汉字对应读音的语音数据起始地址。gb码字符集中共有94个区,每区94个字符,总计8836个汉字、英文字母和其它符号,其中实际使用了7445个,余下的作为预留区。本系统亦保留了这些预留区,以利于将来的扩充。这样,地址表的大小为94×94×4=35344字节。语音数据区共存储1335年发音,采用流程编码压缩存放,并在每段语音数据结尾添加01h作为结束控制符。
对不同的flash存储器,语音库需做一些针对性的处理。对于k9f6408u0b而言,要对其c区进行专门的处理。该芯片中,每个页面（page）都有a、b、c三个区,其中a、b区各256字节,而c区仅有16字节。本设计中没有用到c区,因而在制作写入flash的二进制政府间库文件时必须注意对c区进行空白码（ffh）填充。考虑c区填充后,地址表对应的二进制语音库文件大小的计算方法改为：512×69+16=35344,表示当35344字节只占据a区和b区时共需69个页面,多出16字节。这意味着有69个c区需要填充,即写入flash的地址表的实际大小应该是35344+69×16=36448。相应地,语音数据区需要进行同样的处理。
在pc上制作写入的flash的数据文件时,首先将地址表放在最前面,其后将压缩后的语音文件逐一写入,并将每个文件的起始地址转换成对flash存储器操作的命令字写入地址表相应项中,每写完一个文件要加上01h结束码,并在写入过程中完成对c区的填充。在综合完1335个语音文件、地址查找表、c区填充码及文件结束码之后,得到flash存储器的二进制映像文件,其大小为8047776字节。写入后,flash中尚余后333kb可用空间,联合地址表中的预留项,可用于对系统语音库做进一步的扩充。上述语音库的存储结构见图4。
4 码字转换及高效mcu代码的实现
本文中的码字转换有两类。一类gb码到语音库起始字节数的转换,用于mcu收到串口输入的gb码后,确定相应读音在地线表中对应项的起始地址。该类码字转换主要依据gb2312标准及语音库地址表的结构进行。本文中,该码制转换的算法为：（（gb码高字节-161）×94+（gb）码低字节-161））×4。另一类是将上述地址转换为flash读取数据的命令字。这类转换与语音库存储结构及所用flash存储器的读写操作及时序相关。由于在语音库生成时已由pc机将语音数据的起始地址转换为操作命令字并存储到了地址表对应项中,即大部分的计算及时序控制操作在使用pc制作flash的二进制映像文件时已经完成,因而避免了系统运行中的大量计算,从而保证了语音播放的实时性。计算命令字的方法与具体的flash存储器型号相关且较为繁琐。限于篇幅,本文不再给出具体的算法。有兴趣的读者可以参阅k9f6408u0b的数据表。
本文中的mcu型号为at89s52,使用22.1484mhz的晶振。根据at89s52数据表,每播放一个汉字,所需指令周期数为（1/11025）/（12/22.1184）=167.2。因此设置一个计时器中断,中断值为256-167=89,在每两个中断之间完成如下工作：
（1） 从缓冲区中取得gb码并将之转换为地址表对应项地址;
（2） 从地址表对应项中取得对应语音数据区存储地址;
（3） 取得对应语音数据区数据;
（4） 完成游程解码并播放。
此外,由于完成有可能在语音播放过程收以输入字符,因而串口亦应工作于中断方式,串口波特率为9600bps,其优先级高于定时器中断。本系统中,此缓冲区能满足使用都 量多一次输入60个汉字。以上操作均在约168个指令周期中完成,大约相当84条双周期指令。因而在代码编写中,必须把代 码效率放在第一位,灵活地运用编程技巧来完成。
本文给出了一种嵌入式tts汉语语音系统的实现方案。由于采用了易于解码的改进游程算法、多重查找表及flash存储器操作命令这了的预先存储技术,使得该方案可以在罗低要求的硬件平台上实现,以at89s52 mcu为核心的嵌入式tts系统不同于基于pc的tts语音系统,该系统体积小、功耗低、成本低廉、适用范围很广。经测试其语音清晰、连贯,可发音字节涵盖gb码所有汉字、26个英文字节,一次可输入多达60个汉字的整句,足以满足大部分应用场合的需要。如以高档mcu或arm处理器为平台,还可以增加更多的算法,以进一步改进系统性能。
1AM2 头戴式耳机对比体验：ZX300 播放器的最佳搭档
具备开盖告警功能的智能电表和开盖告警方法
基于OMAP3的视频解码器的通用解码方案
全新可编程SoC架构，ARM和FPGA的互补
曾鹏：针对5G在智能制造的发展方面的建议
嵌入式TTS汉语语音系统的解决方案
艾比森获TUV南德LED显示屏产品碳足迹核查声明
德企赛路诺75亿在南京投建新能源电池项目
遥感人工智能应用技术研究中心正式成立
出门问问在CES上发布面向企业级场景的可定制智能交互屏TicKasa Show
广芯微发布125KHz低频唤醒SoC UM2082F08及相关车用PKE方案
气体变送器_气体变送器OFweek Mall注意事项
HiHopeOS面向智慧城市领域的发行版通过兼容性测评
蔚来推出新固态电池 专家：固态电池 5 年内不会大规模商用
三星Exynos 9810规格曝光 单核处理速度提高2倍 支持3D人脸扫描
高通事件背后的故事是什么呢？
CAM350中关于DFM检验应用
Spansion推出业内最快的1.8V高速串行NOR闪存
精准营销与产品研发：帕克西AI智能测肤的双重优势
线激光锂电池侧缝焊接质量检测要求
使计算机、带有人机交互的电器、仪表等能像人一样开口“说话”是科技工作者多年的研究目标。语言是人与人交流信息的一种手段，文语转换tts（text to speech）是自动将输入文字转换成语音输出,并尽量使输出的语音效率流畅、自然的一类技术。
tts系统主要需解决两个问题：
①文本分析,即语言学分析。该任务是将以文本广度输入的字符串转换成语言学的表述;
②语音合成。即根据语言学的内在表述信息合成语音。
tts系统中的语音合成方法分为时域和频域两大类：频域方法主要有lpc参数合成及其振峰合成两种,其实质是在工程上实现语音生成模型,进而在终端特性上模拟发音器官。在目前阶段,频域方法形成的发音尚不自然,且需要的计算量很大,不适宜在低端的嵌入式芯片上使用。波形编辑法是将较短的数字音频段（即合成基元）拼接并进行段音平滑后生成连续语流的方法。这种方法占用的存储空间大,但计算量小、计算速度快,而且合成语音自然度较高,显然比较适合于芯片性能较弱的嵌入式系统方面的应用。
采用波形编辑法的嵌入式tts系统由于成本低、性能完善、自然度高,随着波形修改算法的不断提出以及微处理器和非易失性存储介质功能的不断增强,正日益受到人们的关注。本系统即采用时域波形编辑技术,采集gb2312汉字编码字符集中所有字符发音作为原始材料,通过使用改进的游程编码算法压缩生成可适用于当前flash存储器的语音库,并采用多重查找表设计及预存储命令字技术有效地加快语音库的寻址速度,在基于atmel公司的at89s52单片机上成功实现了一个tts语音系统,经测试取得了令人满意的效果。该系统应用简便,具有很小的尺寸和很低的功耗及通用的串行接口,可以广泛用于有关的汉语语音应用系统中。
1 系统原理
图1为系统原理图框图以及主要操作流程。系统采用串行口与外界交互,任何具有标准串口的设备均可与本系统相连。欲发音汉字的国标码（gb码）由串口送入mcu,mcu将其映射为flash存储器地址表中对应项的地址,然后根据此地址取得对应项中的命令字,由mcu根据该命令字读取该汉字发音对应的语音数据,连续读出语音数据并以游程码解码算法解码后,按照语音采样时的固定速率通过d/a转换和功率放大播放。本文中语音采样速率为11025b/s。为满足应用需求,本文首先构建易于快速解码的语音库,根据特定flash存储器的存储格式,以快速多查找表寻址及命令字预先存储的方式组织并存储在flash存储器中,以满足语音播放的实时要求。同样,mcu的代码也要优先考虑速度而牺牲诸如模块化、可读性方面的要求。最后,出于实用性考虑,系统中需加入足够的输入缓冲区支持,以满足一次输入多个流字或整句的要求。
原始语音数据的采集和处理
本系统共采集了1335种发音,内含1306个流字发音,26个英文字母发音及3个停顿音,语音采集卡ad转换整编11025b/s,分辨率8位,样本值域0～255,静默值为80h。原始语音以wav文件的格式保存在pc机中。
图2是“哎”音样本的时域波形。所有的采集样本除具有不同的波形包络外,均具有大体相同的结构,即一个完整的汉字发音均由前后两个静音部分和中间的发音部分组成。静音的采集值绝大多数为80h（一些轻微扰动可视为录音过程中的噪声,但尾音部分要另外处理）,因而可将其统一为80h,以提高压缩比。另由图2可见,00h、01h、ffh、feh这些边缘值的出现概率是很小的,这个特性亦可用于语音的压缩算法中。
本文根据上述静默值及边缘值的分布特点,提出了一种改进的游程编码用于语音数据的压缩,具体做法是：用00h代表游程压缩起始码,其后是被编码字符,再下一个字节是被编码字符的重复码,如：80 80 80 80 80可以表示为00 80 05。显然,游程长度小于等于3时没有编码的必要,因而不会出现值为00h、01h和02h的重复码。如上所述,在原始语音文件中,00h、01h这些边缘值是基本上不出现的。因为大量出现这些边缘值即意味着语音采集系统的动态范围设置错误。尽管如此,为确保原始语音文件中没有“多余”边缘值,需要将语音文件略做处理,将可能存在的00h和01h都改为02h,显然这样的处理并不会影响语音的实际播放效果。处理后的00h、01h即可作为特殊控制字符使用。图3是本文提出的改进流程压缩编码的流程图。编码前,1335种原始语音样本的大小为14978622字节,压缩后为7767112字节,压缩比超过50%。该语音库已经可以装入容量为8m字节的flash存储器中。
3 语音库的存储结构
本文以8mbit×8位nand型flash存储器k9f6408u0b为例,描述本系统语音库的存储结构。
语音库的基本内容分为两部分：前端是地址查找表,其后是压缩后的语音数据。地址表中,每4个字节代表一个地址项。gb2312汉字编码字符集中每个汉字在地址表中都有一个对应项,其内容指向该汉字对应读音的语音数据起始地址。gb码字符集中共有94个区,每区94个字符,总计8836个汉字、英文字母和其它符号,其中实际使用了7445个,余下的作为预留区。本系统亦保留了这些预留区,以利于将来的扩充。这样,地址表的大小为94×94×4=35344字节。语音数据区共存储1335年发音,采用流程编码压缩存放,并在每段语音数据结尾添加01h作为结束控制符。
对不同的flash存储器,语音库需做一些针对性的处理。对于k9f6408u0b而言,要对其c区进行专门的处理。该芯片中,每个页面（page）都有a、b、c三个区,其中a、b区各256字节,而c区仅有16字节。本设计中没有用到c区,因而在制作写入flash的二进制政府间库文件时必须注意对c区进行空白码（ffh）填充。考虑c区填充后,地址表对应的二进制语音库文件大小的计算方法改为：512×69+16=35344,表示当35344字节只占据a区和b区时共需69个页面,多出16字节。这意味着有69个c区需要填充,即写入flash的地址表的实际大小应该是35344+69×16=36448。相应地,语音数据区需要进行同样的处理。
在pc上制作写入的flash的数据文件时,首先将地址表放在最前面,其后将压缩后的语音文件逐一写入,并将每个文件的起始地址转换成对flash存储器操作的命令字写入地址表相应项中,每写完一个文件要加上01h结束码,并在写入过程中完成对c区的填充。在综合完1335个语音文件、地址查找表、c区填充码及文件结束码之后,得到flash存储器的二进制映像文件,其大小为8047776字节。写入后,flash中尚余后333kb可用空间,联合地址表中的预留项,可用于对系统语音库做进一步的扩充。上述语音库的存储结构见图4。
4 码字转换及高效mcu代码的实现
本文中的码字转换有两类。一类gb码到语音库起始字节数的转换,用于mcu收到串口输入的gb码后,确定相应读音在地线表中对应项的起始地址。该类码字转换主要依据gb2312标准及语音库地址表的结构进行。本文中,该码制转换的算法为：（（gb码高字节-161）×94+（gb）码低字节-161））×4。另一类是将上述地址转换为flash读取数据的命令字。这类转换与语音库存储结构及所用flash存储器的读写操作及时序相关。由于在语音库生成时已由pc机将语音数据的起始地址转换为操作命令字并存储到了地址表对应项中,即大部分的计算及时序控制操作在使用pc制作flash的二进制映像文件时已经完成,因而避免了系统运行中的大量计算,从而保证了语音播放的实时性。计算命令字的方法与具体的flash存储器型号相关且较为繁琐。限于篇幅,本文不再给出具体的算法。有兴趣的读者可以参阅k9f6408u0b的数据表。
本文中的mcu型号为at89s52,使用22.1484mhz的晶振。根据at89s52数据表,每播放一个汉字,所需指令周期数为（1/11025）/（12/22.1184）=167.2。因此设置一个计时器中断,中断值为256-167=89,在每两个中断之间完成如下工作：
（1） 从缓冲区中取得gb码并将之转换为地址表对应项地址;
（2） 从地址表对应项中取得对应语音数据区存储地址;
（3） 取得对应语音数据区数据;
（4） 完成游程解码并播放。
此外,由于完成有可能在语音播放过程收以输入字符,因而串口亦应工作于中断方式,串口波特率为9600bps,其优先级高于定时器中断。本系统中,此缓冲区能满足使用都 量多一次输入60个汉字。以上操作均在约168个指令周期中完成,大约相当84条双周期指令。因而在代码编写中,必须把代 码效率放在第一位,灵活地运用编程技巧来完成。
本文给出了一种嵌入式tts汉语语音系统的实现方案。由于采用了易于解码的改进游程算法、多重查找表及flash存储器操作命令这了的预先存储技术,使得该方案可以在罗低要求的硬件平台上实现,以at89s52 mcu为核心的嵌入式tts系统不同于基于pc的tts语音系统,该系统体积小、功耗低、成本低廉、适用范围很广。经测试其语音清晰、连贯,可发音字节涵盖gb码所有汉字、26个英文字节,一次可输入多达60个汉字的整句,足以满足大部分应用场合的需要。如以高档mcu或arm处理器为平台,还可以增加更多的算法,以进一步改进系统性能。
1AM2 头戴式耳机对比体验：ZX300 播放器的最佳搭档
具备开盖告警功能的智能电表和开盖告警方法
基于OMAP3的视频解码器的通用解码方案
全新可编程SoC架构，ARM和FPGA的互补
曾鹏：针对5G在智能制造的发展方面的建议
嵌入式TTS汉语语音系统的解决方案
艾比森获TUV南德LED显示屏产品碳足迹核查声明
德企赛路诺75亿在南京投建新能源电池项目
遥感人工智能应用技术研究中心正式成立
出门问问在CES上发布面向企业级场景的可定制智能交互屏TicKasa Show
广芯微发布125KHz低频唤醒SoC UM2082F08及相关车用PKE方案
气体变送器_气体变送器OFweek Mall注意事项
HiHopeOS面向智慧城市领域的发行版通过兼容性测评
蔚来推出新固态电池 专家：固态电池 5 年内不会大规模商用
三星Exynos 9810规格曝光 单核处理速度提高2倍 支持3D人脸扫描
高通事件背后的故事是什么呢？
CAM350中关于DFM检验应用
Spansion推出业内最快的1.8V高速串行NOR闪存
精准营销与产品研发：帕克西AI智能测肤的双重优势
线激光锂电池侧缝焊接质量检测要求