Symbian平台上实现流媒体播放器
1 引言
symbian s60 平台的multimedia framework( mmf) api 可以为上层应用程序提供多媒体服务，为用户创建和分发丰富多彩的音乐应用。作为一个多媒体处理单元的插件集，mmf 提供了操作终端硬件的通用接口，支持不同的音频操作，可实现本地回放和流式回放两种模式，可播放多种音频格式。
在现有基于symbian os 的多媒体播放器的相关文献中，讨论了基于symbian 平台的流媒体播放器移动客户端的设计原理，给出了指导性意见，并在结构、缓冲等方面给出了优化建议，在此基础上提出了用户界面的设计方案。但该文献没有给出多媒体技术的具体实现。本文设计并实现了基于symbian 平台的多媒体播放器，但其仅支持本地播放，并没涉及到流式播放的相关技术。
mmusic 是一款基于mmf 架构，用于播放多种音乐文件的多媒体播放软件。它不仅实现了音乐文件的本地播放，同时支持流式播放。除此之外，该音乐播放器还支持音乐下载、歌词下载及播放同步等功能。其界面美观、操作简单且具有多种功能。
2 系统总体框架设计
在设计系统框架时，首先明确了播放器需要实现的四项基本功能: ①支持mp3、wmv、aac 等多种格式的本地音频播放; ②支持流式音频播放; ③支持歌曲搜索及下载的功能; ④支持歌词同步的功能。
mmusic 播放器的程序实现基于symbian s60 平台的应用程序架构，采用多视图框架，根据不同的功能构造不同的视图。其视图包括播放界面( 主界面) 、搜索歌曲界面、音乐媒体库界面和电台列表界面。其中播放界面是整个播放器的核心界面，主要负责音频媒体的播放，包括本地播放和流式播放。
根据播放模式的不同，动态选择相应的菜单和播放引擎。本地播放使用cplayeradapter 引擎。该引擎使用音频播放类cmdaaudioplayerutility 类及其相关的观察器mmdaaudioplayercallback 来实现本地音频播放。流式播放则使用cpluginadaper 引擎来实现，它使用了cmdaaudiooutputstream 和mmdaaudiooutputstreamcallback 类。
mmusic 音乐播放器按功能可划分为六个模块:
①ui 模块，负责各个界面显示和界面间的切换，并对用户按键进行处理;②本地播放模块，可以提供本地音频文件播放及音量控制等服务;③流式播放模块，实现与服务器的交互与流式播放;④数据下载模块，负责音频数据的下载及存储;⑤歌词同步模块，保证音频播放与歌词播放的同步;⑥服务器模块，提供音乐文件和歌词等下载资源。不同模块的关系如图1 所示。
图1 mmusic 播放器功能关系图
3 关键技术的介绍
3. 1 音频播放
音频播放功能可以通过mmf 所提供的接口来实现。其中音频播放类cmdaaudioplayerutility 类提供本地播放的api，而cmdaaudiooutputstream 类则提供流式播放的api。
3. 1. 1 本地播放引擎
mmusic 播放器把对音频文件的初始化、播放、暂停等操作封装在本地播放引擎cplayer - adapter中。该引擎包含支持音频回放操作和简单元数据读取操作的音频播放类cmdaaudio - playerutility。由于它的所有操作都是异步的，需要一个客户端来*音频播放操作。播放引擎cplayeradapter 须继承mmdaaudioplayercallback 接口类。该接口类提供了两个方法，mapcinitcomplete( ) 和mapcplaycomplete( ) 。本地播放流程如图2 所示。首先通过调用cmdaaudioplayerutility: : newfileplayerl( ) 函数构造并创建一个音频播放器的实例。当打开及初始化一个音频采样的工作结束后，系统自动调用mapcinit-complete( ) 方法，通知客户端创建实例的结果。若成功创建，则可调用cmdaaudioplayerutility: : play( ) 方法来播放音频文件。当播放某段音频采样操作完成后，系统再通过mapcplaycomplete( ) 回调函数通知客户端播放已完成。
3. 1. 2 流式播放引擎
对于流式音频播放，则使用多媒体框架的cmdaaudiooutputstreamapi。cpluginadaper 为封装好的流式播放引擎，由它来调用流媒体播放的相关接口。本地内容播放和流式播放的主要不同在于文件打开方式、初始化方法及对音频数据流的处理方式。
要实现流式播放，在程序里需要编写一个实现了mmdaaudiooutputstreamcallback 的客户端类。
这个类提供三个回调函数，向客户端提示音频输出的流式过程结果，让程序能处理可能的错误。这些回调函数是maoscopencomplete( ) 、maoscbuffercopied() 及maoscplay - complete ( ) ，它们都必须由cmdaaudiooutputstream 类的使用类实现。因此，cpluginadaper 须继承观察类mmdaaudiooutputstreamcallback来得到流式播放过程的结果。
图2 本地播放流程图
在实现流式播放前，需要与服务器进行连接，获得待播放的音频数据流。在mmusic 播放器里，使用套接字来实现服务端与客户端的通信。客户端首先需要连接到symbian os 套接字服务器，然后打开一个套接字并指定tcp 作为传输协议。接着从列表文件得到服务器的ip 地址和端口，向服务器发送请求。等服务器作出响应后，读取响应的数据并进行分析，用来初始化播放引擎。客户端继续对服务端请求播放的音频数据。
得到要播放的音频数据流后，则开始流式播放。
其播放流程如图3 所示。首先初始化cmdaaudiooutputstream类。初始化完成后，multimedia 框架会调用maoscopencomplete( ) 回调函数，指出音频输出已经可用。该框架所给出的参数是一个出错值，它指出初始化是否成功。如果成功，则给出kerrnone。此处可以设置采样率和音量等。成功初始化后，则可以在客户端调用playl( ) 函数来播放音频数据流。它调用fillbufferl( ) 函数把数据往缓冲区填充，并使用cmdaaudiooutputstream: : writel( const tdesc8&adata) 进行播放。其中参数adata 为缓冲区数据。
writel( ) 是一个异步函数。当复制了描述符adata中的数据到音频硬件之后，该框架将调用mmdaaudiooutputstreamcallback: : maoscbuffercopied( ) 回调方法，通知客户端应用已收到adata 并将其复制到播放流。此时，可以再调用fillbufferl( ) 函数继续填充缓冲区，从而实现连续不断地流播放。
图3 流式播放流程图
3. 2 音频文件下载及断点续传
mmusic 使用超文本传输协议http 来实现音频文件和歌词的下载。http 是在tcp /ip 协议上实现的应用层协议，用于在互联网上传输信息。它使用socket 在服务器和客户端之间进行数据传输。
在symbian os 版本中，提供了对http 客户端的api 支持。
使用http 进行通信时，客户端需要建立一个http 客户端会话，在会话上处理与http 服务器的通信。在会话上建立http 通信事务，事务由请求和响应组成，在同一个会话上可以建立一个或多个事务。也可以同时建立多个会话，来实现不同的连接。
在创建http 引擎时，首先创建一个rhttpsession类的对象，然后调用该类的open( ) 方法，打开这个新建立的会话。然后使用rhttptransaction类代表http 事务。事务是在http 客户端会话打开的。打开事务时，需制定事务使用的数据传输方法，get 或post，同时传入要打开的url。服务端处理完成后，返回响应数据。http 客户端通过对mhttp - transactioncallback 的回递，处理响应结果和接收响应数据。
歌曲的下载分两步来实现。首先把要搜索的歌曲名字用http 引擎发送到服务器，服务器返回xml 格式的文件给客户端。该xml 文件包含了搜索到的歌曲名字、下载地址、音频文件格式和大小等信息。客户端用symbian 自带的xml 解析器对文件进行解析，把解析后的歌曲信息存放在数组里。
每个数组的元素为自定义的结构体，包含歌曲名，下载地址等内容。
解析完毕后，切换到列表界面。列表界面显示刚下载的xml 文件的解析结果。用户可以根据自己的喜好选择要下载的歌曲。此时，客户端提取出歌曲下载的地址，用封装好的http 引擎向服务器发送下载请求。客户端首先判断待下载的文件是否已存在，如果不存在，则使用http 引擎普通下载模式下载音频文件。如果待下载的文件已存在，则获得现有文件大小，并把它作为参数传给http 引擎，发送到服务器端，实现断点续传。具体代码如下:
3. 3 歌词同步
首先在用户终端进行本地搜索与正在播放的音乐文件名字相同的歌词文件。若搜索到符合条件的文件，则对其进行解析。把文件的每一行内容作为一个数组单元存放在数组里，数据的单元包括有播放时间和歌词内容。由cmdaaudioplayerutility 类的getposition( ) 函数获得当前音频文件的播放位置，与数组中记录的歌词文件的时间做对比，来实现歌词同步。若没有搜索到歌词文件，则用歌词下载引擎从服务器下载并解析。
4 软件实现及效果
根据播放器的整体架构设计，在symbian 平台上实现音乐媒体播放器，并在实际的移动通信网络中进行了测试。测试环境是中国移动gprs /edge网络。测试手机为nokia n95，操作系统为v9. 2，用户界面为s60 第三版。其arm 主频11 332mhz，内存160mb。在真机上进行测试时，本地音频文件播放流畅。而播放在线电台的内容时( 即流式播放) ，其效果会受到网络状况的制约，但整体比较流畅。
播放器在真机上的效果如图4 所示。其中( a) 显示的是播放器的功能菜单，( b) 为本地播放和歌词同步的效果，( c) 显示流式播放时连接服务器的状态，( d) 为连接服务器成功后流式播放的效果，界面上可以显示当前的连接速度、音频文件的格式、流量等。
( a) 播放器功能菜单( b) 本地播放和歌词同步的效果( c) 流式播放时连接服务器的状态( d) 连接服务器成功后流式播放的效果
图4 软件效果图
5 结束语
mmusic 音乐播放器很好的实现了音频播放、音乐下载、歌词同步等功能。在此基础上，还可以增加一些音频的效果，使用户有更好的视听感受。同时在歌词同步方面，程序还可以增加调整歌词的功能，当出现歌词不同步时，用户可以根据实际情况进行调整。
CMOS器件内部不可忽视的闪烁噪声
脑科学与人工智能带来的机遇和挑战在哪里
光学补偿弯曲排列技术的优点与应用方向
耦合电容是什么？详细解析耦合电容的原理，耦合电容的应用和耦合电容电路
苍穹智能遥感解译产品体系—KQRS AI
Symbian平台上实现流媒体播放器
2016年机器人产业发展情况及未来趋势
基于机智云平台的简易升降机安全监控信号采集与传输系统
中国移动正式公布了5档5G商用套餐
单原子桥接策略开发高性能锌-碘电池
存储芯片周期性衰退可能有点长
云专线是什么意思？云专线的作用有哪些
【洞见芯趋势】智能家居正进入3.0时代！
小语智能客服系统——易捷客iService解决服务体验和工作效率！
当黑色成为流行，iPhone7plus磨砂黑遇上vivoX9磨砂黑你选谁？
影子控股，华中农业大学，中国农业大学举行全面战略合作签约
理想伙伴说丨意法半导体曹志平：持续创新，为可持续发展的世界创造可持续发展技术
什么是全息？北京谛听文化传媒公司所倡导的全息有什么优势？
无法识别SATA硬盘怎么办
浪潮服务器天梭M13分段内存镜像功能浅析
symbian s60 平台的multimedia framework( mmf) api 可以为上层应用程序提供多媒体服务，为用户创建和分发丰富多彩的音乐应用。作为一个多媒体处理单元的插件集，mmf 提供了操作终端硬件的通用接口，支持不同的音频操作，可实现本地回放和流式回放两种模式，可播放多种音频格式。
在现有基于symbian os 的多媒体播放器的相关文献中，讨论了基于symbian 平台的流媒体播放器移动客户端的设计原理，给出了指导性意见，并在结构、缓冲等方面给出了优化建议，在此基础上提出了用户界面的设计方案。但该文献没有给出多媒体技术的具体实现。本文设计并实现了基于symbian 平台的多媒体播放器，但其仅支持本地播放，并没涉及到流式播放的相关技术。
mmusic 是一款基于mmf 架构，用于播放多种音乐文件的多媒体播放软件。它不仅实现了音乐文件的本地播放，同时支持流式播放。除此之外，该音乐播放器还支持音乐下载、歌词下载及播放同步等功能。其界面美观、操作简单且具有多种功能。
2 系统总体框架设计
在设计系统框架时，首先明确了播放器需要实现的四项基本功能: ①支持mp3、wmv、aac 等多种格式的本地音频播放; ②支持流式音频播放; ③支持歌曲搜索及下载的功能; ④支持歌词同步的功能。
mmusic 播放器的程序实现基于symbian s60 平台的应用程序架构，采用多视图框架，根据不同的功能构造不同的视图。其视图包括播放界面( 主界面) 、搜索歌曲界面、音乐媒体库界面和电台列表界面。其中播放界面是整个播放器的核心界面，主要负责音频媒体的播放，包括本地播放和流式播放。
根据播放模式的不同，动态选择相应的菜单和播放引擎。本地播放使用cplayeradapter 引擎。该引擎使用音频播放类cmdaaudioplayerutility 类及其相关的观察器mmdaaudioplayercallback 来实现本地音频播放。流式播放则使用cpluginadaper 引擎来实现，它使用了cmdaaudiooutputstream 和mmdaaudiooutputstreamcallback 类。
mmusic 音乐播放器按功能可划分为六个模块:
①ui 模块，负责各个界面显示和界面间的切换，并对用户按键进行处理;②本地播放模块，可以提供本地音频文件播放及音量控制等服务;③流式播放模块，实现与服务器的交互与流式播放;④数据下载模块，负责音频数据的下载及存储;⑤歌词同步模块，保证音频播放与歌词播放的同步;⑥服务器模块，提供音乐文件和歌词等下载资源。不同模块的关系如图1 所示。
图1 mmusic 播放器功能关系图
3 关键技术的介绍
3. 1 音频播放
音频播放功能可以通过mmf 所提供的接口来实现。其中音频播放类cmdaaudioplayerutility 类提供本地播放的api，而cmdaaudiooutputstream 类则提供流式播放的api。
3. 1. 1 本地播放引擎
mmusic 播放器把对音频文件的初始化、播放、暂停等操作封装在本地播放引擎cplayer - adapter中。该引擎包含支持音频回放操作和简单元数据读取操作的音频播放类cmdaaudio - playerutility。由于它的所有操作都是异步的，需要一个客户端来*音频播放操作。播放引擎cplayeradapter 须继承mmdaaudioplayercallback 接口类。该接口类提供了两个方法，mapcinitcomplete( ) 和mapcplaycomplete( ) 。本地播放流程如图2 所示。首先通过调用cmdaaudioplayerutility: : newfileplayerl( ) 函数构造并创建一个音频播放器的实例。当打开及初始化一个音频采样的工作结束后，系统自动调用mapcinit-complete( ) 方法，通知客户端创建实例的结果。若成功创建，则可调用cmdaaudioplayerutility: : play( ) 方法来播放音频文件。当播放某段音频采样操作完成后，系统再通过mapcplaycomplete( ) 回调函数通知客户端播放已完成。
3. 1. 2 流式播放引擎
对于流式音频播放，则使用多媒体框架的cmdaaudiooutputstreamapi。cpluginadaper 为封装好的流式播放引擎，由它来调用流媒体播放的相关接口。本地内容播放和流式播放的主要不同在于文件打开方式、初始化方法及对音频数据流的处理方式。
要实现流式播放，在程序里需要编写一个实现了mmdaaudiooutputstreamcallback 的客户端类。
这个类提供三个回调函数，向客户端提示音频输出的流式过程结果，让程序能处理可能的错误。这些回调函数是maoscopencomplete( ) 、maoscbuffercopied() 及maoscplay - complete ( ) ，它们都必须由cmdaaudiooutputstream 类的使用类实现。因此，cpluginadaper 须继承观察类mmdaaudiooutputstreamcallback来得到流式播放过程的结果。
图2 本地播放流程图
在实现流式播放前，需要与服务器进行连接，获得待播放的音频数据流。在mmusic 播放器里，使用套接字来实现服务端与客户端的通信。客户端首先需要连接到symbian os 套接字服务器，然后打开一个套接字并指定tcp 作为传输协议。接着从列表文件得到服务器的ip 地址和端口，向服务器发送请求。等服务器作出响应后，读取响应的数据并进行分析，用来初始化播放引擎。客户端继续对服务端请求播放的音频数据。
得到要播放的音频数据流后，则开始流式播放。
其播放流程如图3 所示。首先初始化cmdaaudiooutputstream类。初始化完成后，multimedia 框架会调用maoscopencomplete( ) 回调函数，指出音频输出已经可用。该框架所给出的参数是一个出错值，它指出初始化是否成功。如果成功，则给出kerrnone。此处可以设置采样率和音量等。成功初始化后，则可以在客户端调用playl( ) 函数来播放音频数据流。它调用fillbufferl( ) 函数把数据往缓冲区填充，并使用cmdaaudiooutputstream: : writel( const tdesc8&adata) 进行播放。其中参数adata 为缓冲区数据。
writel( ) 是一个异步函数。当复制了描述符adata中的数据到音频硬件之后，该框架将调用mmdaaudiooutputstreamcallback: : maoscbuffercopied( ) 回调方法，通知客户端应用已收到adata 并将其复制到播放流。此时，可以再调用fillbufferl( ) 函数继续填充缓冲区，从而实现连续不断地流播放。
图3 流式播放流程图
3. 2 音频文件下载及断点续传
mmusic 使用超文本传输协议http 来实现音频文件和歌词的下载。http 是在tcp /ip 协议上实现的应用层协议，用于在互联网上传输信息。它使用socket 在服务器和客户端之间进行数据传输。
在symbian os 版本中，提供了对http 客户端的api 支持。
使用http 进行通信时，客户端需要建立一个http 客户端会话，在会话上处理与http 服务器的通信。在会话上建立http 通信事务，事务由请求和响应组成，在同一个会话上可以建立一个或多个事务。也可以同时建立多个会话，来实现不同的连接。
在创建http 引擎时，首先创建一个rhttpsession类的对象，然后调用该类的open( ) 方法，打开这个新建立的会话。然后使用rhttptransaction类代表http 事务。事务是在http 客户端会话打开的。打开事务时，需制定事务使用的数据传输方法，get 或post，同时传入要打开的url。服务端处理完成后，返回响应数据。http 客户端通过对mhttp - transactioncallback 的回递，处理响应结果和接收响应数据。
歌曲的下载分两步来实现。首先把要搜索的歌曲名字用http 引擎发送到服务器，服务器返回xml 格式的文件给客户端。该xml 文件包含了搜索到的歌曲名字、下载地址、音频文件格式和大小等信息。客户端用symbian 自带的xml 解析器对文件进行解析，把解析后的歌曲信息存放在数组里。
每个数组的元素为自定义的结构体，包含歌曲名，下载地址等内容。
解析完毕后，切换到列表界面。列表界面显示刚下载的xml 文件的解析结果。用户可以根据自己的喜好选择要下载的歌曲。此时，客户端提取出歌曲下载的地址，用封装好的http 引擎向服务器发送下载请求。客户端首先判断待下载的文件是否已存在，如果不存在，则使用http 引擎普通下载模式下载音频文件。如果待下载的文件已存在，则获得现有文件大小，并把它作为参数传给http 引擎，发送到服务器端，实现断点续传。具体代码如下:
3. 3 歌词同步
首先在用户终端进行本地搜索与正在播放的音乐文件名字相同的歌词文件。若搜索到符合条件的文件，则对其进行解析。把文件的每一行内容作为一个数组单元存放在数组里，数据的单元包括有播放时间和歌词内容。由cmdaaudioplayerutility 类的getposition( ) 函数获得当前音频文件的播放位置，与数组中记录的歌词文件的时间做对比，来实现歌词同步。若没有搜索到歌词文件，则用歌词下载引擎从服务器下载并解析。
4 软件实现及效果
根据播放器的整体架构设计，在symbian 平台上实现音乐媒体播放器，并在实际的移动通信网络中进行了测试。测试环境是中国移动gprs /edge网络。测试手机为nokia n95，操作系统为v9. 2，用户界面为s60 第三版。其arm 主频11 332mhz，内存160mb。在真机上进行测试时，本地音频文件播放流畅。而播放在线电台的内容时( 即流式播放) ，其效果会受到网络状况的制约，但整体比较流畅。
播放器在真机上的效果如图4 所示。其中( a) 显示的是播放器的功能菜单，( b) 为本地播放和歌词同步的效果，( c) 显示流式播放时连接服务器的状态，( d) 为连接服务器成功后流式播放的效果，界面上可以显示当前的连接速度、音频文件的格式、流量等。
( a) 播放器功能菜单( b) 本地播放和歌词同步的效果( c) 流式播放时连接服务器的状态( d) 连接服务器成功后流式播放的效果
图4 软件效果图
5 结束语
mmusic 音乐播放器很好的实现了音频播放、音乐下载、歌词同步等功能。在此基础上，还可以增加一些音频的效果，使用户有更好的视听感受。同时在歌词同步方面，程序还可以增加调整歌词的功能，当出现歌词不同步时，用户可以根据实际情况进行调整。
CMOS器件内部不可忽视的闪烁噪声
脑科学与人工智能带来的机遇和挑战在哪里
光学补偿弯曲排列技术的优点与应用方向
耦合电容是什么？详细解析耦合电容的原理，耦合电容的应用和耦合电容电路
苍穹智能遥感解译产品体系—KQRS AI
Symbian平台上实现流媒体播放器
2016年机器人产业发展情况及未来趋势
基于机智云平台的简易升降机安全监控信号采集与传输系统
中国移动正式公布了5档5G商用套餐
单原子桥接策略开发高性能锌-碘电池
存储芯片周期性衰退可能有点长
云专线是什么意思？云专线的作用有哪些
【洞见芯趋势】智能家居正进入3.0时代！
小语智能客服系统——易捷客iService解决服务体验和工作效率！
当黑色成为流行，iPhone7plus磨砂黑遇上vivoX9磨砂黑你选谁？
影子控股，华中农业大学，中国农业大学举行全面战略合作签约
理想伙伴说丨意法半导体曹志平：持续创新，为可持续发展的世界创造可持续发展技术
什么是全息？北京谛听文化传媒公司所倡导的全息有什么优势？
无法识别SATA硬盘怎么办
浪潮服务器天梭M13分段内存镜像功能浅析