一款基于嵌入式视频服务器的远程实时视频采集系统实现流程详解
随着通信网络技术的迅速发展，基于网络的高质量视频传输已逐步取代传统的文字语音交互模式，成为当今数字通信的主要研究领域之一。而随着嵌入式操作系统和集成电路设计水平的不断提高，嵌入式技术与通信网络以及多媒体技术的融合将成为未来数字视频通信领域的主流发展趋势。
一直以来，针对网络传输实时视频对嵌入式软硬件都有较高要求。本文利用基于arm920t内核的s3c2440嵌入式微处理器，采用压缩比更高的h．264视频压缩标准和开源嵌入式linux系统，设计了一款基于嵌入式视频服务器的远程实时视频采集系统。
1 采集系统平台搭建 1．1 系统硬件平台
该采集系统以pc作为客户端，以广东友善之臂计算机科技有限公司研发的arm9开发板mini2440作为视频服务器，采用samsungs3c2440为微处理器，用专业稳定的cpu内核电源芯片和复位芯片保证系统运行时的稳定性。三星公司推出的这款16／32位risc微处理器s3c2440，采用arm920t的内核，典型主频400 mhz，最高可达533 mhz，使用5级流水线技术，并采用丰富的控制模块为各种应用提供扩展。该采集系统的结构如图1所示。
1．2 系统软件平台搭建
pc机端使用内核版本为2．6．18的linux 5红帽子企业版，由于后续需要在windows平台进行ftp资料传输等工作，所以采取了虚拟机安装linux的方式，这样方便linux和windows的数据网络交互。虚拟机软件版本为vmware 6．5．1，采用的传输软件为基于sftp协议的flash fxp。而交叉编译工具主要为binutils、gcc和glibc。
一个嵌入式系统软件角度主要分为引导加载程序、linux内核和文件系统3个层次，其中引导加载程序是系统加电后运行的第一段软件代码。bootloader就是在操作系统内核运行之前运行的一段程序。在负责引导用的hash存储器中，通常会按照图2的顺序分布。
因为后期进行摄像头驱动编写移植过程需要大量的调试，基于网络的nfs根文件系统就比较合适。基于这种考虑，选择了网络功能强大的u-boot作为bootloader。移植u-boot主要做了以下工作：（1）修改编译条件，添加寄存器定义，修改时钟。（2）修改中断禁止部分，添加s3c24 40的中断禁止代码。（3）在board目录创建新开发板目录。（4）以smdk2410．c为模板修改pll以及upll的设置。（5）修改makefile相应配置行以支持该开发板。
修改完毕后进入工作目录进行板级配置，通过交叉编译工具链对改后代码进行编译。利用h-jtag软件进行烧写，如图3所示为烧写成功并通过超级终端引导完成。
根文件系统挂载方式主要有ramdisk，nfs和initramfs这3种。制作自启动的嵌入式设备需要用initramfs作为根文件系统的内核进行烧写。先0地址处存放的是u-boot，约为100 kb；然后在0x0000～0x40000存放了约64 kb的环境变量。这两项均固定，所以uimage的大小必须控制在1．75 mb以下，并从0x40000开始存放。uimage包括内核和根文件系统两部分，需要针对其进行裁减，以符合项目要求。
在嵌入式系统中，busybox是构造文件系统常用的一个软件工具包。本文采用它来构建根文件系统。本项目使用的目标板内核为linux 2．6．29，但根据项目自启动需要进行相应裁剪，根据最小系统标准进行裁减，串口、网口、根文件系统可用，并保留本文所要求的摄像头驱动，裁剪后的内核大小为1．3 mb，满足系统需要，如图4所示。
2 视频驱动编写以及c／s软件设计 2．1 t．264编码库优化移植
t．264为中国视频编码自由组织联合开发的开源编码器，它对h．264的特性支持单一，编码器可输出标准264码流，解码器能解t．264编码器生成的码流，它吸收了jm、x264和xvid的优点，适用于网络流媒体的传输。由于本文研究的视频采集系统应用于可视电话视频会议等应用中，对网络传输的要求较高，综合比较后，选用t．264作为本系统的软件编码器。
采用h．264中的基本档次，仅使用cavlc熵编码方式即可满足应用要求。综合不同平均码率下的编码性能以及网络传输能力的考虑，对于qcif格式运动平缓的视频序列，编码输出帧率为15 f·s-1时，设置平均码率为128 kb·s-1是比较合适的选择。使用t．264开源编码器，并对t．264进行代码级优化编译。在编译级添加了如下选项：（1）-fomit-frame-pointer选项忽略函数中不必要的帧指针，节省指令开销。（2）-04几乎打开了所有的优化选项，以尽可能提高程序运行效率。（3）-msoft-float：产生基于浮点运算函数库调用的软浮点目标代码。
2．2 视频驱动编写以及c／s软件设计
采用目前国内市场占有率较大的***松翰sonix613a主控芯片的摄像头，该摄像头支持jpeg格式和4：2：0采样的yuv原始视频数据输出，数据量小，可直接作为h．264等视频压缩编码标准的原始视频数据源，避免了对图像的重采样和色彩空间的变换等复杂的数字运算处理，适合嵌入式的实时视频采集应用。
2．2．1 驱动程序gspca的修改移植
gspca／spca5xx是自由软件基金会发布的通用usb摄像头驱动程序。但由于该解决方案在linux内核中并无驱动支持，所以必须针对其进行驱动的添加和修改，如图5所示。
2．2．2 c／s软件设计
出于对特定的应用对象以及成本的考虑，本文采用基于有线以太网络流媒体传输h．264视频的解决方案。采用开源软件vlc作为流媒体服务器与客户端播放器，进行单向点对点实时视频通信。图6为视频采集系统工作流程图。
（1）服务器端软件设计。
视频采集系统的服务器端采用后台控制程序video_server受理客户端video_client对vlc视频服务器的远程管理与设置，通过同一端口（3490）和同一套消息码进行通信。并在系统初始化脚本／etc／init．d／rcs中激活网卡后添加后台运行服务器控制程序video server的命令，使开发板启动后在后台自动运行video_server，它首先创建服务器端的套接口描述符，并与服务器端口地址及与client端统一的通信端口绑定，接着进入服务响应的主循环体，侦听套接口数据及连接，根据来自客户端的消息请求提供不同服务。video_server软件流程如图7所示。
（2）客户端软件设计。
客户机端程序video client的运行于pc机平台，用来向server端发送远程控制命令。通过远程控制命令，可以配置服务器端的视频格式码率和传输协议、启停服务器端vlc进程、调本地vlc播放器接收并播放来自服务器端的视频图像等。
针对此程序利用跨平台界面库qt设计了gui操作界面，有助于用户的交互。
由于服务器端对cif格式图像采集及压缩编码速度较慢，因此程序仅支持这两个档次qcif64 kb·s-1、qcif-128 kb·s-1。设置完毕，点connect按钮，client向server发送附带服务器设置参数的连接请求，若从server接收到ok消息，表明server端接受了本地的连接请求并启动了server端的vlc服务器，这时客户端将connect按钮置为disconnect按钮，同叫调用本地vlc播放器，接收并播放服务器发送的视频数据：若从服务器接收到nok消息，则出错。服务器在正常接收和播放服务器发送的视频数据时，若点disconnect按钮，则向server发送srv_quit请求，同时关闭本地的vlc播放器，server接收到srv_quit消息后，关闭server端的vlc服务器。
整个系统pc机是客户端，基于s3c2440处理器的mini2440开发平台是嵌入式视频服务器，client程序通过以太网连接服务器，服务器响应请求后启动vlc进行视频采集并将视频数据传输到客户端，而后client程序调用vlc播放器窗口对接收到的码流进行实时播放，正常工作情况如图8所示。
从视频图像帧率上看，经过优化的t．264编码器对qcif视频平均码率在128 kbit·s-1时，编码速度能够达到16 f·s-1，但由于usb摄像头采集qcif格式图像在约13 f·s-1，因此需要在服务器端设置压缩帧率为13 f·s-1，这样可以保证客户端以原有帧率解码视频流，从系统的整体性能考虑，这个码率能够满足远程教育和视频监控等应用。
3 结束语 研究了嵌入式linux的开发技术，建立起基于mini2440开发板的linux开发平台，包括搭建交叉编译环境，设计裁减移植bootloader和linux2．6．29内核，构建基于busybox的根文件系统，开发针对视频采集系统的专用摄像头驱动。研究了h．264视频压缩编码标准，针对该视频采集系统对开源的t．264编码器进行编译和代码级优化，达到实时应用要求。研究了基于udp协议的网络传输方案，修改设计服务器端的采集程序和客户端的视频解码播放程序，最终实现嵌入式视频采集系统的运行。
索尼机器狗为什么停产？将借AI技术重生
OnePlus开始为OnePlus 7和OnePlus 7T系列设备的所有者发布新更新
中国电子元器件行业盛典即将到来
联想黑科技可折叠手机即将发布
5线光电开关与接触器接线图
一款基于嵌入式视频服务器的远程实时视频采集系统实现流程详解
PLC物联网网关如何实现大棚温湿度远程控制
铠侠弃用浦科特SSD品牌，专注企业和数据中心应用
软实力：Quilion芯片在光网实现更好5G传输
逆变器和变压器有什么区别？
车载导航系统的研究现状及未来发展
英特尔将进一步关闭对外客制化的晶圆代工业务
半导体领域的现状及未来发展 五大市场值得关注
介绍GTP测试座的机械结构和材料特性以及工作原理
LED背光源工艺及分类
开年“芯”朋友来到，这些热搜物料你都关注吗？
中国普天整体并入中国电科
辽宁省首台国产计算机“天玥”成功下线
电路设计常用接口类型
鲲鹏的种子花开中原 鲲鹏新时代 中原更出彩
一直以来，针对网络传输实时视频对嵌入式软硬件都有较高要求。本文利用基于arm920t内核的s3c2440嵌入式微处理器，采用压缩比更高的h．264视频压缩标准和开源嵌入式linux系统，设计了一款基于嵌入式视频服务器的远程实时视频采集系统。
1 采集系统平台搭建 1．1 系统硬件平台
该采集系统以pc作为客户端，以广东友善之臂计算机科技有限公司研发的arm9开发板mini2440作为视频服务器，采用samsungs3c2440为微处理器，用专业稳定的cpu内核电源芯片和复位芯片保证系统运行时的稳定性。三星公司推出的这款16／32位risc微处理器s3c2440，采用arm920t的内核，典型主频400 mhz，最高可达533 mhz，使用5级流水线技术，并采用丰富的控制模块为各种应用提供扩展。该采集系统的结构如图1所示。
1．2 系统软件平台搭建
pc机端使用内核版本为2．6．18的linux 5红帽子企业版，由于后续需要在windows平台进行ftp资料传输等工作，所以采取了虚拟机安装linux的方式，这样方便linux和windows的数据网络交互。虚拟机软件版本为vmware 6．5．1，采用的传输软件为基于sftp协议的flash fxp。而交叉编译工具主要为binutils、gcc和glibc。
一个嵌入式系统软件角度主要分为引导加载程序、linux内核和文件系统3个层次，其中引导加载程序是系统加电后运行的第一段软件代码。bootloader就是在操作系统内核运行之前运行的一段程序。在负责引导用的hash存储器中，通常会按照图2的顺序分布。
因为后期进行摄像头驱动编写移植过程需要大量的调试，基于网络的nfs根文件系统就比较合适。基于这种考虑，选择了网络功能强大的u-boot作为bootloader。移植u-boot主要做了以下工作：（1）修改编译条件，添加寄存器定义，修改时钟。（2）修改中断禁止部分，添加s3c24 40的中断禁止代码。（3）在board目录创建新开发板目录。（4）以smdk2410．c为模板修改pll以及upll的设置。（5）修改makefile相应配置行以支持该开发板。
修改完毕后进入工作目录进行板级配置，通过交叉编译工具链对改后代码进行编译。利用h-jtag软件进行烧写，如图3所示为烧写成功并通过超级终端引导完成。
根文件系统挂载方式主要有ramdisk，nfs和initramfs这3种。制作自启动的嵌入式设备需要用initramfs作为根文件系统的内核进行烧写。先0地址处存放的是u-boot，约为100 kb；然后在0x0000～0x40000存放了约64 kb的环境变量。这两项均固定，所以uimage的大小必须控制在1．75 mb以下，并从0x40000开始存放。uimage包括内核和根文件系统两部分，需要针对其进行裁减，以符合项目要求。
在嵌入式系统中，busybox是构造文件系统常用的一个软件工具包。本文采用它来构建根文件系统。本项目使用的目标板内核为linux 2．6．29，但根据项目自启动需要进行相应裁剪，根据最小系统标准进行裁减，串口、网口、根文件系统可用，并保留本文所要求的摄像头驱动，裁剪后的内核大小为1．3 mb，满足系统需要，如图4所示。
2 视频驱动编写以及c／s软件设计 2．1 t．264编码库优化移植
t．264为中国视频编码自由组织联合开发的开源编码器，它对h．264的特性支持单一，编码器可输出标准264码流，解码器能解t．264编码器生成的码流，它吸收了jm、x264和xvid的优点，适用于网络流媒体的传输。由于本文研究的视频采集系统应用于可视电话视频会议等应用中，对网络传输的要求较高，综合比较后，选用t．264作为本系统的软件编码器。
采用h．264中的基本档次，仅使用cavlc熵编码方式即可满足应用要求。综合不同平均码率下的编码性能以及网络传输能力的考虑，对于qcif格式运动平缓的视频序列，编码输出帧率为15 f·s-1时，设置平均码率为128 kb·s-1是比较合适的选择。使用t．264开源编码器，并对t．264进行代码级优化编译。在编译级添加了如下选项：（1）-fomit-frame-pointer选项忽略函数中不必要的帧指针，节省指令开销。（2）-04几乎打开了所有的优化选项，以尽可能提高程序运行效率。（3）-msoft-float：产生基于浮点运算函数库调用的软浮点目标代码。
2．2 视频驱动编写以及c／s软件设计
采用目前国内市场占有率较大的***松翰sonix613a主控芯片的摄像头，该摄像头支持jpeg格式和4：2：0采样的yuv原始视频数据输出，数据量小，可直接作为h．264等视频压缩编码标准的原始视频数据源，避免了对图像的重采样和色彩空间的变换等复杂的数字运算处理，适合嵌入式的实时视频采集应用。
2．2．1 驱动程序gspca的修改移植
gspca／spca5xx是自由软件基金会发布的通用usb摄像头驱动程序。但由于该解决方案在linux内核中并无驱动支持，所以必须针对其进行驱动的添加和修改，如图5所示。
2．2．2 c／s软件设计
出于对特定的应用对象以及成本的考虑，本文采用基于有线以太网络流媒体传输h．264视频的解决方案。采用开源软件vlc作为流媒体服务器与客户端播放器，进行单向点对点实时视频通信。图6为视频采集系统工作流程图。
（1）服务器端软件设计。
视频采集系统的服务器端采用后台控制程序video_server受理客户端video_client对vlc视频服务器的远程管理与设置，通过同一端口（3490）和同一套消息码进行通信。并在系统初始化脚本／etc／init．d／rcs中激活网卡后添加后台运行服务器控制程序video server的命令，使开发板启动后在后台自动运行video_server，它首先创建服务器端的套接口描述符，并与服务器端口地址及与client端统一的通信端口绑定，接着进入服务响应的主循环体，侦听套接口数据及连接，根据来自客户端的消息请求提供不同服务。video_server软件流程如图7所示。
（2）客户端软件设计。
客户机端程序video client的运行于pc机平台，用来向server端发送远程控制命令。通过远程控制命令，可以配置服务器端的视频格式码率和传输协议、启停服务器端vlc进程、调本地vlc播放器接收并播放来自服务器端的视频图像等。
针对此程序利用跨平台界面库qt设计了gui操作界面，有助于用户的交互。
由于服务器端对cif格式图像采集及压缩编码速度较慢，因此程序仅支持这两个档次qcif64 kb·s-1、qcif-128 kb·s-1。设置完毕，点connect按钮，client向server发送附带服务器设置参数的连接请求，若从server接收到ok消息，表明server端接受了本地的连接请求并启动了server端的vlc服务器，这时客户端将connect按钮置为disconnect按钮，同叫调用本地vlc播放器，接收并播放服务器发送的视频数据：若从服务器接收到nok消息，则出错。服务器在正常接收和播放服务器发送的视频数据时，若点disconnect按钮，则向server发送srv_quit请求，同时关闭本地的vlc播放器，server接收到srv_quit消息后，关闭server端的vlc服务器。
整个系统pc机是客户端，基于s3c2440处理器的mini2440开发平台是嵌入式视频服务器，client程序通过以太网连接服务器，服务器响应请求后启动vlc进行视频采集并将视频数据传输到客户端，而后client程序调用vlc播放器窗口对接收到的码流进行实时播放，正常工作情况如图8所示。
从视频图像帧率上看，经过优化的t．264编码器对qcif视频平均码率在128 kbit·s-1时，编码速度能够达到16 f·s-1，但由于usb摄像头采集qcif格式图像在约13 f·s-1，因此需要在服务器端设置压缩帧率为13 f·s-1，这样可以保证客户端以原有帧率解码视频流，从系统的整体性能考虑，这个码率能够满足远程教育和视频监控等应用。
3 结束语 研究了嵌入式linux的开发技术，建立起基于mini2440开发板的linux开发平台，包括搭建交叉编译环境，设计裁减移植bootloader和linux2．6．29内核，构建基于busybox的根文件系统，开发针对视频采集系统的专用摄像头驱动。研究了h．264视频压缩编码标准，针对该视频采集系统对开源的t．264编码器进行编译和代码级优化，达到实时应用要求。研究了基于udp协议的网络传输方案，修改设计服务器端的采集程序和客户端的视频解码播放程序，最终实现嵌入式视频采集系统的运行。
索尼机器狗为什么停产？将借AI技术重生
OnePlus开始为OnePlus 7和OnePlus 7T系列设备的所有者发布新更新
中国电子元器件行业盛典即将到来
联想黑科技可折叠手机即将发布
5线光电开关与接触器接线图
一款基于嵌入式视频服务器的远程实时视频采集系统实现流程详解
PLC物联网网关如何实现大棚温湿度远程控制
铠侠弃用浦科特SSD品牌，专注企业和数据中心应用
软实力：Quilion芯片在光网实现更好5G传输
逆变器和变压器有什么区别？
车载导航系统的研究现状及未来发展
英特尔将进一步关闭对外客制化的晶圆代工业务
半导体领域的现状及未来发展 五大市场值得关注
介绍GTP测试座的机械结构和材料特性以及工作原理
LED背光源工艺及分类
开年“芯”朋友来到，这些热搜物料你都关注吗？
中国普天整体并入中国电科
辽宁省首台国产计算机“天玥”成功下线
电路设计常用接口类型
鲲鹏的种子花开中原 鲲鹏新时代 中原更出彩