IoT如何克服终端算力限制的挑战
文:黄翠萍
10年前，物联网进入了一个飞速发展的阶段，5g技术的突破进一步为“万物互联”的大趋势提供了推力。根据lot analytics 预测，2025年全球iot连接数将较2021年增长121%，2021-2025年cagr达22%。在“人联网”趋于饱和的今天，越来越多的目光转向了iot技术。
我们很荣幸地邀请到万佳安rtc终端研发技术主管 黄翠萍老师，来谈谈iot产品的用户体验，以及如何克服终端算力限制带来的种种挑战。
采访对象
黄翠萍
万佳安rtc终端研发技术主管
黄翠萍，万佳安rtc终端研发技术主管。曾就职于华为2012实验室、华大基因、腾讯teg香农实验室。专注于音视频领域18年，主导rtc实时通讯的设计和落地实践，目前是万佳安rtc终端研发负责人，聚焦rtc传输的qoe体验提升。
#1
iot的普及已然万事俱备
livevideostack：老师在进入万佳安之前，曾在华为2012实验室、华大基因、腾讯teg香农实验室任职，拥有非常丰富的从业经历。这期间，既有您个人职业上的发展，同时也在见证rtc技术的演进。当您回顾目前的职业经历时，您倾向于把它分为几个阶段？
黄翠萍： 就个人经历和理解，音视频的发展经历，大致分为如下四个阶段：
第一阶段：音频通话业务
2000年左右，那时使用手机的人很少，座机只有个别富裕人家有，电话费非常贵。记得大学那阵，电话费4角钱一分钟，每次打电话都非常惜字如金。2005年进华为后，一直做音频通讯业务。做过窄带、2g、3g网络通话等业务。当时这块做的比较大的是华为和中兴。那些年大家实实在在把话费给降下来了。
2011年微信起来，颠覆了之前大家通讯方式。电话通话量逐年下降。这块业务也就冷下来了。
第二阶段：视频点播直播
2012年前后，通讯网络从2g/3g快速过渡到4g，移动端视频点播和直播业务开始兴起。长视频、短视频、直播业务逐渐火热起来。可惜华为虽然很早就投入这块技术研发，但相对于有内容有流量的互联网公司。华为没有优势。
第三阶段：在线教育在线会议
2018年左右，开源了近十年的webrtc业务开始渐渐火起来了，起因是在线教育业务遇到了焦虑的中国家长。这期间兴起了51talk、vipkid、好未来网校等很多在线教育公司。并且2020年疫情爆发，在线会议、在线课堂业务激增。rtc业务一下子爆发起来。
第四阶段：iot万物互联
2023年国内疫情放开，大家开始回归正常生活，线上会议量大幅度下降；k12教培被限制，在线教育业务大幅度降低。rtc业务生存空间不乐观；短视频、带货直播业务虽然体量非常大，但增长接近天花板。个人认为未来的业务量应该会在iot万物互联行业上。虽然由于各种原因5g的落地被打岔，但万物互联应该是大趋势。
这个可以从互联网发展史分析，互联网经历了web1.0、web2.0。目前处于web2.0到web3.0变革期。
web 1.0人和计算机互联。大家上网主要目的是通过计算机获取信息，学习知识。
web 2.0是人和人的互联。这时大家更多是通过互联网建立社交关系、朋友圈。
web3.0应该是人和万物互联。大家希望可以用网络控制生活的方方面面。
媒体行业经历这么多年的发展，和很多行业融合非常深：比如银行安全认证、公共安全监控、智能家居、远程医疗等行业。已经储备了一定的业务模型；随着5g网络的普及，同时入网设备数量上限不再是瓶颈，iot在网络层面上道路已经打通；轻量级芯片发展逐渐成熟，终端侧也已经相对完善。iot普及的条件都已经满足。这个发展是水到渠成的事情。
livevideostack：我们比较好奇的是，您在音视频技术、在rtc技术领域是一入行就专注在qoe体验这个方向，还是在工作过程中逐渐积累经验、产生了兴趣？哪段任职经历或者说是项目，让您对音视频的qoe体验有了印象深刻的理解或者思考？
黄翠萍： 大学毕业进了中央研究院（2012实验室前身）的媒体工程部。当时一款mrs6100产品全球发货，常年需要分析全球的海量音频通讯数据。那时的qoe手段也没有现在这么成熟，要维护这么大的海量业务非常辛苦。当时华为通过了英国电信的bt认证，所有问题都要三分钟内快速恢复，七十二小时内给出详细报告。那段时间每天头上都像悬着一把剑。所以提升qoe体验，年年都是团队的重点改进目标。
并且音视频业务对网络依赖特别大，做好网络监控和预警尤其重要。团队每个同学都已经达成共识，无论做哪个产品都要把qoe体验、传输的qos优化作为首要任务。
#2
tob到toc：“研发人员不
能停留在自己的舒适圈里”
livevideostack：老师既做过tob也做过toc的音视频方案，您认为这两者最大的区别在哪里？这种工作经历上的丰富度，对您理解技术有起到帮助吗？
黄翠萍：tob和toc因为面向的客户、业务场景不同，研发风格差异非常大。
面向企业的tob业务模式固定，客户需求明确，用户体量大，对版本质量要求高。以华为为例，他有一整套系统完善的ipd流程，保证发布版本质量稳定；另外像华为更倾向在技术的深度上深挖井，比较崇尚工匠精神。里面很多同学在技术细节钻研非常深。
面向消费者的toc业务用户需求变化非常快。一个idea被多家公司看到，大家都想快速抢占市场，只能敏捷开发加快速迭代。以腾讯为例，一个方案可能没那么完美，但可以满足80%的场景需求，就可以上。有点像用钢笔画目标，用铅笔画路径；另外像腾讯更倾向在技术的广度上不断拓展。里面很多小伙伴视野非常广，可以快速切换做各种不同的产品。
两种研发风格各有优点，都能在各自的土壤上绽放出自己的美丽。这种经历对自己的帮助就是要改变惯性思维，研发人员不能停留在自己的舒适圈里，应该更多的理解客户群体，适应不同的开发模式。
livevideostack：toc的iot产品在用户体验的要求上有什么特点？
黄翠萍：面向消费者的iot产品，用户需求变化也非常快。虽然受硬件研发周期的制约，迭代速度略慢于移动端的产品。但iot的设备经常不和用户在一起，很多操作没有那么便利。万一出质量问题，不能快速恢复，被用户感知，用户满意度会打折扣。
所以toc的iot产品既要使用敏捷开发加快速的迭代模式，快速响应消费者的需求，又要参考华为的ipd流程，对版本质量做很严格的把控。
#3
iot的挑战：依据场景的
适配和调优
livevideostack：iot设备通常受限于有限的算力和资源。在您看来，iot上的算力限制对于业务和质量管理有哪些主要影响？
黄翠萍：iot设备的资源比起移动端或者服务器相差非常大：编译链版本低、cpu主频不高、内存空间有限。导致很多成熟的算法都不能直接应用在iot设备上，需要不断的适配和优化。
比方说大多数iot设备最高仅能支持c++11的编译链，很多更低端的设备只能支持gcc编译链，webrtc模块代码不能直接拿来使用；一些使用太阳板或者电池的低功耗产品，不能使用很复杂的算法。在落地的时候要做一些取舍、剪切和性能优化；对抗弱网传输需要对媒体数据进行缓存，但设备内存空间有限，不允许缓存太多数据，需要根据实际场景进行适配调整。
livevideostack：针对这些限制，有什么有效的策略或技术可以用来确保iot业务的顺利运行和高质量的性能？
黄翠萍：如上所说，虽然rtc技术已经非常成熟，但是在iot产品中，我们不能简单的把webrtc的qos算法和自己之前的优化经验直接落地。
比方说常用的nack算法，之前需要注意的就是尽量防止发送端的nack大量超发对网络的冲击，导致网络环境更加恶化。但在iot产品，我们还受到设备紧张内存的限制，无法给nack预留足够大的缓存空间去适配弱网。当我们设备感知到网络出现大量申请nack重传，但设备缓存都没有这个包，无法响应网络的时，可以通过主动降分辨率并且及时刷新idr帧，缓解这个问题。
livevideostack：iot场景下qos策略的优化方式能分为哪几类？目前最有潜力带来qos提升的优化方式是什么？
黄翠萍：首先我们用rtc替换了传统的udt通讯协议，这种通讯协议是以一定的延时换取稳定的传输。不满足人们对低延时的要求。
其次我们在网络质量实时监控中做了很多的工作。iot设备都是无线入网，无线网络质量因为各种原因，网络质量波动很大。准确评估当前的网络质量和瓶颈带宽，是整个qos策略的核心。它决定我们如何分配资源，调整其他qos的工作模式。
最后就是受iot硬件资源的限制，qos的很多具体策略也要随之调整。iot设备没有充足的内存资源，不能缓存太多数据；iot设备算力紧张，不能使用过于复杂的算法。所以很多策略也就要随之适配和调优。
livevideostack：非常开心今天能和黄老师进行采访，剧透一下您在livevideostackcon的独家内容吧！
黄翠萍：本次分享聚焦rtc的qos手段如何在iot产品进行深度打磨，可能没有那么多新的技术，但是会分享在新的应用场景下，遇到的困难和解决的思路，希望对大家有所帮助。
如何开发人工智能驱动的患者安全项目
2019年全球VR/AR头显出货量达到890万 将走进平民
小米与华为有多厉害？让傲娇的高通，都已经打起广告了！
什么是传感器？怎样实现它的功能？
现在诺基亚情怀加配置一起来，是诺基亚8还是诺基亚9？骁龙835+6G内存！
IoT如何克服终端算力限制的挑战
OpenAI风波最新反转！马斯克提醒：如果这关乎AI安全，那将会影响整个地球
iphone13屏幕材质是什么？
英伟达与VMWare联手，将为企业带来定制生成式AI服务
华为下一代智能手表或命名为WatchX
智慧排水 排水管网监测 内涝监测 水质水位流量监测
需要了解Linux V4L2的驱动架构
怎么通过串口传输文件 网口传输和串口传输的区别
苹果iPhone太不讲理！狂吞全球手机8成利润，华为都比不上
STM32怎么实现按键开关机
一文了解光刻的历史
网友晒矿场：78张RTX 3080蔚为壮观 NV显卡为何还缺货？
2021手机市场会雄起吗？手机创新在哪里？华为的蝴蝶效应会怎样
iphone15充电口是什么接口
华为Mate S中分立微控制器为何迅速发展到集成到应用处理器上？
10年前，物联网进入了一个飞速发展的阶段，5g技术的突破进一步为“万物互联”的大趋势提供了推力。根据lot analytics 预测，2025年全球iot连接数将较2021年增长121%，2021-2025年cagr达22%。在“人联网”趋于饱和的今天，越来越多的目光转向了iot技术。
我们很荣幸地邀请到万佳安rtc终端研发技术主管 黄翠萍老师，来谈谈iot产品的用户体验，以及如何克服终端算力限制带来的种种挑战。
采访对象
黄翠萍
万佳安rtc终端研发技术主管
黄翠萍，万佳安rtc终端研发技术主管。曾就职于华为2012实验室、华大基因、腾讯teg香农实验室。专注于音视频领域18年，主导rtc实时通讯的设计和落地实践，目前是万佳安rtc终端研发负责人，聚焦rtc传输的qoe体验提升。
#1
iot的普及已然万事俱备
livevideostack：老师在进入万佳安之前，曾在华为2012实验室、华大基因、腾讯teg香农实验室任职，拥有非常丰富的从业经历。这期间，既有您个人职业上的发展，同时也在见证rtc技术的演进。当您回顾目前的职业经历时，您倾向于把它分为几个阶段？
黄翠萍： 就个人经历和理解，音视频的发展经历，大致分为如下四个阶段：
第一阶段：音频通话业务
2000年左右，那时使用手机的人很少，座机只有个别富裕人家有，电话费非常贵。记得大学那阵，电话费4角钱一分钟，每次打电话都非常惜字如金。2005年进华为后，一直做音频通讯业务。做过窄带、2g、3g网络通话等业务。当时这块做的比较大的是华为和中兴。那些年大家实实在在把话费给降下来了。
2011年微信起来，颠覆了之前大家通讯方式。电话通话量逐年下降。这块业务也就冷下来了。
第二阶段：视频点播直播
2012年前后，通讯网络从2g/3g快速过渡到4g，移动端视频点播和直播业务开始兴起。长视频、短视频、直播业务逐渐火热起来。可惜华为虽然很早就投入这块技术研发，但相对于有内容有流量的互联网公司。华为没有优势。
第三阶段：在线教育在线会议
2018年左右，开源了近十年的webrtc业务开始渐渐火起来了，起因是在线教育业务遇到了焦虑的中国家长。这期间兴起了51talk、vipkid、好未来网校等很多在线教育公司。并且2020年疫情爆发，在线会议、在线课堂业务激增。rtc业务一下子爆发起来。
第四阶段：iot万物互联
2023年国内疫情放开，大家开始回归正常生活，线上会议量大幅度下降；k12教培被限制，在线教育业务大幅度降低。rtc业务生存空间不乐观；短视频、带货直播业务虽然体量非常大，但增长接近天花板。个人认为未来的业务量应该会在iot万物互联行业上。虽然由于各种原因5g的落地被打岔，但万物互联应该是大趋势。
这个可以从互联网发展史分析，互联网经历了web1.0、web2.0。目前处于web2.0到web3.0变革期。
web 1.0人和计算机互联。大家上网主要目的是通过计算机获取信息，学习知识。
web 2.0是人和人的互联。这时大家更多是通过互联网建立社交关系、朋友圈。
web3.0应该是人和万物互联。大家希望可以用网络控制生活的方方面面。
媒体行业经历这么多年的发展，和很多行业融合非常深：比如银行安全认证、公共安全监控、智能家居、远程医疗等行业。已经储备了一定的业务模型；随着5g网络的普及，同时入网设备数量上限不再是瓶颈，iot在网络层面上道路已经打通；轻量级芯片发展逐渐成熟，终端侧也已经相对完善。iot普及的条件都已经满足。这个发展是水到渠成的事情。
livevideostack：我们比较好奇的是，您在音视频技术、在rtc技术领域是一入行就专注在qoe体验这个方向，还是在工作过程中逐渐积累经验、产生了兴趣？哪段任职经历或者说是项目，让您对音视频的qoe体验有了印象深刻的理解或者思考？
黄翠萍： 大学毕业进了中央研究院（2012实验室前身）的媒体工程部。当时一款mrs6100产品全球发货，常年需要分析全球的海量音频通讯数据。那时的qoe手段也没有现在这么成熟，要维护这么大的海量业务非常辛苦。当时华为通过了英国电信的bt认证，所有问题都要三分钟内快速恢复，七十二小时内给出详细报告。那段时间每天头上都像悬着一把剑。所以提升qoe体验，年年都是团队的重点改进目标。
并且音视频业务对网络依赖特别大，做好网络监控和预警尤其重要。团队每个同学都已经达成共识，无论做哪个产品都要把qoe体验、传输的qos优化作为首要任务。
#2
tob到toc：“研发人员不
能停留在自己的舒适圈里”
livevideostack：老师既做过tob也做过toc的音视频方案，您认为这两者最大的区别在哪里？这种工作经历上的丰富度，对您理解技术有起到帮助吗？
黄翠萍：tob和toc因为面向的客户、业务场景不同，研发风格差异非常大。
面向企业的tob业务模式固定，客户需求明确，用户体量大，对版本质量要求高。以华为为例，他有一整套系统完善的ipd流程，保证发布版本质量稳定；另外像华为更倾向在技术的深度上深挖井，比较崇尚工匠精神。里面很多同学在技术细节钻研非常深。
面向消费者的toc业务用户需求变化非常快。一个idea被多家公司看到，大家都想快速抢占市场，只能敏捷开发加快速迭代。以腾讯为例，一个方案可能没那么完美，但可以满足80%的场景需求，就可以上。有点像用钢笔画目标，用铅笔画路径；另外像腾讯更倾向在技术的广度上不断拓展。里面很多小伙伴视野非常广，可以快速切换做各种不同的产品。
两种研发风格各有优点，都能在各自的土壤上绽放出自己的美丽。这种经历对自己的帮助就是要改变惯性思维，研发人员不能停留在自己的舒适圈里，应该更多的理解客户群体，适应不同的开发模式。
livevideostack：toc的iot产品在用户体验的要求上有什么特点？
黄翠萍：面向消费者的iot产品，用户需求变化也非常快。虽然受硬件研发周期的制约，迭代速度略慢于移动端的产品。但iot的设备经常不和用户在一起，很多操作没有那么便利。万一出质量问题，不能快速恢复，被用户感知，用户满意度会打折扣。
所以toc的iot产品既要使用敏捷开发加快速的迭代模式，快速响应消费者的需求，又要参考华为的ipd流程，对版本质量做很严格的把控。
#3
iot的挑战：依据场景的
适配和调优
livevideostack：iot设备通常受限于有限的算力和资源。在您看来，iot上的算力限制对于业务和质量管理有哪些主要影响？
黄翠萍：iot设备的资源比起移动端或者服务器相差非常大：编译链版本低、cpu主频不高、内存空间有限。导致很多成熟的算法都不能直接应用在iot设备上，需要不断的适配和优化。
比方说大多数iot设备最高仅能支持c++11的编译链，很多更低端的设备只能支持gcc编译链，webrtc模块代码不能直接拿来使用；一些使用太阳板或者电池的低功耗产品，不能使用很复杂的算法。在落地的时候要做一些取舍、剪切和性能优化；对抗弱网传输需要对媒体数据进行缓存，但设备内存空间有限，不允许缓存太多数据，需要根据实际场景进行适配调整。
livevideostack：针对这些限制，有什么有效的策略或技术可以用来确保iot业务的顺利运行和高质量的性能？
黄翠萍：如上所说，虽然rtc技术已经非常成熟，但是在iot产品中，我们不能简单的把webrtc的qos算法和自己之前的优化经验直接落地。
比方说常用的nack算法，之前需要注意的就是尽量防止发送端的nack大量超发对网络的冲击，导致网络环境更加恶化。但在iot产品，我们还受到设备紧张内存的限制，无法给nack预留足够大的缓存空间去适配弱网。当我们设备感知到网络出现大量申请nack重传，但设备缓存都没有这个包，无法响应网络的时，可以通过主动降分辨率并且及时刷新idr帧，缓解这个问题。
livevideostack：iot场景下qos策略的优化方式能分为哪几类？目前最有潜力带来qos提升的优化方式是什么？
黄翠萍：首先我们用rtc替换了传统的udt通讯协议，这种通讯协议是以一定的延时换取稳定的传输。不满足人们对低延时的要求。
其次我们在网络质量实时监控中做了很多的工作。iot设备都是无线入网，无线网络质量因为各种原因，网络质量波动很大。准确评估当前的网络质量和瓶颈带宽，是整个qos策略的核心。它决定我们如何分配资源，调整其他qos的工作模式。
最后就是受iot硬件资源的限制，qos的很多具体策略也要随之调整。iot设备没有充足的内存资源，不能缓存太多数据；iot设备算力紧张，不能使用过于复杂的算法。所以很多策略也就要随之适配和调优。
livevideostack：非常开心今天能和黄老师进行采访，剧透一下您在livevideostackcon的独家内容吧！
黄翠萍：本次分享聚焦rtc的qos手段如何在iot产品进行深度打磨，可能没有那么多新的技术，但是会分享在新的应用场景下，遇到的困难和解决的思路，希望对大家有所帮助。
如何开发人工智能驱动的患者安全项目
2019年全球VR/AR头显出货量达到890万 将走进平民
小米与华为有多厉害？让傲娇的高通，都已经打起广告了！
什么是传感器？怎样实现它的功能？
现在诺基亚情怀加配置一起来，是诺基亚8还是诺基亚9？骁龙835+6G内存！
IoT如何克服终端算力限制的挑战
OpenAI风波最新反转！马斯克提醒：如果这关乎AI安全，那将会影响整个地球
iphone13屏幕材质是什么？
英伟达与VMWare联手，将为企业带来定制生成式AI服务
华为下一代智能手表或命名为WatchX
智慧排水 排水管网监测 内涝监测 水质水位流量监测
需要了解Linux V4L2的驱动架构
怎么通过串口传输文件 网口传输和串口传输的区别
苹果iPhone太不讲理！狂吞全球手机8成利润，华为都比不上
STM32怎么实现按键开关机
一文了解光刻的历史
网友晒矿场：78张RTX 3080蔚为壮观 NV显卡为何还缺货？
2021手机市场会雄起吗？手机创新在哪里？华为的蝴蝶效应会怎样
iphone15充电口是什么接口
华为Mate S中分立微控制器为何迅速发展到集成到应用处理器上？