塑云科技：性能突破，基于KafKa+OTS+MaxCompute 完成了一次物联网系统技术重构
摘要： 塑云科技：性能突破，基于kafka+ots+maxcompute 完成了一次物联网系统技术重构 背景：创业团队，专注于氢能燃料电池生态链的运营支撑，当前主要的业务组成为新能源车整车实时运营监控分析，加氢站实时运营监控分析，车辆安全运营支撑。
塑云科技：性能突破，基于kafka+ots+maxcompute 完成了一次物联网系统技术重构
背景：创业团队，专注于氢能燃料电池生态链的运营支撑，当前主要的业务组成为新能源车整车实时运营监控分析，加氢站实时运营监控分析，车辆安全运营支撑。
系统面临的主要挑战：高频数据的实时解析、存储、分析。拿整车实时运营监控分析来讲，每辆车以每秒1k的原始报文上报，要求做到秒级延迟的解析应答以及入库。同时需要针对解析后的每车每秒33k的报文进行快速查询以及后继的分析。考虑到未来车辆接入的量，需要在考虑性能的基础上以最经济的方式进行系统设计。按照每车每秒33k的解析后报文，每车每月预计生成30g的报文数据（车辆按照每天运行10小时计算）。
原有系统存在的问题如下（罗列部分）：
1. 系统架构中未对olap和oltp系统的范围进行清晰界定，使用java程序对ots的表定时进行任务统计，代码复杂并且性能极差并且影响到服务器上其他oltp系统的正常运行。
2. 存储的解析后的报文数据，未针对ots的计价规则进行针对性优化，一个大json串中冗余的key过多，key的长度超长（平均30个字符串）。
3. ots（阿里云tablestore）按照公司进行分表设计，存在单个实例下表数量超过ots限制（64表）的风险。
4. ots以车月作为分区键，单个分区（30g）过大，超过ots建议的1g推荐大小。
5. ots单车的分区连续分布未做散列，不能在物理机器层面最优并发性能。
6. 没有针对最核心的读取场景（按天按车查询报文）进行编码层面的优化。
在做系统优化之前，首先要做的就是架构层面的梳理，对产品中需要使用到的中间件产品的适用范围进行了明确的界定。数据在各个环节的流转进行明确的定义如下：
这里主要的改进
一、引入kafka作为多个环节异步解耦的基础支撑，提升对终端的报文快速回复。
二、引入maxcompute 作为olap系统的基础支撑。将复杂的业务分析转交给maxcompute 来处理。
三、针对ots的计价原则，对ots的模型进行了重构（此文暂不讨论）
maxcompute作为阿里云强大的数据分析利器，因为之前的经历相对比较熟悉。所以在这次的改造中特别针对性能、成本、可运维等方面做了较多的思考。
这里首先讲一讲基于成本的考虑。首先根据数据的使用频度将数据切分为在线、离线、归档三类。车辆终端上报的报文数据作为归档数据选择oss的归档存储。在线数据设定n月的生命周期，主要包括报文解析之后需要实时查询的数据，离线数据主要包括基于解析的报文数据进行离线分析统计之后形成的各类中间结果、报表数据。
针对数据的使用场景界定数据类型之后，这里主要考虑离线数据使用oss还是maxcompute（odps）或者是ots来存储的问题。根据三类产品的存储计算成本我做了一个粗略对比如下：
这里已经考虑通过压缩的方式存储ots减少计价存储的情况。当然maxcompute的计价是按照实际压缩存储之后的容量计算。maxcompute官方文档介绍的是5:1的压缩比，而我们的数据因为本身的特点，实测可以到7~8 ：1的压缩比，所以最后数据方案反倒是maxcompute直接存储离线数据性价比最高。同时也符合数据靠近计算的原则。
经过测试使用ots外部表作为数据载体的计算性能一般（当前maxcompute对ots的外部表的map reduce计算直觉觉得是基于ots的分片，并且缺少分区的概念，每次都是基于全表扫描，这点可以从maxcompute的任务详情可以观测出来）。
技术选型确定以后，剩下的是如何利用maxcompute为业务提供可靠、稳定数据服务。这里特别需要强调的是数仓的建模、数据集成、工作运维的使用。
数据集成主要这方面主要体现mysql跟maxcompute的双向同步，这个不需要特别讲，主要是设计上需要考虑到数据的重复同步的设计即可。关于工作运维则是更多地体现在对任务的运行状况的监控以及重跑的支持。
数仓的建模主要考虑的还是成本和模型的复用。首先针对海量、质量不高的底层数据进行分层建模。保证上层的业务模型只依赖中间结果。这里带来的直接效益就是计算成本的大幅下降（每每看到有些开发同事动不动就对着一个上百g的原始表做各种查询的时候，心是痛的…）.其次是中间模型为系统补数带来更快的性能，毕竟因为一些业务或者数据的原因需要重跑部分报表，这个时候如果需要重新扫描原始数据的时候，首先就是费钱，非常费钱。其次就是耗时，非常耗时。
在离线统计分析的重构完成之后，系统充分利用maxcompute的并行计算能力，并且借助其强大的函数尤其是窗口函数的支持，我们实现比较不错的分析能力，客户的一个核心部件的数据统计分析，之前一个专业的工作人员分析一个部分需要耗时一天，还容易出错。借助平台的分析能力，可以在10分钟内计算完将近1000个部件的数据分析工作。类似下面的曲线图分析每次数据波动期间的均值，之前几乎无法人工计算，即便是java编码也是一个非常复杂的编码工作，通过平台的支持，系统处理得游刃有余。
一次计流水账式的总结，且当做一次经验的沉淀
阅读原文
本文为云栖社区原创内容，未经允许不得转载
2019年人工智能行业的25大发展趋势
在电容器中间插金属板是改变了什么
Pickering Electronics推出全新104系列干簧继电器
应用在Wi-Fi音箱中的国产高性能DSP音频处理芯片
TABULED的制作教程
塑云科技：性能突破，基于KafKa+OTS+MaxCompute 完成了一次物联网系统技术重构
小米IPO价格将在下周敲定，官方宣布7月9日在香港联交所挂牌交易
联发科P60和骁龙660哪个好
计算机鼠标工作原理
模拟量的顺序控制方法之PLC编程算法
台拟斥资10亿新台币补助家用LED灯
EV12AD550数字转换器的相关应用以及特点分析
使用MEMS与石英谐振器有什么应用优势
华为麒麟980处理器将于IFA发布 三星Galaxy S10旗舰三摄像头组合与华为不同
mybatis中#和$的区别
360宣布将于7月8日发布360儿童手表P1
工业过程控制中常用的传感器有哪些
投影机四大吊装方式及优缺点分析
迈入10Gbps时代！我国星地激光高速通信应用实验取得成功
土壤水分传感器的工作原理是怎样的
塑云科技：性能突破，基于kafka+ots+maxcompute 完成了一次物联网系统技术重构
背景：创业团队，专注于氢能燃料电池生态链的运营支撑，当前主要的业务组成为新能源车整车实时运营监控分析，加氢站实时运营监控分析，车辆安全运营支撑。
系统面临的主要挑战：高频数据的实时解析、存储、分析。拿整车实时运营监控分析来讲，每辆车以每秒1k的原始报文上报，要求做到秒级延迟的解析应答以及入库。同时需要针对解析后的每车每秒33k的报文进行快速查询以及后继的分析。考虑到未来车辆接入的量，需要在考虑性能的基础上以最经济的方式进行系统设计。按照每车每秒33k的解析后报文，每车每月预计生成30g的报文数据（车辆按照每天运行10小时计算）。
原有系统存在的问题如下（罗列部分）：
1. 系统架构中未对olap和oltp系统的范围进行清晰界定，使用java程序对ots的表定时进行任务统计，代码复杂并且性能极差并且影响到服务器上其他oltp系统的正常运行。
2. 存储的解析后的报文数据，未针对ots的计价规则进行针对性优化，一个大json串中冗余的key过多，key的长度超长（平均30个字符串）。
3. ots（阿里云tablestore）按照公司进行分表设计，存在单个实例下表数量超过ots限制（64表）的风险。
4. ots以车月作为分区键，单个分区（30g）过大，超过ots建议的1g推荐大小。
5. ots单车的分区连续分布未做散列，不能在物理机器层面最优并发性能。
6. 没有针对最核心的读取场景（按天按车查询报文）进行编码层面的优化。
在做系统优化之前，首先要做的就是架构层面的梳理，对产品中需要使用到的中间件产品的适用范围进行了明确的界定。数据在各个环节的流转进行明确的定义如下：
这里主要的改进
一、引入kafka作为多个环节异步解耦的基础支撑，提升对终端的报文快速回复。
二、引入maxcompute 作为olap系统的基础支撑。将复杂的业务分析转交给maxcompute 来处理。
三、针对ots的计价原则，对ots的模型进行了重构（此文暂不讨论）
maxcompute作为阿里云强大的数据分析利器，因为之前的经历相对比较熟悉。所以在这次的改造中特别针对性能、成本、可运维等方面做了较多的思考。
这里首先讲一讲基于成本的考虑。首先根据数据的使用频度将数据切分为在线、离线、归档三类。车辆终端上报的报文数据作为归档数据选择oss的归档存储。在线数据设定n月的生命周期，主要包括报文解析之后需要实时查询的数据，离线数据主要包括基于解析的报文数据进行离线分析统计之后形成的各类中间结果、报表数据。
针对数据的使用场景界定数据类型之后，这里主要考虑离线数据使用oss还是maxcompute（odps）或者是ots来存储的问题。根据三类产品的存储计算成本我做了一个粗略对比如下：
这里已经考虑通过压缩的方式存储ots减少计价存储的情况。当然maxcompute的计价是按照实际压缩存储之后的容量计算。maxcompute官方文档介绍的是5:1的压缩比，而我们的数据因为本身的特点，实测可以到7~8 ：1的压缩比，所以最后数据方案反倒是maxcompute直接存储离线数据性价比最高。同时也符合数据靠近计算的原则。
经过测试使用ots外部表作为数据载体的计算性能一般（当前maxcompute对ots的外部表的map reduce计算直觉觉得是基于ots的分片，并且缺少分区的概念，每次都是基于全表扫描，这点可以从maxcompute的任务详情可以观测出来）。
技术选型确定以后，剩下的是如何利用maxcompute为业务提供可靠、稳定数据服务。这里特别需要强调的是数仓的建模、数据集成、工作运维的使用。
数据集成主要这方面主要体现mysql跟maxcompute的双向同步，这个不需要特别讲，主要是设计上需要考虑到数据的重复同步的设计即可。关于工作运维则是更多地体现在对任务的运行状况的监控以及重跑的支持。
数仓的建模主要考虑的还是成本和模型的复用。首先针对海量、质量不高的底层数据进行分层建模。保证上层的业务模型只依赖中间结果。这里带来的直接效益就是计算成本的大幅下降（每每看到有些开发同事动不动就对着一个上百g的原始表做各种查询的时候，心是痛的…）.其次是中间模型为系统补数带来更快的性能，毕竟因为一些业务或者数据的原因需要重跑部分报表，这个时候如果需要重新扫描原始数据的时候，首先就是费钱，非常费钱。其次就是耗时，非常耗时。
在离线统计分析的重构完成之后，系统充分利用maxcompute的并行计算能力，并且借助其强大的函数尤其是窗口函数的支持，我们实现比较不错的分析能力，客户的一个核心部件的数据统计分析，之前一个专业的工作人员分析一个部分需要耗时一天，还容易出错。借助平台的分析能力，可以在10分钟内计算完将近1000个部件的数据分析工作。类似下面的曲线图分析每次数据波动期间的均值，之前几乎无法人工计算，即便是java编码也是一个非常复杂的编码工作，通过平台的支持，系统处理得游刃有余。
一次计流水账式的总结，且当做一次经验的沉淀
阅读原文
本文为云栖社区原创内容，未经允许不得转载
2019年人工智能行业的25大发展趋势
在电容器中间插金属板是改变了什么
Pickering Electronics推出全新104系列干簧继电器
应用在Wi-Fi音箱中的国产高性能DSP音频处理芯片
TABULED的制作教程
塑云科技：性能突破，基于KafKa+OTS+MaxCompute 完成了一次物联网系统技术重构
小米IPO价格将在下周敲定，官方宣布7月9日在香港联交所挂牌交易
联发科P60和骁龙660哪个好
计算机鼠标工作原理
模拟量的顺序控制方法之PLC编程算法
台拟斥资10亿新台币补助家用LED灯
EV12AD550数字转换器的相关应用以及特点分析
使用MEMS与石英谐振器有什么应用优势
华为麒麟980处理器将于IFA发布 三星Galaxy S10旗舰三摄像头组合与华为不同
mybatis中#和$的区别
360宣布将于7月8日发布360儿童手表P1
工业过程控制中常用的传感器有哪些
投影机四大吊装方式及优缺点分析
迈入10Gbps时代！我国星地激光高速通信应用实验取得成功
土壤水分传感器的工作原理是怎样的