新一代G7系列浪潮云海超融合EC纠删功能设计
浪潮云海在2023年5月正式发布新一代incloud rail g7系列超融合一体机，其内置的incloud dsan超融合存储组件，基于新一代的硬件平台设计，支持全栈rdma协议，同时在ec纠删功能上也带来全新体验，为新时代用户提供更丰富的产品功能。
本文将详细解读incloud dsan在新一代incloud rail g7系列超融合一体机上如何设计ec纠删功能。
什么是ec纠删码技术？
纠删码技术是一种数据保护方法，主要是通过利用纠删码算法将原始数据分割成多段，然后进行扩展和编码校验，并将分段数据和校验一并在磁盘、存储节点或其他位置存储起来，以达到容错目的。基本原理：总数据块 = 原始数据块 + 校验块，常用表示为，n= k + m基本思想是将ｋ块原始的数据元素通过一定的编码计算，得到ｍ块校验元素。对于这ｋ+ｍ块元素，当其中任意的ｍ块元素发生故障（包括数据和校验出错），均可以通过对应的重构算法恢复出原来的ｋ块数据。
ec纠删码在块存储设计的挑战
ec纠删码数据切分和计算示意图
上述场景以k = 4，m = 2为例，首先将应用数据拆分成4个分片，然后计算出两个校验条带分片，然后按照数据分布算法，将6个分片数据下发到6个节点上存储。由于多副本策略是客户常用的数据冗余策略，我们将ec纠删码和三副本的的读写流程及故障场景下的流程做了相关分析：由下表中可得出，在正常写流程中，需要消耗7个io完成正常的写入流程，同时在有故障场景的读写，需要7个io，有较大的读写惩罚。另外，在小块io读写流程中，如果数据块小于ec切片数据大小，会存在空间浪费的情况。
数据冗余策略 读写场景 消耗读写io次数
ec（4+2） 正常读 1个
正常写 4个读io，3个写io
落在故障盘的读 5个读io
落在故障盘的写 5个读io + 2个写io
三副本 正常读 1个
正常写 3个
落在故障盘的读 2个
落在故障盘的写 1个
在超融合的应用场景中，用户经常使用块存储承接应用数据，适用于包括虚拟化、云平台、数据库等场景。此种场景下会产生非常多的小块随机读写负载，同时用户对于时延要求较高，要求控制在5ms以内，且要求在故障场景下，对业务影响较小。这些要求正是ec纠删码的缺点。
浪潮云海超融合在新一代g7平台的ec设计
由于ec的优劣势明显，如何在超融合块存储上使用ec功能是时下刚需，浪潮云海超融合在新一代g7平台做了独特的方案设计：
ec纠删码设计方案
方案亮点主要有：
数据分层管理：将数据存储划分为缓存层和数据层，其中缓存层使用高性的nvme和sata ssd存储，同时在缓存层使用多副本的设计，提供高性能数据存储能力。数据层提供ec存储，主要由hdd硬盘存储，提供高容量存储空间。
智能缓存管理：设计冷热分层的智能缓存管理，高效识别热点数据和冷数据，同时设计全局的缓存管理功能，确保客户的热数据保存在缓存空间中。
数据空间高效存储：在缓存层中由于副本存储，将上层应用的小块io聚合，当数据变成冷数据下刷至ec存储层时，由于下刷采用数据对齐，聚合成大块的顺序条带读写，可以在ec数据层进行高效的数据存储。
ec加速计算：设计支持多个ec加速引擎，支持不同平台的ec加速计算，其中在intel平台使用isa-l的ec加速库，发挥intel cpu的ec计算能力。
为了验证方案效果：同时对比isa-l加速计算和使用jerasure纯软件不经过cpu加速计算的性能测试。下图所示测试数据采用了金融和医疗等行业常用的数据库应用，使用1g的测试数据，在触发数据下刷场景下，使用ec算法选择reed-solomon和cauchy算法测试ec纠删场景。从实验数据发现：
不同k/m模型isa-l和jerasure的ec计算带宽对比
isa-l在不同的k/m模型下，ec计算带宽表现较为稳定，而软件计算随着计算量增加呈线性下降趋势；
isa-l在新一代g7平台的吞吐率为9.8 gb/s，相较于软件计算提升5.7倍。
总结：ec纠删码相较于多副本策略虽然可以提升存储的利用率，如4 + 2场景利用率为66%，3副本只有33%，8 + 2可以做到80%。但是其涉及到ec的纠删计算、数据校验、读写惩罚等问题相较于多副本仍存在较多优化空间。incloud dsan分布式存储软件在新一代g7平台，依托于新硬件（intel新一代至强cpu）、isa-l软件加速库，设计新型的ec功能，采用独特的数据分层、智能缓存管理、软件硬协同等方案，解决了当前广泛存在的数据冗余和存储空间利用难题。
Vega显卡形势不妙 AMD开始发力处理器方面：最高16核心骨灰CPU
中关村数智人工智能产业联盟发起虚拟数字人推进计划
苹果发布iOS 15.4.1正式版
04/12 重庆 2012 LabVIEW开发者论坛
FPGA开发板使用和配置方式
新一代G7系列浪潮云海超融合EC纠删功能设计
Type-C连接器可实现快速充电和音频传输功能
Microchip专家技术文章：汽车信息娱乐网络技术评估
便携式土壤墒情监测仪功能
数字化煤场系统助力火电企业做到燃料数量、质量和成本管理做到实时可控
漫步者有源音箱摩机方法
大四核/最高2.7GHz！小米6到底用何处理器
国产智能手机厂商手中的那些“活儿”
半导体激光控制器电路原理分析
以太网温湿度传感器在生活中有着广泛的应用
智能变送器怎么调试
法国大学开设了新的沉浸式设施VR Room，以提供新的研究潜力
鸿蒙OS 下载与安装软件
人脸识别如何为智慧社区锦上添花
HyperX 发布全新的自研机械键盘轴，搭载到阿洛伊起源系列机械键盘上
本文将详细解读incloud dsan在新一代incloud rail g7系列超融合一体机上如何设计ec纠删功能。
什么是ec纠删码技术？
纠删码技术是一种数据保护方法，主要是通过利用纠删码算法将原始数据分割成多段，然后进行扩展和编码校验，并将分段数据和校验一并在磁盘、存储节点或其他位置存储起来，以达到容错目的。基本原理：总数据块 = 原始数据块 + 校验块，常用表示为，n= k + m基本思想是将ｋ块原始的数据元素通过一定的编码计算，得到ｍ块校验元素。对于这ｋ+ｍ块元素，当其中任意的ｍ块元素发生故障（包括数据和校验出错），均可以通过对应的重构算法恢复出原来的ｋ块数据。
ec纠删码在块存储设计的挑战
ec纠删码数据切分和计算示意图
上述场景以k = 4，m = 2为例，首先将应用数据拆分成4个分片，然后计算出两个校验条带分片，然后按照数据分布算法，将6个分片数据下发到6个节点上存储。由于多副本策略是客户常用的数据冗余策略，我们将ec纠删码和三副本的的读写流程及故障场景下的流程做了相关分析：由下表中可得出，在正常写流程中，需要消耗7个io完成正常的写入流程，同时在有故障场景的读写，需要7个io，有较大的读写惩罚。另外，在小块io读写流程中，如果数据块小于ec切片数据大小，会存在空间浪费的情况。
数据冗余策略 读写场景 消耗读写io次数
ec（4+2） 正常读 1个
正常写 4个读io，3个写io
落在故障盘的读 5个读io
落在故障盘的写 5个读io + 2个写io
三副本 正常读 1个
正常写 3个
落在故障盘的读 2个
落在故障盘的写 1个
在超融合的应用场景中，用户经常使用块存储承接应用数据，适用于包括虚拟化、云平台、数据库等场景。此种场景下会产生非常多的小块随机读写负载，同时用户对于时延要求较高，要求控制在5ms以内，且要求在故障场景下，对业务影响较小。这些要求正是ec纠删码的缺点。
浪潮云海超融合在新一代g7平台的ec设计
由于ec的优劣势明显，如何在超融合块存储上使用ec功能是时下刚需，浪潮云海超融合在新一代g7平台做了独特的方案设计：
ec纠删码设计方案
方案亮点主要有：
数据分层管理：将数据存储划分为缓存层和数据层，其中缓存层使用高性的nvme和sata ssd存储，同时在缓存层使用多副本的设计，提供高性能数据存储能力。数据层提供ec存储，主要由hdd硬盘存储，提供高容量存储空间。
智能缓存管理：设计冷热分层的智能缓存管理，高效识别热点数据和冷数据，同时设计全局的缓存管理功能，确保客户的热数据保存在缓存空间中。
数据空间高效存储：在缓存层中由于副本存储，将上层应用的小块io聚合，当数据变成冷数据下刷至ec存储层时，由于下刷采用数据对齐，聚合成大块的顺序条带读写，可以在ec数据层进行高效的数据存储。
ec加速计算：设计支持多个ec加速引擎，支持不同平台的ec加速计算，其中在intel平台使用isa-l的ec加速库，发挥intel cpu的ec计算能力。
为了验证方案效果：同时对比isa-l加速计算和使用jerasure纯软件不经过cpu加速计算的性能测试。下图所示测试数据采用了金融和医疗等行业常用的数据库应用，使用1g的测试数据，在触发数据下刷场景下，使用ec算法选择reed-solomon和cauchy算法测试ec纠删场景。从实验数据发现：
不同k/m模型isa-l和jerasure的ec计算带宽对比
isa-l在不同的k/m模型下，ec计算带宽表现较为稳定，而软件计算随着计算量增加呈线性下降趋势；
isa-l在新一代g7平台的吞吐率为9.8 gb/s，相较于软件计算提升5.7倍。
总结：ec纠删码相较于多副本策略虽然可以提升存储的利用率，如4 + 2场景利用率为66%，3副本只有33%，8 + 2可以做到80%。但是其涉及到ec的纠删计算、数据校验、读写惩罚等问题相较于多副本仍存在较多优化空间。incloud dsan分布式存储软件在新一代g7平台，依托于新硬件（intel新一代至强cpu）、isa-l软件加速库，设计新型的ec功能，采用独特的数据分层、智能缓存管理、软件硬协同等方案，解决了当前广泛存在的数据冗余和存储空间利用难题。
Vega显卡形势不妙 AMD开始发力处理器方面：最高16核心骨灰CPU
中关村数智人工智能产业联盟发起虚拟数字人推进计划
苹果发布iOS 15.4.1正式版
04/12 重庆 2012 LabVIEW开发者论坛
FPGA开发板使用和配置方式
新一代G7系列浪潮云海超融合EC纠删功能设计
Type-C连接器可实现快速充电和音频传输功能
Microchip专家技术文章：汽车信息娱乐网络技术评估
便携式土壤墒情监测仪功能
数字化煤场系统助力火电企业做到燃料数量、质量和成本管理做到实时可控
漫步者有源音箱摩机方法
大四核/最高2.7GHz！小米6到底用何处理器
国产智能手机厂商手中的那些“活儿”
半导体激光控制器电路原理分析
以太网温湿度传感器在生活中有着广泛的应用
智能变送器怎么调试
法国大学开设了新的沉浸式设施VR Room，以提供新的研究潜力
鸿蒙OS 下载与安装软件
人脸识别如何为智慧社区锦上添花
HyperX 发布全新的自研机械键盘轴，搭载到阿洛伊起源系列机械键盘上