新数据时代，云厂商应该选什么一统存储市场
新年伊始，各种预测展望如期而至，但真正精彩的并不多！
恰如《连线》（wired）杂志创始主编凯文·凯利说的 “即将消灭你的人，今天还没有出现在你的敌人名单上。”可见预测是一件非常困难的事情。
如果是预测不过是凑个热闹，与之相比，判断则要严谨重要得多，因为它是决策的基础。以软件定义存储、全闪存阵列、传统存储为例，将如何选择呢？
这真是一个问题。
云厂商是怎么选的？
相比，软件定义存储，传统存储，有谁可以一统存储市场江湖吗？
我们期待这样的一个结果，从而减轻选型中的困惑？
关键就在于软件定义存储，
软件定义存储会成为存储市场的主流吗？
答案是肯定的！
在2018年存储与数据峰会上，浪潮存储给出了明确的答案。
浪潮存储的信心来自哪里呢？
当今市场的用户环境是一个多云状况，从边缘（edge）到核心（数据中心）到云（cloud），从私有云到公有云，到混合云，从一个公有云，到另一个公有云，这就是目前典型的用户应用的场景。根据idc提供的数据，2018年云计算基础设施的规模为523亿美元，未来会按照10.8%复合年增长率(cagr)增长。
如果说，传统行业企业用户的云化还在路上，没有那么清晰，不妨看看公有云厂商的选择。
在公有云的世界里，软件定义存储早已经一统江湖了！
公有云厂商为了应对“双11“的业务尖峰，唯一的办法就弹性扩容，短暂利用离线服务器的资源，但是传统的架构和资源配置，依靠直连存储das，特别是hdd的性能瓶颈，带来的问题显而易见。
存储计算分离，构建统一的软件定义存储集群，这就是问题的答案。
传统行业市场特殊吗？
既然如此，在传统行业企业市场，为什么这种现象没有发生呢？
就连“软件定义存储“本身，也是emc等存储厂商最早提出的，当时的概念，强调软件、硬件的解耦，这也是软件定义的存储。
如此原因，还要从应用寻找答案。
从应用软件现状看，互联网企业以云原生应用为主，具有非常好的分布式设计，与软件定义存储珠联璧合。相比传统行业企业，应用以传统应用为主，不具有分布式特征，这样的应用可以构建在软件定义存储的基础上吗？可靠性，稳定性，安全性可以媲美传统磁盘阵列吗？
这也是传统行业企业所担心的，也是困扰他们的难题。
要么向互联网企业学习，对于传统应用进行云原生改造，显然这是一个艰巨而漫长的过程，此外，目前技术基础，人才积累也限制了云原生花改造的进程。
怎么办？
答案是：软件定义存储产品自身能力的提升。
目前市场上，软件定义存储产品众多，有开源的方案，也有自主研发的产品。其中，开源产品也有ceph、sheepdog、moosefs、swift等多种方案选择。用户可以选用开源社区版本，也可以购买开源商业版本。自主研发产品方面，vmware、浪潮、华为、联想、新华三、紫光西部数据等也推出了自主研发的软件定义存储产品，ibm、dellemc、netapp、ventara、nutanix等也推出了相应的产品方案，此外，xsky、smartx、华云网际、凯翔、南京鹏云等国内创新企业也推出了各自的产品解决方案。
在如此众多方案中，如何进行选择？
对此，首先是技术的选择，亿级iops、百gb带宽、eb级海量存储空间、千亿亿文件管理等硬件指标是一个衡量的标准。
软件定义存储选型“硬标准”
如此优异的产品真的现实存在吗？
以亿级iops为例，这不是简单的 ssd置换就能够实现的，涉及从介质到算法优化，从外部存储到内存计算的设计和优化。借助nvme ssd、3d xpoint ssd等固态存储介质技术，通过全闪存软件定义存储内的介质更新，软件算法优化，大幅提高iops、时延和带宽。
在内存计算技术发展起来之后，在数据库设计、应用设计方面已经得到改变，固态存储介质技术的引入，也为内存计算增加了非易失的特性，让计算和存储的特性得到极大发挥。
为实现亿级iops，需要从底层nand flash、nvm（non-volatile memory，非易失存储器）、设备驱动，接口、操作系统、上层应用程序等软件协议栈进行全面的优化，从应用系统的层面，对于nvm存储介质管理、控制、质量保障、数据保护进行通盘的考虑，这是实现存储高性能的关键。
与此同时，一些大型的集群，iops并发性能要求达到了千万级。以ai为例，它是建立在大量原始数据基础上进行的，其原始数据经过标记后，会变成大量的小文件，规模通常达到百亿级。
以tesla v100gpu应用为例，每个gpu用5个容器读取文件数据，每秒钟约产生5000个ops，每个ops按三次操作计算，如果，每台设备有16个tesla v100gpu， 16台设备搭建一个集群，总计256个gpu，对存储的iops性能要求，就达到了400万。
为了应对如此规模的应用访问，要求软件定义存储具有非常好的横向扩展(scale-out)能力，以浪潮as13000软件定义存储为例，不仅可以可扩展至5120个节点，同时，通过数据自动修复和自动运维机制，完全可以适用于海量数据存储场景。浪潮as13000软件定义存储，一套架构实现了文件、块、对象和大数据场景的数据服务。
从实践中来
以类似浪潮as13000软件定义存储产品作为基础，对于行业企业用户来说，完全可以像互联网企业一样，快速实现业务的云化，借助软件定义存储的横向扩展能力，从而满足来自互联网的用户访问所带来的压力，缓解资源弹性不足的问题。
其中，软件定义存储的场景化能力至关重要，也是解决传统行业/企业问题的关键。
以石油勘探为例，借助对海量地震波数据的计算、解释和反演，从而模拟出勘测区域的地下构造，并作为钻井精确定位的依据，重要性和经济效益显而易见。如今，三维地震数据处理、解释一体化软件应用对存储空间初始需求就达到pb级别，项目平均数据增量达20tb，一般单文件大小也都在200gb左右。
以往， 54tb原始勘探数据通过4000个cpu计算集群、gb级带宽的存储集群处理需要50多天时间。为缩短处理时间，就需要优化数据存储和计算平台，通过增加gpu来进行加速，与此同时，要求软件定义存储进行了大量场景化调优。
浪潮软件定义存储as13000通过去躁、振幅补偿等多项作业的优化配置，提升了批量作业的处理能力；通过目录分片，也就是在元数据服务端将目录分成同等地位的多个分片，由每个分片承载该目录下的不同子文件，如此，才能够通过提升并发能力，满足石油勘探大目录操作性能的需求。
如今，浪潮软件定义存储as13000可支持单目录千万级文件、文件系统可达百亿级，百万文件浏览时间突破40s。
视频监控智能交通领域，需要对海量图片进行查询，要系统能够满足“秒开”的能力。从技术上，涉及视频监控信息的海量存储，要求系统提供海量存储能力，以一个120个视频监控探头线程13.08小时所产生的数据，会涉及556万个文件的写入。在这个基础之上，还需要提供“秒开”查询的能力。
为了满足这样的需求，一方面需要利用多节点数据并发读写的能力；另外还要考虑元数据服务集群技术,满足百亿级别文件的快速检索需求。在成都视频监控智能交通的项目中，以as13000软件定义存储为基础，浪潮成功将图片检索用时，从十几秒降低到3秒以下，实现交通监控图片取证“秒开秒解”的创新需求。
从现有的行业实践来看，软件定义存储并不是一个放之四海而皆准的通用性技术，需要产品服务提供商能够根据应用场景的特点，对软件定义存储产品的技术功能加以组合，如此才能够满足产品的需要。
小结
毫无疑问，云计算是未来行业发展的趋势，而软件定义存储的特点与云计算无缝衔接，是行业用户未来的主要选择。随着云计算普及，软件定义存储超越传统存储是指日可待的事情。
应该说，云计算的着眼点并不是针对某个特点应用，云计算强调的是基础设施，讲求的是资源池化，追求系统的弹性，强调资源应用的效率。但是从单一业务应有的眼光看，除非采用公有云应用，否则云系统的经营、管理和服务，还是一个复杂的事情。如果不考虑效率的问题，只从单一应用的角度出发，传统存储解决方案其实拥有最佳的案例实践，仍然是用户最佳的现实选择。
从这个意义上说，传统存储市场仍然有所发展，但从长远的趋势看，让位于软件定义存储将是必然的趋势。
2021年中国连接器市场现状及发展趋势
4G DTU为什么要具有透传的功能，它有哪些优势
宝安明年8月底前将累计完成建设8000个，实现5G网络全覆盖
EPM7128在TMS320LF2407A系统中电平转换的应用
电机启动有调速器要加电容吗？
新数据时代，云厂商应该选什么一统存储市场
金立m2017 PK 华为mate9 你选哪一款？
声表面波滤波器适用于什么场合
TI CC2640超低功耗无线MCU特性介绍
QORVO衰减器的主要特点
模拟前端在无线通信的应用
深度分析IGBT基础知识与运用
一名工程师在谷歌无人车组的职场生涯
哪种充电宝质量好又耐用，双十二最划算的充电宝推荐
北美是最大的LiDAR市场 亚太地区潜力最大成长率达28.2%
京东多款配送机器人参与运营，每天至少提升一千单！
TL494的引脚功能/配置/额定值/操作条件/布局图
关于Linux下做FFT运算的一疑惑
如何五金模架出现这些问题如何处理
单轴机器人和多轴机器人那个好？
恰如《连线》（wired）杂志创始主编凯文·凯利说的 “即将消灭你的人，今天还没有出现在你的敌人名单上。”可见预测是一件非常困难的事情。
如果是预测不过是凑个热闹，与之相比，判断则要严谨重要得多，因为它是决策的基础。以软件定义存储、全闪存阵列、传统存储为例，将如何选择呢？
这真是一个问题。
云厂商是怎么选的？
相比，软件定义存储，传统存储，有谁可以一统存储市场江湖吗？
我们期待这样的一个结果，从而减轻选型中的困惑？
关键就在于软件定义存储，
软件定义存储会成为存储市场的主流吗？
答案是肯定的！
在2018年存储与数据峰会上，浪潮存储给出了明确的答案。
浪潮存储的信心来自哪里呢？
当今市场的用户环境是一个多云状况，从边缘（edge）到核心（数据中心）到云（cloud），从私有云到公有云，到混合云，从一个公有云，到另一个公有云，这就是目前典型的用户应用的场景。根据idc提供的数据，2018年云计算基础设施的规模为523亿美元，未来会按照10.8%复合年增长率(cagr)增长。
如果说，传统行业企业用户的云化还在路上，没有那么清晰，不妨看看公有云厂商的选择。
在公有云的世界里，软件定义存储早已经一统江湖了！
公有云厂商为了应对“双11“的业务尖峰，唯一的办法就弹性扩容，短暂利用离线服务器的资源，但是传统的架构和资源配置，依靠直连存储das，特别是hdd的性能瓶颈，带来的问题显而易见。
存储计算分离，构建统一的软件定义存储集群，这就是问题的答案。
传统行业市场特殊吗？
既然如此，在传统行业企业市场，为什么这种现象没有发生呢？
就连“软件定义存储“本身，也是emc等存储厂商最早提出的，当时的概念，强调软件、硬件的解耦，这也是软件定义的存储。
如此原因，还要从应用寻找答案。
从应用软件现状看，互联网企业以云原生应用为主，具有非常好的分布式设计，与软件定义存储珠联璧合。相比传统行业企业，应用以传统应用为主，不具有分布式特征，这样的应用可以构建在软件定义存储的基础上吗？可靠性，稳定性，安全性可以媲美传统磁盘阵列吗？
这也是传统行业企业所担心的，也是困扰他们的难题。
要么向互联网企业学习，对于传统应用进行云原生改造，显然这是一个艰巨而漫长的过程，此外，目前技术基础，人才积累也限制了云原生花改造的进程。
怎么办？
答案是：软件定义存储产品自身能力的提升。
目前市场上，软件定义存储产品众多，有开源的方案，也有自主研发的产品。其中，开源产品也有ceph、sheepdog、moosefs、swift等多种方案选择。用户可以选用开源社区版本，也可以购买开源商业版本。自主研发产品方面，vmware、浪潮、华为、联想、新华三、紫光西部数据等也推出了自主研发的软件定义存储产品，ibm、dellemc、netapp、ventara、nutanix等也推出了相应的产品方案，此外，xsky、smartx、华云网际、凯翔、南京鹏云等国内创新企业也推出了各自的产品解决方案。
在如此众多方案中，如何进行选择？
对此，首先是技术的选择，亿级iops、百gb带宽、eb级海量存储空间、千亿亿文件管理等硬件指标是一个衡量的标准。
软件定义存储选型“硬标准”
如此优异的产品真的现实存在吗？
以亿级iops为例，这不是简单的 ssd置换就能够实现的，涉及从介质到算法优化，从外部存储到内存计算的设计和优化。借助nvme ssd、3d xpoint ssd等固态存储介质技术，通过全闪存软件定义存储内的介质更新，软件算法优化，大幅提高iops、时延和带宽。
在内存计算技术发展起来之后，在数据库设计、应用设计方面已经得到改变，固态存储介质技术的引入，也为内存计算增加了非易失的特性，让计算和存储的特性得到极大发挥。
为实现亿级iops，需要从底层nand flash、nvm（non-volatile memory，非易失存储器）、设备驱动，接口、操作系统、上层应用程序等软件协议栈进行全面的优化，从应用系统的层面，对于nvm存储介质管理、控制、质量保障、数据保护进行通盘的考虑，这是实现存储高性能的关键。
与此同时，一些大型的集群，iops并发性能要求达到了千万级。以ai为例，它是建立在大量原始数据基础上进行的，其原始数据经过标记后，会变成大量的小文件，规模通常达到百亿级。
以tesla v100gpu应用为例，每个gpu用5个容器读取文件数据，每秒钟约产生5000个ops，每个ops按三次操作计算，如果，每台设备有16个tesla v100gpu， 16台设备搭建一个集群，总计256个gpu，对存储的iops性能要求，就达到了400万。
为了应对如此规模的应用访问，要求软件定义存储具有非常好的横向扩展(scale-out)能力，以浪潮as13000软件定义存储为例，不仅可以可扩展至5120个节点，同时，通过数据自动修复和自动运维机制，完全可以适用于海量数据存储场景。浪潮as13000软件定义存储，一套架构实现了文件、块、对象和大数据场景的数据服务。
从实践中来
以类似浪潮as13000软件定义存储产品作为基础，对于行业企业用户来说，完全可以像互联网企业一样，快速实现业务的云化，借助软件定义存储的横向扩展能力，从而满足来自互联网的用户访问所带来的压力，缓解资源弹性不足的问题。
其中，软件定义存储的场景化能力至关重要，也是解决传统行业/企业问题的关键。
以石油勘探为例，借助对海量地震波数据的计算、解释和反演，从而模拟出勘测区域的地下构造，并作为钻井精确定位的依据，重要性和经济效益显而易见。如今，三维地震数据处理、解释一体化软件应用对存储空间初始需求就达到pb级别，项目平均数据增量达20tb，一般单文件大小也都在200gb左右。
以往， 54tb原始勘探数据通过4000个cpu计算集群、gb级带宽的存储集群处理需要50多天时间。为缩短处理时间，就需要优化数据存储和计算平台，通过增加gpu来进行加速，与此同时，要求软件定义存储进行了大量场景化调优。
浪潮软件定义存储as13000通过去躁、振幅补偿等多项作业的优化配置，提升了批量作业的处理能力；通过目录分片，也就是在元数据服务端将目录分成同等地位的多个分片，由每个分片承载该目录下的不同子文件，如此，才能够通过提升并发能力，满足石油勘探大目录操作性能的需求。
如今，浪潮软件定义存储as13000可支持单目录千万级文件、文件系统可达百亿级，百万文件浏览时间突破40s。
视频监控智能交通领域，需要对海量图片进行查询，要系统能够满足“秒开”的能力。从技术上，涉及视频监控信息的海量存储，要求系统提供海量存储能力，以一个120个视频监控探头线程13.08小时所产生的数据，会涉及556万个文件的写入。在这个基础之上，还需要提供“秒开”查询的能力。
为了满足这样的需求，一方面需要利用多节点数据并发读写的能力；另外还要考虑元数据服务集群技术,满足百亿级别文件的快速检索需求。在成都视频监控智能交通的项目中，以as13000软件定义存储为基础，浪潮成功将图片检索用时，从十几秒降低到3秒以下，实现交通监控图片取证“秒开秒解”的创新需求。
从现有的行业实践来看，软件定义存储并不是一个放之四海而皆准的通用性技术，需要产品服务提供商能够根据应用场景的特点，对软件定义存储产品的技术功能加以组合，如此才能够满足产品的需要。
小结
毫无疑问，云计算是未来行业发展的趋势，而软件定义存储的特点与云计算无缝衔接，是行业用户未来的主要选择。随着云计算普及，软件定义存储超越传统存储是指日可待的事情。
应该说，云计算的着眼点并不是针对某个特点应用，云计算强调的是基础设施，讲求的是资源池化，追求系统的弹性，强调资源应用的效率。但是从单一业务应有的眼光看，除非采用公有云应用，否则云系统的经营、管理和服务，还是一个复杂的事情。如果不考虑效率的问题，只从单一应用的角度出发，传统存储解决方案其实拥有最佳的案例实践，仍然是用户最佳的现实选择。
从这个意义上说，传统存储市场仍然有所发展，但从长远的趋势看，让位于软件定义存储将是必然的趋势。
2021年中国连接器市场现状及发展趋势
4G DTU为什么要具有透传的功能，它有哪些优势
宝安明年8月底前将累计完成建设8000个，实现5G网络全覆盖
EPM7128在TMS320LF2407A系统中电平转换的应用
电机启动有调速器要加电容吗？
新数据时代，云厂商应该选什么一统存储市场
金立m2017 PK 华为mate9 你选哪一款？
声表面波滤波器适用于什么场合
TI CC2640超低功耗无线MCU特性介绍
QORVO衰减器的主要特点
模拟前端在无线通信的应用
深度分析IGBT基础知识与运用
一名工程师在谷歌无人车组的职场生涯
哪种充电宝质量好又耐用，双十二最划算的充电宝推荐
北美是最大的LiDAR市场 亚太地区潜力最大成长率达28.2%
京东多款配送机器人参与运营，每天至少提升一千单！
TL494的引脚功能/配置/额定值/操作条件/布局图
关于Linux下做FFT运算的一疑惑
如何五金模架出现这些问题如何处理
单轴机器人和多轴机器人那个好？