如何快速认识Ceph/CephFS，最简单的方式就是快速应用它
大数据需要大存储，尤其是文件存储，hadoop组件之一hdfs也因此得到了快速发展。随着ai时代的来临，机器学习对于大存储提出了更高的要求。 分布式、并行、高速、在线扩展、高可用、可靠、安全等等，现代机器学习尤其是深度学习，要做大模型和超大模型训练，要迭代数以tb级别甚至pb级别的样本，要做类似spark的checkpoint，要做动态感知计算和网络环境的调度，等等复杂负载，对文件系统的这些需求逐渐都变成了刚需。
壹
当前比较流行的分布式文件系统，包括hdfs、ceph/cephfs、lustre、gpfs、glusterfs等，各具特点，并应用于一些特定的场景。作为开源项目的佼佼者，ceph/cephfs因提供了对象存储、块存储、文件系统三种接口，得到了最为广泛的应用。常规的场景中，对象存储可以搭建企业级网盘，块存储可以作为openstack/kvm的镜像后端，文件存储可以替代hdfs支持大数据。 在云原生大行其道的今天，ceph也没有落后脚步。目前已经提供了kubernetes/docker存储的原生支持。
贰
了解ceph的人，大都会认为ceph是一个相对复杂的系统，尤其当磁盘规模达到千块甚至万块时。ceph经受住了长时间的应用考验，也说明其架构设计非常之优秀。
在oppo的机器学习平台里，ceph也在发挥着极其重要的作用，提供了诸如深度模型 分布式训练、 代码 和 数据共享 、 训练任务容灾 、 模型急速发布 等能力。ceph的应用场景远不仅如此，但因为ceph系统太过“复杂”，导致很多架构师或者技术经理不敢轻易触碰。
诚然，采纳和应用一门新技术，向来不是一个简单容易的过程，但认识或者理解一门新技术，对于我们这些混迹于it和互联网圈的同学，可能从来都不是什么难事儿。
叁
如何快速认识ceph/cephfs，最简单的方式就是快速应用它 。 如果想要理解它的原理，看代码便是最直接的方式。后面，我们用源码构建并运行一个小型的ceph，全面感知下ceph的魅力。对于了解docker的同学，可以在容器里进行这个尝试。
以下演示如何快速编译并启动一个 管理三块磁盘的 分布式文件系统 。图中rados cluster即为构造的ceph存储集群， cephfs kernel client 是实现linux vfs标准的内核模块，两者通过网络传递磁盘io。
准备阶段
假设物理机ip为10.13.33.36，新启的容器ip为10.244.0.5
第一步： 准备好编译和运行的操作系统容器
第二步： 在容器内安装编译和运行ceph的环境依赖库
第三步： 下载ceph源代码并解压进入代码工程目录
第四步： 依赖准备
第五步： 编译ceph
第六步： 启动ceph集群并检查ceph cluster状态
第七步：客户端挂载cephfs文件系统
第八步： 客户端检测并使用cephfs文件系统
肆
通过以上简单操作，即使是在未能熟悉mon/mds/osd服务功能，不用了解crush算法原理，不懂cmake和make编译系统的情况下， 也可以快速体验到一个原生的ceph/cephfs。
上述的ceph集群虚拟管理了三块disk（filesystem），并通过cephfs接口暴露文件系统接口，客户端主机通过挂载该cephfs到/tmp/oppofs目录，所有读写/tmp/oppofs目录和文件的io都会通过网络传递给ceph rados cluster，并分发给三块disk。
当disk分布在多个主机时，在不同主机配置并启动相对应的osd进程即可，每块磁盘的io都是通过osd进程进行管理。对ceph性能和功能有特殊需求的场景，也可以通过直接调整源代码来定制。
ceph本身具备的能力足以支撑起成千上万块磁盘，但因磁盘数量高速增长引来的其他相关挑战，就需要各位实践者去不断学习和积累相关的知识去应对了。 ceph作为领先的大数据存储解决方案 ， 应用场景将会越来越丰富 。
iphone8什么时候上市？iphone8将携最新黑科技,双卡双待再也不只是梦
新能源汽车市场增长，CAN FD需求猛增
大疆发布Phantom 4 Advanced无人机
新唐科技M485 Crypto 系列简介
Achronix任命台积电资深高管Rick Cassidy为其董事会成员
如何快速认识Ceph/CephFS，最简单的方式就是快速应用它
关于中国经济的故事，让我们从头说起
3G基站现场无线测试指南
高功率导通高压驱动控制电源ICSM2325E取代CYT1000效果更好
植保无人机锂电池如何正确地使用和保养
Lora自组网网关的两种工作模式
模拟量输入测量值显示满量程(上溢)的故障处理方法
2.4 寸旋钮屏在烘鞋器上的应用
EMC整改中常用的滤波方式及其注意事项
关于奇瑞48V微混系统分析介绍
在搭电着车以后车辆为什么会熄火的两大原因
ST最新发布Cortex-A9内核嵌入式处理器
台积电/联电与中芯国际抢夺中国晶圆代工市场
浪涌保护器的作用分析
IGBT全球缺货成香饽饽，对从业者来说是红利期到了吗？
壹
当前比较流行的分布式文件系统，包括hdfs、ceph/cephfs、lustre、gpfs、glusterfs等，各具特点，并应用于一些特定的场景。作为开源项目的佼佼者，ceph/cephfs因提供了对象存储、块存储、文件系统三种接口，得到了最为广泛的应用。常规的场景中，对象存储可以搭建企业级网盘，块存储可以作为openstack/kvm的镜像后端，文件存储可以替代hdfs支持大数据。 在云原生大行其道的今天，ceph也没有落后脚步。目前已经提供了kubernetes/docker存储的原生支持。
贰
了解ceph的人，大都会认为ceph是一个相对复杂的系统，尤其当磁盘规模达到千块甚至万块时。ceph经受住了长时间的应用考验，也说明其架构设计非常之优秀。
在oppo的机器学习平台里，ceph也在发挥着极其重要的作用，提供了诸如深度模型 分布式训练、 代码 和 数据共享 、 训练任务容灾 、 模型急速发布 等能力。ceph的应用场景远不仅如此，但因为ceph系统太过“复杂”，导致很多架构师或者技术经理不敢轻易触碰。
诚然，采纳和应用一门新技术，向来不是一个简单容易的过程，但认识或者理解一门新技术，对于我们这些混迹于it和互联网圈的同学，可能从来都不是什么难事儿。
叁
如何快速认识ceph/cephfs，最简单的方式就是快速应用它 。 如果想要理解它的原理，看代码便是最直接的方式。后面，我们用源码构建并运行一个小型的ceph，全面感知下ceph的魅力。对于了解docker的同学，可以在容器里进行这个尝试。
以下演示如何快速编译并启动一个 管理三块磁盘的 分布式文件系统 。图中rados cluster即为构造的ceph存储集群， cephfs kernel client 是实现linux vfs标准的内核模块，两者通过网络传递磁盘io。
准备阶段
假设物理机ip为10.13.33.36，新启的容器ip为10.244.0.5
第一步： 准备好编译和运行的操作系统容器
第二步： 在容器内安装编译和运行ceph的环境依赖库
第三步： 下载ceph源代码并解压进入代码工程目录
第四步： 依赖准备
第五步： 编译ceph
第六步： 启动ceph集群并检查ceph cluster状态
第七步：客户端挂载cephfs文件系统
第八步： 客户端检测并使用cephfs文件系统
肆
通过以上简单操作，即使是在未能熟悉mon/mds/osd服务功能，不用了解crush算法原理，不懂cmake和make编译系统的情况下， 也可以快速体验到一个原生的ceph/cephfs。
上述的ceph集群虚拟管理了三块disk（filesystem），并通过cephfs接口暴露文件系统接口，客户端主机通过挂载该cephfs到/tmp/oppofs目录，所有读写/tmp/oppofs目录和文件的io都会通过网络传递给ceph rados cluster，并分发给三块disk。
当disk分布在多个主机时，在不同主机配置并启动相对应的osd进程即可，每块磁盘的io都是通过osd进程进行管理。对ceph性能和功能有特殊需求的场景，也可以通过直接调整源代码来定制。
ceph本身具备的能力足以支撑起成千上万块磁盘，但因磁盘数量高速增长引来的其他相关挑战，就需要各位实践者去不断学习和积累相关的知识去应对了。 ceph作为领先的大数据存储解决方案 ， 应用场景将会越来越丰富 。
iphone8什么时候上市？iphone8将携最新黑科技,双卡双待再也不只是梦
新能源汽车市场增长，CAN FD需求猛增
大疆发布Phantom 4 Advanced无人机
新唐科技M485 Crypto 系列简介
Achronix任命台积电资深高管Rick Cassidy为其董事会成员
如何快速认识Ceph/CephFS，最简单的方式就是快速应用它
关于中国经济的故事，让我们从头说起
3G基站现场无线测试指南
高功率导通高压驱动控制电源ICSM2325E取代CYT1000效果更好
植保无人机锂电池如何正确地使用和保养
Lora自组网网关的两种工作模式
模拟量输入测量值显示满量程(上溢)的故障处理方法
2.4 寸旋钮屏在烘鞋器上的应用
EMC整改中常用的滤波方式及其注意事项
关于奇瑞48V微混系统分析介绍
在搭电着车以后车辆为什么会熄火的两大原因
ST最新发布Cortex-A9内核嵌入式处理器
台积电/联电与中芯国际抢夺中国晶圆代工市场
浪涌保护器的作用分析
IGBT全球缺货成香饽饽，对从业者来说是红利期到了吗？