基于ARM体系架构构建云服务

1、概述
随着it技术的不断演进,公有云、专属云、混合云、云原生等相关技术概念层出不穷,云计算已经有了广泛应用,成为数字经济、政企数字化转型的新型基础设施。 在云计算时代,由于功耗低、高性能以及指令集的优势,越来越多的云厂商开始选择基于arm体系来构建云服务。从aws发布的graviton2,到apple的m1芯片,到中国电子云十年磨一剑的“pk架构”,再到华为鲲鹏体系,arm体系成为了未来的趋势方向。 对于企业数字化转型来说,应用上云是必经之路。从狭义来说,上云是将运行在物理机上的应用系统搬迁到云上。从广义上看,上云会涉及到跨架构适配、虚拟化、容器化、云原生等一系列的技术升级和重构。 上云的不同阶段,所依赖的技术并不同。从左至右,应用对云的依存度也越来越高。
下文对几个阶段涉及到的技术做简单阐述。
阶段1:跨架构适配
传统应用大部分是基于x86架构来开发和运行。面对arm架构越来越流行的今天,越来越多的云计算厂商开始围绕arm架构构建云应用生态。并据此引发了大量的适配测试需求。x86和arm体系架构的差异对于应用有哪些影响?x86应用向arm体系迁移会碰到哪些技术难题?对于不同编程语言实现的应用来说,迁移的难度是否有区别? 本文将针对以上问题开展分析。
阶段2:虚拟化
计算虚拟化能力是云计算提供的核心能力。截至到今天,很多行业用户的上云还是停留在这个阶段。虚拟化的最大用途是使得应用与物理机器解耦,将资源池化,按需分配资源,并因此获得弹性伸缩和迁移能力。这个阶段的上云,往往会涉及到p2v和v2v这两种主要场景。前者是从物理机向虚拟机迁移(physical to virtual migration)),后者是虚拟化的跨云迁移(virtual machine to virtual machine)。
阶段3:容器化
容器化是将应用程序及其所需的库、框架和配置文件打包在一起的过程,以便可以在各种计算环境中高效运行它。得益于docker等技术的流行,应用容器化更进一步促进了应用的配置、依赖以及镜像的标准化,使得应用交付、运维等领域有极大的提升。这个阶段的上云,对于软件开发过程有一定的要求,需遵循相应的容器化规范。
阶段4:云原生
云原生时代的到来,是容器化后的必然阶段。通过kubernetes、devops、微服务等技术的不断发展,尤其是对有状态应用支撑能力的不断增强,云原生已然成为新一代应用开发的事实标准。 技术的发展有天才工程师的灵光一现,其背后同样也需要遵循客观自然规律。下文将从阶段1入手,尝试从底层技术进行解构,或许能帮助我们更清晰的看到本质。
2、跨越cpu架构
纵观计算机技术的发展史,软件系统是一个不断抽象,不断叠加的过程。操作系统的出现,解决的是单机硬件多样性的难题,为上层应用软件提供一致的底层运行环境。云计算的出现,解决的是分布式架构引入的多样性问题,为应用提供跨机器、跨地域的一致运行环境。 我们先从cpu指令集的差异对比开始。
2.1 cpu指令集对比
在计算机体系结构的发展过程中,诞生了cisc(复杂指令集)和risc(精简指令集)这两大流派,它们采用了不同的设计理念和方法,cisc采用单条复杂指令完成特定复杂功能,提高了存储器访问效率;risc则采用多条精简短指令完成特定复杂功能,提高了处理器运行速度。基于这两类指令集,产生了两种主流的cpu架构:x86架构,采用的是cisc复杂指令集,而arm架构则采用了risc精简指令集。 cisc指令集指令系统庞大,指令数目、指令格式和寻址方式复杂,指令字长不固定,各种指令执行周期和访问频率相差很大,采用微指令码控制单元的设计。 risc指令集选取使用频率最高的精简指令,避免复杂指令,将指令数目、指令格式和寻址方式种类减少,指令长度固定,大多数的指令都可以在一个机器周期里完成。以控制逻辑为主,不用或者少用微指令码控制。
2.2对应用迁移的影响
应用本质上是一种程序,程序在运行态是由一系列进程组成,而进程可以说是计算机科学最重要和最成功的概念之一。进程的运行依赖操作系统对cpu、内存的调度和管理,操作系统保持跟踪进程运行所需的所有状态信息。比如寄存器、pc计数器、逻辑单元alu等。 综合来说,x86 和arm属于不同的架构。x86属于复杂指令集,而arm属于精简指令集, x86 上的程序根本不可能毫无阻碍地就可以在arm上使用,必须经过适配迁移。 从另外的角度来看,应用选择不同的编程语言,会有不同的跨架构能力。下面分析下主流的c++和java应用在不同架构下的差异表现。
2.3.1 c/c++语言
众所周知,c/c++程序是计算机系统级别最为成功的语言之一。业界存在大量的知名开源软件基于c/c++构建,比如windows/linux操作系统自身,以及使用广泛的分布式存储系统ceph。 在c/c++世界里,从源代码演变成运行中的进程,需要经历编译、汇编、链接、运行等一系列过程。
a) step 1编译
编译是将源代码经过处理,转变成汇编语言的过程。这一过程的关键工具是编译器。有了编译器的存在,现代编程语言(如c++)的源代码一般能做到架构无关,通过不同平台编译器(如gcc)的处理,可以得到不同体系结构下的汇编代码。 举例如下源代码:
在x86平台编译器编译后,得到汇编代码如下:
备注:以上mov、push等均为x86体系架构汇编指令。 在arm平台编译后,得到汇编代码如下:
备注:以上mov,str,ldr均为arm架构汇编指令。 汇编指令的简单对比如下:
仅从常用指令集名称来看,两者比较相似,但实际大相径庭。
举例说明,在arm指令中,mov与add之间需要通过str和ldr两条指令完成数据从内存往寄存器的加载,其原因是arm算术指令只能运行在寄存器,而x86则无此限制。
其他差异本文不再一一分析。
由此可以看出,x86和arm架构的指令集差异很大,对于c++语言来说,编译器帮我们搞定这些差异,但需要从源代码重新编译。
b) step 2 汇编 
汇编是将汇编代码转变成机器代码的过程。以上汇编代码在x86平台下,得到的机器代码如下:
备注:以上为局部截图。 而在arm平台下,得到的机器代码会完全不同。
c) step 3 链接
链接在c++语言特有的处理机制,将os里的链接库与程序进行链接的过程。这一过程的输出物即为可执行程序。最终的运行,对于c++和java来说,通常都有main函数作为程序的运行入口(某些框架会对其进行封装,如java spring框架)。
综合以上,对于c/c++开发的应用程序来说,向arm架构迁移需要完成重新完成编译、汇编、链接的全过程,应用跨架构迁移的难度较大。
2.3.2 java语言
java语言在web应用开发占据绝对的主导地位。java是基于虚拟机的语言,也是所谓提供跨平台运行能力的语言。java应用从源代码到运行,需经历编译、运行两个环节。 **
a) step 1 编译
使用javac命令进行编译,通常得到java字节码文件,以.class后缀命名的文件。
以下面的代码为例。
x86环境编译得到的字节码如下:
备注:以上为局部截图。
arm机器上编译,得到如下字节码:
经比较,会发现两者得到的字节码基本一致。
b) step 2 执行
java体系为x86和arm分别提供了不同的jvm。在运行时,jvm通过类加载器执行以上字节码文件。
备注:实际运行时,jvm会将字节码转换成机器码来运行,这个过程暂且忽略不表。
综合来看,对于java应用来说,x86和arm架构的差异完全由jvm层屏蔽,应用跨架构迁移的难度很小。
上文主要从cpu架构差异、编程语言差异的角度来分析对应用的影响。下面结合中国电子云的实际上云案例来做进一步的阐述。
3、蓝信上云实践
蓝信是中国电子云上运行的重量级应用之一,作为中国电子云“一云一端”的战略组成部分,提供安全可靠的企业消息通讯、视频会议和协同办公能力,在政企市场有着广泛的应用场景。
3.1 蓝信对中国电子云的适配过程
蓝信原生是构建在x86体系架构下的,针对中国电子云底层采用pks架构,需要做整个系统的适配,主要工作体现以下几点:
1)针对体系架构改变的适配
代码级重新编译以适配arm架构,由于目前流行的开发语言早已对arm体系进行过适配(例如,golang,java,c/c++, python等)这部分工作难度不大。
2)数据库的适配
数据库部分,蓝信需要从mysql迁移到达梦数据库,由于达梦数据库对mysql语句的良好支持,只有部分语法存在兼容性问题,仅需在数据层进行适配,业务层并不需要改动,整体适配可在一个月内完成,其中主要成本集中在适配后的全量功能测试上。
3)基础设施及中间件的适配
蓝信依赖的基础设施及中间件也需要适配,例如etcd,k8s,redis,kafka,mongodb等,这部分工作由于大部分基础组件已经有了arm版本,直接使用即可,极个别的组件,需要进行源码级的编译。
4、总结和思考
在当前数字产业大发展的背景下, 对arm架构的关注必然会不断升温,各行业会出现大量应用从x86向amr架构迁移,也催生了大量的应用跨架构适配测试需求。 通过前文的分析,我们可以得出如下结论:
1、x86架构和arm架构的确存在较大差异。两者在指令集、寄存器等方面均有很大的不同,但对于应用系统的移植来说,并非是不可逾越的鸿沟;
2、应用开发采用的不同编程语言,会导致跨架构移植难度绝然不同。c/c++等系统级语言所编写的应用程序,其移植需要经过重新编译、链接、运行等全过程,难度相对较大;而以java为代表的虚拟机语言则具备良好的跨平台移植性;而对于python、javascript等脚本型语言来说,移植难度会更小。从这个角度来看,在云计算环境下开发应用程序,建议优先选择跨架构友好的编程语言。
3、在大型应用系统迁移实践中,需要深入分析系统架构,有针对性的设计迁移方案。
完成跨cpu架构迁移只是一小步,对于应用来说,如何借助云计算实现更好的可部署性、可伸缩性、便捷运维以及高并发带来的性能挑战,值得不断的探索。


配置Python开发环境的DeepStream容器
广和通受邀出席2022年中国5G发展大会,携手中国电信加速赋能万物智联
带你快速了解感应式位置传感器是什么
一种新型数学方法,可遏制AI做出不道德的选择
锂离子电池作业原理及结构分析
基于ARM体系架构构建云服务
中兴裸眼3D新机皇天机7Max,为逆袭而战!
一种门厅灯自动开关电路图分享
性价比超小米,搭配6GB运存+IMX586四摄+大电池20W快充
鸿海大赚?6.67亿美元购夏普三间海外工厂
中国工程院院士最新论文:我国海洋监测仪器&传感器仍在“卡脖子”
一文读懂C51单片机指针变量
Imagination推出面向ADAS和自动驾驶应用的多核IMG Series4 NNA
2008年绿色行动总结
vivoZ3体验 主打高性价比拍照表现算是中规中矩
IBM 硅光子光谱仪问世 可用近红外探测器来探测甲烷浓度
一波未平一波又起 智能锁行业备受打击
PN结的形成
华为mate10什么时候上市?华为mate10最新消息:华为mate10发布时间再次确认,10月初发布售价5000元起
东芝推出了40V N沟道功率MOSFET