发展趋势
引领
生
数
分布
据
式
管
数
理
据
技
库
术
原生分布式数据库正在成为企业核心系统升级首选
2
2
原生
据
分
管
布
理
式
技
数
术
据
发
库
展
引
趋
领
势
内容 变化
原生分布式数据库引领数据管理技术
发展趋势 2
Gartner研究:
如何规划最佳多云和跨云部署数据管理 11
关于OceanBase 17
移动互联网蓬勃发展
根据中国工业和信息化部发布的2021年前三季度通信业经济运行情况的数据显
示,截至2021年9月末,三家基础电信企业的移动电话用户总数达亿户。其
中,5G手机终端连接数达亿户,与2020年末相比净增
亿户。
与此同时,中国5G网络建设步伐加快。截至9月末,移动电话基站总数达
969万个,同比增长%,比上年末净增万个。其中,4G基站总数为
586万个,占比为%;5G基站总数万个,占移动基站总数的12%。
此外,三家基础电信企业发展蜂窝物联网终端用户亿户,比上年末净增
亿户,其中应用于智能制造、智慧交通、智慧公共事业的终端用户占比 分别为
%、%、%,智慧公共事业终端用户同比增长%,增势最为突出。
随着全球移动互联网的快速发展,不仅带来更多的终端数量,与此同时,基于移
动互联网将产生诸如智慧公共事业等更加广泛的智能应用。人工智能类 的非结
构化数据应用(如:人脸识别等),需要强大的数据计算能力。传统 基于小型
机的数据库技术,难以满足存储和计算这些海量数据的要求,亟需新一代的数
据处理技术来破解困局。
移动互联网的蓬勃发展不仅带来丰富的业务种类(如:手机购物、短视频、 移
动社交等),而且明显延长了业务服务时长(用户随时在线、随时使用), 这对
数据库系统的高可用提出了更加迫切的要求。
的介入或影响。如需了解Gartner调研报告的独立性和完整性的详细信息,请参阅其网站上的 “独立性和目标的指导原则” 。
公司或基金可能与Gartner调研报告中涉及的实体有财务利益关系。Gartner的董事会成员可能包括这些公司或基金的高级管理人员。Gartner调研报告是由其调研机构独立完成的,并没有受到这些公司、基金或其管理人员
包含的信息均取自公认的可靠来源。Gartner不对此类信息的准确性、完整性或适当性作出任何保证。并且不对此类信息中的错误、遗漏或不适当承担任何责任,也不对此类信息的任何解读承担任何责任。此处表明的观点
随时可能更改,恕不另行通知。虽然Gartner调研报告可能会讨论相关的法律问题,但Gartner并不提供法律建议或法律服务,不应将其调研报告解释为或用作法律建议或法律服务。Gartner是一家上市公司,其股东拥有的
OceanBase发布了原生分布式数据库引领数据管理技术发展趋势。由蚂蚁集团提供的编辑内容与Gartner的分析结果相互独立。Gartner的所有调研报告的版权均为Gartner, Inc.所有。© 2021 Gartner, Inc.保留所有权利。
所有Gartner资料在本出版物中的使用均已获得授权。使用或者出版Gartner的调研报告并不表示Gartner认可OceanBase的产品和/或策略。未经Gartner事先书面许可,不得以任何形式复制或分发本出版物。本出版物中
Curabitur at nibh
Consectetuer adipiscing elit tortor lacus
nonummy purus
数据量爆发增长,数据挖掘需求增加
随着5G及IOT技术的发展,以人工智能、区块链、云计算、大数据、边缘计算
等代表的新型技术兴起,全球联网设备数呈稳定增长态势,万物互联成为全球
网络未来发展的重要方向。
物联网的发展,将带动面向企业(to B)的产业互联网的发展,进而产生类似指
数级的数据爆炸式增长。
如何存储这些数据?如何挖掘这些数据的价值?成为摆在企业IT管理者面前的
一道难题。
与此同时,移动互联网的蓬勃发展带来了更多的业务种类、更长的服务时间, 这
些都对数据库系统的高可用性提出了更加严峻的挑战。
IT基础架构上云解决算力和存储问题
随着移动互联网的业务发展和数据量的飞速增长,企业的IT基础架构面临
更多挑战。不仅要存储这些海量数据,还要挖掘、计算出这些数据所包含的 知
识和隐藏的价值。
上世纪九十年代,企业的业务种类很少,数据量更少,使用传统数据库产生 报表就
能完成基本的数据处理和分析工作;进入二十一世纪初,互联网等业 务种类开始
增多,数据量逐渐攀升,开始使用数据仓库对数据进行汇聚和 分析;近年来,
随着企业业务与移动互联网的紧密结合,业务量和数据量迅 猛增长,借助云计算
架构解决存储和算力方面的问题成为明智之选。
借助云计算技术,企业的IT基础架构可以弹性伸缩地进行并行计算,在保证安
全性的前提下,提供了更高的可靠性以及更低的价格。
企业数据上云成为趋势
根据Gartner统计,“数据库管理系统(DBMS)市场在2020年出现了%
的强劲增长,主要是由云数据库平台即服务(dbPaaS)增长约50%所驱动。这意
味着在2020年,超过90%的DBMS增长来自dbPaaS。”1 Gartner还预测, “到2022
年,75%的数据库将被部署或迁移到云平台,只有5%的数据库会考 虑本地部
署。”2
云计算好比是发电厂,在供电的发展历史中,最初每个企业自己使用发电机 发电,
不仅要购买柴油等燃料,还要维修发电机、变电站等设备,培养专门 的发电人员等,
成本居高不下。后来,发电厂诞生了,每个企业只需要拉根 电线,就可以按照使用
的电量进行付费,不需要再去购买设备、购买燃料, 更无需考虑运维成本。
在数据计算的市场上,也将面临类似的演变过程。企业不用直接购买服务器等硬
件,就可以直接使用计算资源,并根据其所使用的存储和CPU等资源的量进
行付费。
云计算不仅能够帮助企业降低计算成本,根据需求随意扩展算力,借助专业 人才
保障数据安全,及时更新各种工具软件,而且还能更快获得计算结果。
某电信运营商的数据仓库已经收集了超过600PB容量的数据,自2010年起该运
营商就展开研究和试点,将这些数据逐步迁移到云数据库平台之上。
企业数据上云,无疑是未来IT架构的主要发展趋势。
挑战
目前,在数据处理的过程中,企业正在面临诸多困境:
首先,传统数据库的扩展能力在集群节点数量等方面有很大的局限性,数据量增
长之后如何扩展系统能力是一大难题;其次,数据分布在不同的业务 系统中,
如何打通这些数据进行整合亦是困难重重;此外,传统的数据分析工具价格偏高,
且软件升级不及时,如何选择数据分析工具来提升数据分析能力是大多数企业
必须面对的问题。
传统的数据(仓)库系统已经无法满足当下数据量急速增长的处理要求。 例
如,某运营商曾经购买知名厂商基于小型机的数据仓库产品,单点超过
10PB容量,已经达到了其在全球的传统数据仓库的最大存储容量。虽然该运营
商耗费巨资,但是传统数仓的处理能力并不能保证线性增长,在处理
大量非结构化数据方面,尤其是在深度学习算法的人工智能应用方面更是 无能
为力。
于此可见,传统数据仓库难以满足当下企业数据处理容量不断增长的需求, 同
时,由于这类数据仓库系统建立在小型机的基础之上,成本远高于X86 机器,
不具备性价比方面的优势。
1 Gartner:<市场份额分析:2020年全球数据库管理系统>
2 Gartner:<云数据库管理系统魔力象限> 3
扩展能力不足
数据量增长需要相应的存储和算力支撑,因此对扩展性的要求更高。为了应对可
预知的流量洪峰,企业的数据库系统需要具备扩展后再收缩的能力。
随着业务的不断发展,数据库系统也要不断扩展,及时跟上业务发展的需 要。
前期企业可以采用小成本投入的方式,不必准确预估业务的未来发展 规模。但
后期随着业务的快速发展,势必提出更多数据库设备扩展能力方 面的需求。
例如:二十年前,某电信运营商的业务以2G为主,业务比较单一,数据仓库 容量
仅有10TB,分析形式以报表为主;引入4G后,业务范围扩展了政企对
公业务、视频内容业务、公有云业务、物联网业务等,数据容量已超800PB。该运
营商应用的数据分析技术包括数据挖掘、深度学习算法等,分析内容
覆盖客户、产品、网络等领域的方方面面,因此,对大数据系统提出了迫切 的扩
展性要求。
传统的数据(仓)库系统,需要扩展小型机服务器,不仅成本高昂,系统扩展的
瓶颈也会越发凸显,无法提供与设备和能力对应的扩展曲线。
数据孤岛
受制于传统数据库架构扩展性不足等缺陷,为了满足业务需求,企业往往 需要
采用多套不同类型的数据库,导致业务数据分布在众多业务系统的数 据库中,
彼此割裂,合并困难,形成一座座数据孤岛。
数据孤岛问题,不仅意味着数据管理困难,以及高额的维护成本,还有巨大 的数
据治理成本。在数据孤岛面前,各个业务部门给出的数据定义口径差异巨大,导
致数据分析结果常常大相径庭,因此,企业管理者常常无法得到准 确的数据分
析结果。
某电信运营商构建数据仓库系统的初衷,就是为了整合各个业务系统的数 据,
形成企业级大数据中心,不仅要解决数据不一致的问题,通过数据各个 维度整合
更要发挥数据分析的显著价值。例如:财务系统计算某个宽带产品 的收入,与计
费系统计算该宽带产品的收入情况对不上,根本原因是两者的 定义口径不一致。
数据整合之后,口径统一,计算时段相同,其计算结果就 能达成一致,降低了
企业管理方面的数据困惑。
分析能力欠缺
随着数据量的快速增加,数据分析能力显得越来越重要。对于传统的结构化
数据而言,EXCEL报表足以满足大部分人的使用需求。随着竞争的加剧,数据挖
掘等分析需求显著增长。引入非结构化数据后,会对深度学习等人工智能 算法提
出更高的要求。
这些数据分析需求,都会对系统的算力提出更高要求。数据分析技术从传统 的数
据库,发展到数据仓库,进而发展到原生分布式数据库,数据处理能力 也在逐步
提升!
2021年10月26日,中国信通院发布的《2021-2022中国人工智能计算力发展评估
报告》指出:AI与云的融合是必然趋势,预计到2025年,中国人工智能服务器
公有云的占比将超过50%,预示了数据库云化的发展趋势。
向公有云迁移困难
企业在前期的信息化建设过程中,产生了很多以传统数据库为基础的各类 信息
化系统,涉及多个业务领域。同时,很多企业或多或少地构建了自己的 传统数据
(仓)库系统。这些历史形成的数据库系统,向云数据库迁移将十分困难。
虽然云服务提供数据库服务,但是对于多数企业而言,为了保证产品交付的 一致
性,实现灵活的管理,无法使用通用数据库,只能基于云基础自建云数 据库,导
致投入巨大。
另外,很多企业在向云数据库迁移的过程中,担心被单个云产品绑定,导致 后期
云数据库升级成本过高、工具绑定成本过高等一系列问题。
企业进行数据迁移的成本将十分巨大,不仅涉及到数据模型的重新梳理, 而且
涉及业务合规性、数据安全性、系统兼容性等相关问题。
从技术的角度出发,传统数据库的云迁移路线可以采用“私有云-混合云- 多云”
的实现路径。国内的大型企业前期一般会采用私有云的模式,保障数
据的安全性;中小企业后续会采用混合云(私有云+公有云)提升业务的扩展 能
力,降低系统投资的成本;最终,大部分企业会过渡到多云的环境,从而 降低自
身信息化成本支出,快速适应业务领域的各种变化。
4
从战略发展的角度来看,企业现在就需要提前考虑云服务的迁移规划,而原 生
分布式数据库是目前为止数据库系统理想的目标架构。
某电信运营商,历经近10年时间,才完成主要数据从数据仓库到云分布式数据库
系统的迁移工作,期间涉及数据模型重塑、数据处理流程重建、业务系 统改造、
数据治理体系调整等各类繁杂的工作。
趋势
对企业信息系统底层的基础设施进行“云化”之后,给上层的数据库系统
带来了新的挑战和机遇,只有更好地将底层资源池化、资源解耦的优势发挥 出来,
才能给用户带来高可用、可拓展、弹性计算等方面的优势。
目前的云数据库大多是基于开源软件进行二次开发,企业在遇到相关产品 问题
时,很难获得持续的技术支持,后期的运维成本很高。
市场上比较新的云数据库虽然基于云原生进行存算分离,但仍属于集中式 数据
库“分库分表+中间件”的模式,在向其迁移的过程中会涉及大量的应 用软件修改
工作,而且同样面临着被云数据库厂商绑定的风险。
而原生分布式数据库基于分布式理论设计,在构架之初就假定整个服务需要多个
节点共同配合完成,并假设任意一个节点都不可靠。因此,原生分布式 数据库运
行在多个数据节点之上,可配置多个数据副本,它采用一致性协议 保证了全局事
务的一致性,是适应云环境的新一代数据库产品,为企业核心 系统升级提供了
更好的选择。
从市场反馈来看,原生分布式数据库正在成为企业核心系统升级的首选。
高可用,可扩展
原生分布式数据库继承了云计算的特点,具有多个数据副本,采用了share-
nothing的技术架构,因此具有很好的异地容灾能力。通过配置数据副本的 存储
位置,实现机架级容灾、机房级容灾、以及城市级容灾。针对金融监管
要求的“两地三中心”容灾方案,利用原生分布式数据库的架构优势能够轻 松应对,
并且做到数据无损失。
增加和删除节点是原生分布式数据库的常规操作,只需要一条命令即可对数据
库集群的规模进行修改,满足不同的负载需求。原生分布式数据库支持按需增
加节点,且无数量限制。得益于各个节点的对等性,数据库集群的 读写性能随
节点数量的增加几乎呈线性增长。
多地域,多部署形态
原生分布式数据库可跨地域部署,同一数据库集群的节点分别部署在不同 地域,
每个地域就近访问数据。在提升性能的同时可满足数据的跨地域容灾需求,降
低数据丢失的风险。
作为面向企业级的数据库产品,原生分布式数据库的安装部署不依赖特定的服
务器硬件,既提升了硬件选配的灵活性,又能降低了硬件的选购成本。
此外,原生分布式数据库支持裸金属安装、私有云部署、混合云部署和多云部署。
混合负载
在数据处理的分类中,有面向交易处理的OLTP(On-Line Transaction
Processing)和面向分析处理的OLAP(On-Line Analysis Processing)两种
处理类型。
受制于数据库技术的革新未能跟上大数据分析的发展需要,交易型系统和 分
析型系统走向了两个不同的方向。目前,多数客户使用两套系统分别支撑交易系
统与分析系统,不仅造成了大量的数据冗余,同时增加了系统的复 杂度和运维
难度。原生分布式数据库使得两者的融合成为可能,在同一套 系统中同时支
持两种业务负载成为原生分布式数据库的重要发展方向。
面向混合负载的应用场景,原生分布式构架从以下几个方面入手:
• 大集群可扩展:原生分布式架构可以灵活拓展,动态分配资源,按需扩展集
群的规模。集群的计算资源可以进行动态分布,从而改善整个分布式
数据库系统的负载情况。
• 多样的存储形态:数据管理系统中始终存在数据的“ 行存”与“列存” 之争,即
数据是按照“行”进行存储还是按照“列”进行存储。借助其多数据
副本的特点,可以将一份数据同时进行“ 行存”和“列存”,或者呈行列中间态存
储,后续根据数据操作的特点进行匹配,提升性能。
• 借助向量化执行引擎:向量化执行引擎本质上是一种批处理模型。在高 并
发场景中,可以把大量的请求合并,改为调用批量接口。这种批处理
减少了CPU的中断次数,可以更加合理地利用资源。
• 资源隔离:交易操作的实时性要求往往大于分析操作,分布式数据库利 用
其节点间的资源隔离,以及进程间的资源隔离技术,有效解决了两种
负载的冲突问题。
5
多租户
在互联网和大数据的双重推动下,业务系统变得更加多样和复杂,无论是 种类
还是数量与从前相比都有显著提升,这就需要大量的数据库实例进行支撑。实
例数量的增加意味着管理难度更高,随之而来的是管理成本的 攀升。
“云”时代基础构架的显著特征之一是资源池化,从大的资源池中快速创建 可用服
务,按需扩展和收缩,才能满足灵活的业务需求。资源池化能够降低 所管理的实
体数量,同时增加服务的灵活性。
多租户是数据库池化的有效解决方案。原生分布式数据库能够将一个大的 数
据库集群按逻辑分隔成多个租户,每个租户等同于传统数据库的一个实 例。
集群管理员在创建租户的同时,指定租户能够使用的硬件资源,在运行 过程中可
以对租户使用的资源在线扩展和收缩,达到动态调节的目的。租户间的数据访
问是完全隔离的,对应用程序而言,和使用传统的单实例数据 库并无差别。如
此,多个业务共用一套数据库集群而互不影响,企业只需维 护少量的几个集群就
能满足所有的业务需求,大大降低了管理成本和运维难度。
云时代,多租户特性是大型数据管理系统最重要的能力之一。
透明兼容性
大部分行业经过企业信息化的长期积累与革新,在企业内部积累了大量的 业务系
统。凭借数据库的透明兼容能力,原有业务系统只需进行小幅修改, 甚至无需修
改,就可以运行在目标数据库上。其透明兼容能力主要体现在 以下几个方面:数
据库语法兼容,透明的分布式能力,以及透明的扩缩容 能力。
传统的企业级数据库产品提供了强大的能力,协助开发者更加便捷地构建 应用
程序,但同时也导致应用设计过度依赖数据库功能的问题。应用程序 若要适配
新的数据库产品,必须对应用代码进行大量修改,将原数据库语 法转换成新语
法。作为新一代数据库,原生分布式数据库尽可能兼容当下
流行的数据库产品的语法和功能,包括其扩展编程能力,比如Oracle提供 存储过
程,触发器,OCI,Pro*C等功能,MySQL也提供过程语言。有了强大的数据
库兼容能力,既有应用系统的数据库代码无需要修改就能轻松适配。
原生分布式数据库的每个节点都提供一致的读写能力,节点数量没有上限, 整个
数据库集群对外提供统一的服务,应用系统不用关注其内部结构,也无 需进行分
布式改造,和使用传统数据库并无区别。由于原生分布式数据库 屏蔽了分布式的
复杂结构,能够实现透明的扩缩容能力,因此使应用不受 影响。
具备数据库语法兼容、透明分布式和透明扩缩容能力的原生分布式数据库, 把
复杂结构留在了数据库内部,为应用提供了极大的便利。
6
7
案例
案例1-中国工商银行股份有限公司
2020年9月,中国工商银行的重要业务系统——对公( 法人)理财系统完成从
大型主机到分布式架构改造,顺畅运行在企业级原生分布式数据库
以来第一次基于混合云模式构建核心保险业务系统。中华财险后续还将在 农险、
理赔等多个业务上线 OceanBase。
借助蚂蚁集团分布式架构SOFAStack + mPaaS + OceanBase的保险
OceanBase之上。对公(法人)理财系统是工商银行的重要业务系统,支撑着
企业客户万亿级资产,此前一直运行在大型主机的架构之上。
OceanBase为工商银行搭建了横跨“两地三中心”的分布式集群,以“五副本+主备
模式”提升系统的高可用水平,为业务连续性提供强力保障,并且
业务整体解决方案,中华财险全面提升IT 基础设施支撑能力,并实现
RPO(Recovery Point Objective,复原点目标)=0,RTO(Recovery Time
Objective,复原时间目标)<30秒的机房级别容灾能力。
在迁移过程中,依托OceanBase的OM(OceanBaseMigration Service,
在保证系统性能和稳定性的前提下有效降低了投入成本。
案例2-中华联合财产保险股份有限公司
2021年初,中华财险车险系统在全国27个省市区上线国产原生分布式数据库
OceanBase。此次系统转型升级,涉及交易、运营和后台等多个方面,涉 及7个险
种、100多个业务系统(包括25个核心业务)的重构,是保险行业有史
图1:
“两地三中心”架构
OceanBase迁移服务)数据迁移服务,中华财险业务系统的SQL程序几乎
无需改造,在保证“服务不停,数据不丢”的同时,最大化地降低了数据迁 移的时间
和成本,提升运行效率。其OMS迁移服务原理如下图所示。
资料来源:OceanBase
中华财险系统架构
资料来源:OceanBase
案例3-中国移动通信集团山东有限公司
中国移动山东分公司是OceanBase的重要应用客户之一,是第一个在核心计费
系统中全部使用国内企业级数据库解决方案的运营商,其基于
OceanBase原生分布式数据库的核心计费业务系统已于2021年5月正式上线,
是蚂蚁集团自研数据库在非金融领域的重要合作伙伴。
以OceanBase为代表的新一代原生分布式数据库无单点瓶颈,可线性、在线扩展
和收缩,可以更好地解决业务扩展性难题。
从主要项目的业务指标来看,自该系统上线后,山东移动计费系统处理效率
明显提升,详单处理时长从7分钟缩短至5分钟,处理效率提升了30%;数据由
原有的7T压缩为,不仅降低了存储投入成本,整体硬件和维保成本也大幅
下降。通过在三个不同的物理数据中心分布式部署OceanBase的服务
节点,组成了一个跨越多数据中心的分布式数据库集群,实现RPO=0的机房级容
灾,从而具备了任一机房损毁而数据不丢失、数据库服务不间断的原生 容灾能力。
从实施效果来看,OceanBase基于Paxos协议和分区等技术整合多套分散系统,
对多机房部署实现高可用和容灾,因此业务迁移后不再需要搭建灾备
系统。通过OceanBase性能无损的数据高压缩比,分区、读写分离、LSM等
技术提升了OLTP事务效率;通过高兼容性和OMS迁移服务,保障了多个核心业
务系统的平滑迁移,核心数据库源系统数据类型、对象、存储过程只需经
过少量修改便能达成应用适配,仅在1小时内便完成了从原有数据库系统到
OceanBase原生分布式数据库系统的切换,真正实现了一站式数据库无损切割。
为进一步节约成本,OceanBase数据库使用普通PC服务器替代线下小型机
+集中式存储等传统架构,相比原有的架构帮助山东移动大幅降低了硬件 成本。
8
9
山东移动系统架构
资料来源:OceanBase
OceanBase简介
OceanBase 100%自主研发,连续8年稳定支撑双11,创新推出“三地五中心”
城市级容灾新标准,是全球唯一在TPC-C和TPC-H测试上都刷新世界纪录的国
产原生分布式数据库,具备高可用、高扩展、高兼容、易管理、部署灵活、
高性价比等特点,已助力400余家行业客户实现核心系统升级。OceanBase 数据
库可应用于关系国计民生的金融、政府、电信和能源等主要行业的核心 业务系
统。
2020年10月2日,据权威机构国际事务处理性能委员会(TPC,Transaction
Processing Performance Council)官网披露,中国蚂蚁集团自主研发的原生分
布式关系数据库OceanBase,在被誉为“数据库领域世界杯”的TPC-C 基准测试中,
打破了由美国公司Oracle(甲骨文)保持了9年之久的世界纪录,
2021 年 6 月1 日消息,蚂蚁集团100% 自 主 研 发 的 原 生 分 布 式 数 据 库
OceanBase正式对外宣布开源,并成立OceanBase开源社区,社区官网
同步上线,300万行核心代码向社区开放。开源是基础软件走向成熟和通用 的最
佳途径,同时也将创造更开放、更有活力的基础软件开发环境和人才
培养环境,实现企业和开发人员的双赢。自创立至今,经过十一年的技术沉 淀和打
磨,蚂蚁集团通过开源打造了一款大家都可以用的分布式数据库, 从而普惠更
多的企业和个人开发者。
从企业应用角度出发,OceanBase的五大典型特点值得特别关注:
• 作为新一代原生分布式数据库,较传统数据库产品更具“跨代”优势; 具有可
靠性 安全性 一致性等显著特点:提供跨域多个副本,借助
成为首个登顶该榜单的中国数据库产品。 • / / Paxos
协议保证了事务的一致性,实现跨地域无损容灾,并在银行和电信等行业拥
有部署案例;通过开源其源代码,降低了客户的安全疑虑。
10
• 具有OLTP与OLAP融合的数据库优势:通过大集群、高并发、向量化、资源 隔离
等技术,提供混合负载解决方案。
• 支持多租户构架:可将当前多个数据库实例,并入一套数据库集群的多个租户
中,降低管理难度。
• 透明高兼容:提供Oracle和MySQL两种兼容模式;应用无需进行分布式改
造;集群能够在线扩缩容,不影响业务应用。
在人工智能等技术突飞猛进、数据量飞速增长的大背景下,原生分布式数据
库是未来数据处理的发展趋势,而OceanBase为企业级客户提供了这样一种经
过行业市场实践验证的产品。目前,越来越多的企业选择OceanBase 作为核心
系统升级的首选。
资料来源:OceanBbase
许多公司越来越多地使用多个云服务提供商,
因此不应再将云基础设施选择作为事后补救措施。
数据和分析领导者可利用本调研报告规划 多云和
跨云部署,确保云资源得到最佳利用。
概述
主要发现
• Gartner最近的一项调查显示,在使用公有云的
受访者中,76%使用了多个云服务提供商
(CSP)。
• 通过使用可能不符合公司主要云战略的其他厂
商,通常即会系统性地出现多云架构。
• 在云端监控使用情况和成本可能很困难,当使
用多个CSP时,此类挑战会进一步加剧。
• CSP产品的生态系统成熟度各有不同,需要类
似于本地平台的集成工作。在多云和跨云场景
中使用时,还需考虑网络延迟、数据传输问题和
性价比优化的复杂性。
• 独立软件厂商(ISV)通常可提供云不可知解决
方案,这对独立的CSP服务构成了挑战。
建议
对于计划使用多个CSP的数据和分析领导者:
• 谨慎部署多云和跨云架构。不要限制多云的
使用。制定云使用和部署政策,以防止使用非
战略性云产品和出现不受控制的支出。
• 使用云监控和优化工具(用于预算制定、资源分
配和延迟控制)追踪不同云的使用情况,
以避免不受控制的支出,并确定可能需要对其
采取补救措施的架构痛点。
• 根据用例的具体优化需求,选择您的跨云或多
云部署层。这通常需要在优化与灵活性之间进
行权衡。
• 如果您正在考虑跨多个云主动集成数据,可以
评估一下ISV产品,这些产品扩展了CSP本身所提
供产品的广度和范围。在评估中,不要忽视新兴
跨云CSP的能力。
战略规划设想
到2023年,对数据管理的云偏好将减少厂商的规模,
而多云的增长将增加数据治理和集成的复杂性。
到2023年,云数据库管理系统(DBMS)的收入将
占DBMS市场总收入的50%。
到2025年,50%的独立DBMS厂商将停止运营, 致
使客户调整战略并迁移回其战略性DBMS供应商。
图1:
多云与跨云
前言
多云和跨云数据管理部署很普遍:Gartner于最近的
2020年7月和8月开展的云部署调查发现, 在企业机
构使用公有云的受访者中,76%表示其
公司正在使用多个CSP。1使用多个云部署选项会在
性价比优化、资源分配、数据治理、元数据管理和
数据集成方面面临挑战。
区分“多云”和“跨云”的概念很重要,前者是指使用多
个云环境,后者涉及主动在各个云之间开展数据管
理、实时数据访问、元数据访问和数据
传输(见图1)。有关云部署场景的进一步说明和
完整分类,请参见注释1以及了解云数据管理架构:
混合云、多云和跨云。
随着公司使用的云服务提供商数量增加,管理这 些提
供商的复杂性也随之增加。这可能会带来负 面影响,
例如与数据延迟有关的性能问题、计划外成本超支或
数据输出费用,以及数据集成难度。公司如何克服
这些挑战?
11
Gartner研究:
跨云部署
最佳多
理
和
我们建议采取以下三点对策:
• 制定深思熟虑的云部署战略
• 追踪所有云提供商的使用情况(包括支出)
• 同时考虑以CSP为中心和以ISV为中心的方法
分析
精心规划您的云架构
与采用“统一战略”进行部署的理念不同,多云和跨云
架构正在系统性地逐渐成形,而这种现象越
来越常见。根据Gartner最近的一项云部署调查
显示,63%的公司会使用由一个主要CSP提供的服务,
同时也会使用其他云提供商提供的服务;
13%的公司会使用多个提供商提供的服务并且没有
主要提供商。调查结果得出,76%的公司会使用多
个云提供商提供的服务(见图2)。
图2:
多云基础设施的使用情况
虽然许多公司采用单一云提供商的战略,但鉴于以
下因素,这些公司几乎不可能严格遵循这一战略:
• 许多公司都在使用SaaS产品,并借此创造了另
一个具有独立云基础设施和数据持久层的封
闭式云环境。
• 云服务易于部署,可由业务部门而非集中的IT
部门加以实施,我们通常将这种部门称为“影
子IT”。
• 随着并购活动的发生,公司会继承现有的基础设
施,从而导致不经意间使用多个云。
• 其他CSP的单点解决方案通常具有特定的优
势或功能。
• 公司可能会决定使用一个由CSP提供的开发
或可视化工具,而数据则来源于或驻留在另一
个CSP中。
随着公司的任意部门开始使用次级CSP后,多云环
境便会应运而生。这些公司可能还需要处理跨
云数据管理问题,同时还存在一些关于跨云数据集
成需求的具体问题。这些问题包括性能和延迟、数
据治理(包括安全、加密和数据主权)以及财务治
理问题。在跨云环境中,不仅财务治理更具挑战性,
而且肯定会产生数据传输费用。
跨云数据管理尚处于起步阶段,但随着众多公司 发
现自己身处多云环境,并根据具体情况寻求方法统一
环境时,跨云数据管理可能会变得愈发普遍。
WeLab即是出于监管方面的考虑而使用跨云的一
个早期例子,这是中国香港的一家数字银行,
其使用Temenos Transact和NuoDB在亚马逊云
科技和Google Cloud平台上部署了核心银行业务解
决方案。
2
关于跨云数据管理普及程度究竟会发展到
哪个阶段,目前尚不明确。
数据和分析领导者必须接受这一新现实,并制定 政
策以降低风险和复杂性。对于大多数公司而言,
问题在于何时使用多个CSP,而非是否使用。尽管存
在这些难题,但多云数据管理可确保可靠性、
成本效益和地理定位,并可降低因厂商锁定而产生
的风险。
当效益大于复杂度时,公司便应采用多云部署。务
必要注意,多云并不应是单独存在的战略,而 应该
成为公司整体云战略的一部分。如果您公司
的主要CSP不支持您所需的数据管理功能,您可
以使用次级CSP提供的服务,并考虑使用ISV,管
理不同CSP之间的工作负载。如果使用次级CSP 提
供的服务所带来的效益不明朗,领导者应注意优
先使用主要CSP。默认情况下,任何新计划都应
12
使用主要CSP提供的服务。如果使用非主要CSP
提供的服务,您应在自己的预算范围内采取这些计
划,并自行承担风险,而且可能得不到公司的全面
支持。领导者应该宣传这种做法。
对数据和分析领导者的建议:
• 不要限制多云的使用。恰恰相反,应根据云使用
和部署情况制定政策,确保经过深思熟虑后再
做选择。
• 遵循首选的主要云提供商战略,并要求提供使
用非战略性云资产的合理依据。设置新项目的
默认标准,确保使用主要云提供商。
使用工具追踪不同云的使用情况
数据源和应用在不同云提供商之间分布得越多, 对
监控的需求就越大。数据和分析领导者应追踪 数据
在数量和方向上的流动情况,因为这会影响 延迟时
间和性能。如果不积极主动地监控公司云 资源的使
用情况,则很容易造成超支。将先前在 本地运行的
工作负载改为在云中运行后,可能会 导致成本激增。
云服务的成本模型与本地服务的 不同,前者将进一
步加强了对强有力监控的需求。
随着更多的云提供商参与进来,各个云的复杂性迅
速增加,而可见性则急剧下降。了解如何使用多个
云提供商提供的服务非常重要,一些工具可帮助您
直观地感受这些云的性能和成本。相关云
监控和优化示例工具包括:Apptio Cloudability、
此外,数据流与业务流程、数据创建速度、数据的
使用 /重复使用方式,甚至地理区域都有内在联系。
监控不同云的使用情况有可能会发现效率低
下的问题,您应该循序渐进地修复这些问题。这也
是关注元数据的好机会,因为其可助您深入了解数
据资产之间的关系以及数据在整个公司中的使用情
况。
对数据和分析领导者的建议:
• 制定有关追踪多个云的支出和使用情况的政
策。此举将有助于了解云资源的使用情况、不
受控制的支出情况以及非战略性云产品的使用
情况。
• 实施监控工具以管理多个云的资源消耗情况,
减少成本超支。
• 使用单一管理平台监控工具,确保遵循数据治
理和安全政策。
使用CSP产品作为您的数据管理平台
CSP基础设施及在其上运行的服务是全新的数据 管
理平台。这些平台由以下部分组成:
• 支持基础设施即服务(IaaS)计划的一般基础
设施。
• 公共服务层,例如可用于实施数据管理的云
对象存储,管理对象则为诸如平台即服务
CSP侧重于在原生CSP环境中管理数据,但其近期
在推动更多地纳入本地基础设施,并对将数据管
理功能扩展到其他云的兴趣与日俱增。基于容器
的方法均采用混合云和多云方法,例如Amazon
EKS Anywhere 、Microsoft Azure Arc 、Google
Cloud Anthos和IBM Cloud Pak for Data,使企
业机构能够将本地数据连接到其CSP,并管理本地
或其他云中的数据基础设施,甚至可以访问其他云
中的数据。
借助这些服务,公司能够在同一地方管理其所有数
据,包括常见的安全和治理政策、监控、弹性
伸缩和现代化的持续集成/持续交付(CI/CD)工
作流。CSP提供的云服务可扩展到本地环境中,
从而打造统一的现代数据管理平台,而无需再管
理单独的本地环境和云环境。通常由数据集成厂商
提供的数据虚拟化工具是公司实现跨云架构访问、
集成和共享数据的另一种方式。
此外,许多CSP也在以云数据生态系统的形式
提供更加统一的数据管理体验。这些举措旨
在统一大多数CSP提供的众多单点解决方案,
将“ 需自行组装”体验转变为统一的单一产品
体验。云数据生态系统的早期相关示例包括:
Microsoft Azure Synapse Analytics 、IBM Cloud
Pak for Data、Oracle Cloud Infrastructure 的
Autonomous Database 和 Google Cloud
Dataple。
当集成位于多个云中的数据管理环境时,集成的客
户端终结点将归入数据管理堆栈内的三个组件
Datadog、Densify、Novetta CloudTracker和
VMware CloudHealth。数据洞察示例工具包括:
Unravel和Acceldata。理想情况下,您需要监控不
同云的支出和使用情况。
(PaaS)的跨云服务。
• 为满足特定需求而设计的原生CSP孤立点解
决方案,例如数据库平台即服务(dbPaaS)。
• 在云基础设施上运行的第三方ISV单点解决
方案。
中(见图3)
13
14
在数据管理堆栈中,这些层分别为:
• 对象存储层 — 这是最为大众所了解的与数据
相关的层 每个云中的每项数据服务都可对本
地云对象存储作读写数据操作,无论其为原生
CSP产品还是第三方ISV产品:
• 如果数据能在这一层有效地分布,则几乎可
以根据用例选择任意云服务以交付此类
数据。因此,使用云对象存储可极大地提高
灵活性。
• 理想情况下,这些解决方案应能够管理复制
哪些数据以及复制到何处,并通过仅移
动已更改的数据执行优化措施,以避免不必
要的输出成本。
• 相 关 示 例 厂 商 包 括 : Equalum 、HPE
Ezmeral和WANdisco。
• DBMS层 — 利用分布式DBMS(可创建分
布在云间的逻辑集群)提供额外的优化。然而,
由于使用单一厂商可能无法处理所有用例,
因此该层缺少灵活性。DBMS层包含可跨多个
云,按地理位置不同实施分布式集群的数据管
理平台:
• 由于实体数据中心之间的距离,对于跨多
个云的数据,在DBMS层执行跨云数据管理
的主要问题可能是延迟和一致性问题。
不过,这些架构可同时支持局部读/写功能与
全局读取功能,并强制执行数据主权政策。
• 相 关 示 例 厂 商 包 括 : Apache Cassandra/
DataStax 、CockroachDB 、 MongoDB 、
NuoDB和YugabyteDB。
• 应用层 — 包括跨云查询数据或访问数据所需
的组件:
• 在应用层执行跨云数据管理的最大问题可能
是数据延迟和性能问题。由于此原因,
针对此层,大部分情况下会在此部署某种缓
存层。对于这种方法最准确的描述为将数据
集成推迟至用户使用时。
• 这 方面的 示 例 包 括数 据 虚拟化 工具
(如Denodo)或商业智能查询引擎( 如
Microsoft Power BI)。而另一个示例便
是SAP,其业务流程分布在不同的云中并通
过应用实施互操作 。例如,在中国,
其供应链在阿里云上运行,在北美则是在亚
马逊云科技(AWS)上运行。
对数据和分析领导者的建议:
• 考 虑 使 用 CSP提供的服务,如Microsoft Azure
Arc 、Google Cloud Anthos 、IBM Cloud Pak
for Data和Amazon AWS Outposts,促进公
司以现代化方式管理本地基础设施。
图3:
跨云部署选项
• 选择跨云部署层时,在优化与灵活性之间进行权
衡,并考虑个别用例的具体需求。将云对象
存储扩展到多个云作为默认跨云部署层的解决方
案,可提供最大程度的灵活性。使用应用或
DBMS层可能更适合于满足特定的需求。
• 不要低估运行多个云环境带来的额外复杂性。
可能需要使用不同的功能和工具多次实施同 一
组策略。
使用ISV提供的云不可知解决方案,
但能认识到其正面临CSP的挑战
与历来一直关注管理CSP原生数据的CSP不同,
ISV侧重于云不可知解决方案。ISV将CSP视为目标 或
数据源,并且大多数ISV可成功支持多种平台。
这些ISV方法目前正面临着来自原生CSP产品的中
期挑战。ISV需要突出其现有的差异化,以保持现
有的竞争优势。这种差异化集中体现在两个主要方
面:
• 多云的可移植性前景(以及在跨云环境运行架
构的可能性)。
• 可能比原生CSP产品更为成熟的差异化核心
产品。
DevOps变革简化了公司部署软件的方式。容器和
Kubernetes正引领将可移植性标准化的进程,
许多ISV正在这些基础设施上构建其云可移植解
决方案。大多数情况下,我们可能高估了云可移
植性的前景。从一个CSP迁移到另一个CSP的影响
要比云不可知厂商能够提供的单一组件所产生
的影响要大得多。如果多云可移植性战略能够提供
比本原生CSP产品更重要的商业价值,则使用ISV
提供的服务较为合理。
随着原生CSP产品日趋成熟,对ISV而言,保持差 异
化的核心产品将变得越来越困难。CSP能够利用
与底层基础设施紧密集成的优势,而ISV产品则不
具备这一特点。ISV可 能 难 以 支 持 不 断 变 化 的
CSP平台,这需要大量的开发工作并精心制定战
略。虽然CSP对 ISV构成巨大的挑战,但ISV目前
可在各种领域提供更为成熟的数据管理解决方案,
包括数据集成、主数据管理和元数据管理。
可在数 据集 成方面作为示例ISV 的包括:
Informatica Cloud和Talend Data Fabric,这些
ISV可替代AWS Glue和Microsoft Azure数据工厂
等CSP产品。又如,Collibra和Alation等元数据管
理ISV可与AWS Glue和Microsoft Azure Purview
等CSP解决方案展开竞争。在近期和中期,由于这
些ISV 单点解决方案比CSP产品更为成熟,其将继
续发挥重要作用。
CSP也开始部署多云和跨云战略,此举将减少对
ISV的需求。例如,Google BigQuery Omni可以在
AWS或Azure中部署容器化计算,查询第三方CSP
对象存储中驻留的数据,并通过在Google Cloud
平台中运行的BigQuery返回这些结果。
Microsoft Azure Purview是多云数据治理和元数
据工具的另一个示例。很明显,CSP正在挑战
ISV在多云/跨云市场上的地位。尽管CSP希望所 有
数据都位于其云中且永远不会再迁移,但如果
情况并非如此,CSP亦希望在管理数据方面发挥积
极作用。
对数据和分析领导者的建议:
• 如果ISV产品提供的功能或范围超出原生CSP 产
品的功能或范围,或者多云/跨云需求非常重要,
则应使用ISV产品。
• 在使用结合ISV和CSP产品的半CSP原生生态
系统时,需要为更复杂的集成做好规划。这
必然会增加集成、治理和财务治理的复杂性及
支出。
依据
1 Gartner开展的“ 2020年云终端用户购买行为
研究”旨在了解技术领导者如何处理购买、续订
和使用云技术的相关问题。这项调查于2020年 7
月和8月通过网络在线开展,受访者来自美国、加拿
大、英国、德国、澳大利亚和印度。共有850
名受访者参与了此项研究,其中724名受访者表示
其公司正在使用公有云、混合云或多云基础设
施。在这724名受访者中,24%表示只使用一个
提供商提供的服务;13%使用多个提供商提供的
服务且没有主要提供商;63%则使用多个提供
商提供的服务并拥有一个主要CSP。这项研究由
Gartner基础研究团队主导。此研究结果并不代表
全球调查结果,也不代表整个市场,而是本调查所
涉及目标国家的简单平均结果
2 NuoDB:WeLab利用多云功能获得优势,您也可
以做到!Temenos。
主要术语缩写词汇
CSP
云服务提供商
ISV
独立软件厂商
15
16
注释1:混合云、多云和跨云分类
市场上有关这些术语的定义和含义并不明确。厂商
通常会将其产品称为“多云”产品,即指这些
• 多云 — 一种服务或产品,在多个云服务提供
商基础设施上运行,也可以在本地运行。在图4
中的标记为“3”。
同样,“特定于用例的多云”是指在一个云中部署开
发环境,在另一个云中部署生产环境。
您无法使用“ 特定于用例的跨云”,因为在特定
产品可在多个云上运行。Gartner接受这一定义,
但我们认为这种说法并不完整。以下是我们所使用
的定义:
• 混合云 — 指可跨越本地和云环境实施部署,
可以进一步细分为以下两种情况:
• 跨混合云的架构 — 跨越本地和云环境的
单一逻辑部署组件。在图4中的标记为“1”。
• 特定于用例的混合云 — 其中不同的组件
按照其开发生命周期的功能(例如,开发、
测试、生产)进行细分。在图4中的标记为
“2”。
• 跨云 — 数据作为逻辑应用部署的一部分在
云服务提供商之间集成或交换。在图4中的标记
为“4”。
这些定义也可以结合使用。例如,“跨云架构”是指
单一应用的逻辑部署,其中的组件部署多个云上,
并定期在云间交换数据。
于用例的场景中,数据不会在不同环境之间主动交
换。
资料来源:Gartner研究简报G00750997,Nina Showell、
Adam Ronthal,2022年8月6日
图4:
混合云部署的四种核心场景
17
OceanBase由蚂蚁集团自主研发,创新推出了“跨三大地区的五项IDC”灾难恢复标准。OceanBase 是全球
唯一一个在TPC-C和TPC-H基准测试中均打破世界记录的本原生分布式数据库。OceanBase 具有高可用、
高可扩展、高兼容、易管理、部署灵活、高性价比等特点,已助力400余家行业客户实现 核心系统升级,并
连续8年稳定支撑双11全球购物节提供稳定支持。
关于OceanBase