打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
先不听BAT高谈阔论只看企业实际应用:数据中心架构如何演进?

互联网崇尚分享,互联网公司的大牛们也乐于与业内的同行在各种大型会议、小型沙龙上分享技术心得、切磋实战经验,这一浪潮的兴起,在短时间内对中国互联网及IT开发、运维领域的整体水平的进步,起到了不可忽视的重要作用。

但令人意外的是,最近两年,来自百度、阿里巴巴、腾讯“BAT”三驾马车的“大牛分享”,却不像前几年那么火热了,虽然他们的每场演讲仍然听者众多,但听众们的兴趣显然不在于演讲的技术细节或是实践经验,台下听众到来的目的更多的是来“悟道”的,即学习“BAT”的技术思想、团队管理和对技术未来的把握(又称“押注”),或者,他们干脆就是带着问题,一心等着演讲后的技术问答。

与之相比,像是去哪儿、蘑菇街、今日头条、58到家甚至是“B站”Bilibili的讲师们却得到了现场听众更为热烈的追捧:他们需要在演讲时面对不断涌进来的听众和不小心的撞门声,还有台下听众不断举起来拍照的手机——就像是明星演唱会一样,只是闪光灯没有常亮罢了。

为什么会出现这样的情景?为什么位列中国互联网一线的BAT的大牛们,开始当起了技术答疑,其分享的内容却越来越被大家当做“参考资料”而已?为什么二线、三线或是某些垂直互联网公司、科技公司的技术总监、高级专家的演讲,成为了行业会议上的新宠?

原因很简单,就是两个字:规模。

规模决定不了一切 但会决定“你我他的不同”

2017年3月21日,共享单车平台ofo宣布日订单量超过1000万单,成为继淘宝、滴滴和美团之后第四个日订单量超过千万的在线交易平台,成为互联网行业的新贵,与此类似,百度、阿里巴巴、腾讯的业务服务单量(不一定是交易量或订单)都处在行业一线的位置,这些互联网公司,在规模上远远超过后面的二线、三线公司。

一线互联网公司的规模,决定了他们的技术路线图与其他公司不同:百度、阿里巴巴、腾讯等一线科技公司已经迈过了商业解决方案和自主研发的成本曲线,甚至在越过两者临界点的那一刻,不只是自主研发才更符合他们的技术需求,他们所考虑的技术问题、身处的技术实践和考虑问题的技术思路,都已经与之前完全不同,换句话说:如果你和BAT不在一个量级上,你们的世界已经完全不同了。

“BAT的技术大牛们分享的内容很好,技术很棒,但是他们实践的是每秒百万量级的交易指令,上PB的大数据集合,这当然很酷,但对于我们来说,我们更希望得到的是与我们类似在同等或者更大些规模的技术专家们的分享,他们可能刚刚好走过我们正在走的路,而BAT们已经走得太远了。”一位业内大会的忠实听众曾在微信朋友圈发表过如上感慨。

所以,没有最好的架构,只有最合适的架构。

但对于很多企业用户来说,数据中心又到了不得不变革、不得不演进的十字路口,越来越多的企业发现,随着互联网、物联网、移动互联网、大数据和人工智能等技术对企业业务的渗透,企业所展现、所比拼的能力,越来越多的融入了上述这些技术的因素,它们或是可以降低成本,或是可以提高产能,或是改善了服务质量,又或者干脆成为了企业的业务和服务本身——数据中心正从数据和服务的支持中心,逐渐成为企业服务和业务的有机组成部分。

在这样的情况下,对于很多正在数据中心架构变革十字路口徘徊不前的企业用户来说,当下就必须作出决定,但这决定却不是那么好做的:第一,很多企业用户对数据中心的理解力、前瞻性亟待提高,技术水平也有限;第二,BAT以前走过的路仍然具有参考价值,但如今攀上技术高峰的BAT却已经很少分享那些“久远的往事”;第三,原本的技术合作伙伴要么凭借“一招鲜”叫价高昂,要么已经被时代所抛弃,少有的一些与时俱进的,却也与自己处于同一起跑线上。

于是,找准数据中心变革和演进的方向,并寻求在这一个方向上“比自己领先几步,却不止于曲高和寡”的合作伙伴,是那些站在十字路口的企业用户的唯一选择。

数据中心架构演进的三个方向:一体机、分布式和超融合

做任何事情想要成功,找准方向都是第一位的,正如那幅人尽皆知的“给房间涂满油漆,却被逼到远离门口的墙角”的图片所展示的,找错了方向,“努力越大,错误越大”,就更不用提什么数据中心架构的演进了。

传统数据中心所承载的企业级业务,随着物联网、智能设备、移动互联网、大数据甚至是人工智能等第三平台技术对其的影响、渗透和结合,正在发生显著的变化,企业级业务应用需要更加具有弹性、规模更大的数据中心资源池,需要更快的支持新兴业务应用的上线(以及下线),同时,每个业务在(弹性)获取资源时,需求的资源伸缩规模也在不断扩大。

与此同时,数据中心的管理者们发现,原本通用的办法正逐渐难以起到与投入成正比的效益,使用同一类型、传统架构、未经特定优化的工业标准服务器支撑不同类型业务应用、满足不同需求的时代一去不复返了,他们需要更加针对特性业务应用优化、加速以及整合(软硬件层面的双层集中)的业务支撑平台(仅仅是在处理器上,如今就已经呈现x86 CPU、FPGA、GPU、ASIC等多种不同的解决方案,它们的出现无一例外是为了特定业务应用而优化/加速)。

除此以外,当数据中心内的设备开始呈现百花齐放之时,他们也同时意识到,数据中心的自动化管理、运维正变得越来越难——因此,当上述这些因素集合在一起,我们不难给出六个字的数据中心架构演变的方向:简化、优化、弹性,即简化数据中心架构(以此提升数据中心效率和管理水平),为特定应用而优化(从而为核心业务应用提供更好的性能和加速表现),针对不断业务的变化提供弹性(的计算资源,满足快速上/下线或突发峰值的需求)。

在简化、优化、弹性这三个数据中心架构的发展方向下,传统的FC SAN存储、机架/塔式/刀片服务器以及复杂的传统数据中心架构已经不再能够满足需求,因此,近年来,满足简化、优化和弹性的(集成)一体机、分布式存储和超融合基础设施快速在市场上掀起了一股热潮,并由此帮助传统数据中心转向云数据中心时代的新一代架构。

(集成)一体机:自Oracle推出数据库一体机Exadata之后,(集成)一体机的概念就逐渐深入人心,虽然IBM、HP(如今的HPE)等业界巨头认为这种产品“完全就是以前封闭的商业化小型机系统(比如说IBM的IBM AS/400)的还魂”,但是显然Oracle赋予了一体机更多的内涵:计算、存储、网络、闪存加速技术以及Oracle数据库的软硬件整合及调优,加上一体化的部署交付,让(集成)一体机迅速成为市场上的新宠,而当初嘲讽Oracle的IBM、HP,乃至戴尔、EMC、思科都在这方面开始进行投入,并形成了一个全新的市场。

分布式存储:分布式存储的兴起与互联网用户的数据中心分布式架构思想有直接的关系,通过使用更为廉价的、标准化的配件(工业标准服务器),以及由小及大的按需扩展的架构,分布式存储可以更进一步降低企业的数据存储成本和管理压力,相对于昂贵的、复杂的FC SAN,分布式存储更经济、弹性更好、上手更容易。当然,分布式存储也存在着一些问题,比如说虽然减少了单点故障,将单点故障的风险平摊到尽可能多的标准化节点上,但数据一致性、资源池化、节点利用率等需要被进一步优化,这也是各家供应商当前竞争的热点。

超融合基础设施:超融合所兴起的数据中心架构的大讨论正在进行中,虽然这一架构还需要时间去磨练(即使是超融合领域的领导者Nutanix也不过仅仅成立8年的时间),但大家都对超融合的未来表示看好,这种将服务器、存储整合在单一数据中心标准化搭建模块(brick,砖块)的架构,让数据中心更加标准化,具备极好的弹性,并且可以为特定的应用程序而优化。企业用户选择超融合供应商的现状是非常严峻的:市场上宣称自己是超融合供应商的公司至少有20~30家之多,架构上看起来差异并不大,但是否能够真正做到简化、优化和弹性扩展,就需要擦亮眼睛了。

(集成)一体机、分布式存储、超融合基础设施正在合力将数据中心推向一个“硬件资源数据中心内共享、数据中心任意扩容、资源完全动态调整、海量数据处理为特征”的云数据中心时代,形成:(集成)一体机为核心、特定业务应用而优化、加速;分布式存储实现数据存储资源最大化弹性扩展和按需共享;超融合基础设施满足对数据中心任意、按需扩展需求等互相交叉、各具使命、相互补充的态势。

那么,这三大数据中心的热门架构,又是如何撑起未来五年企业云需求的呢?

现在,让我们看看由此成形的三大数据中心基础设施:(集成)一体机、分布式存储、超融合基础设施,到底是怎样满足苛刻的数据中心管理者们的需求的。

一体机为数据库提供最佳平台

(集成)一体机是典型“软硬件紧耦合”系统,它通常被关注的重点是硬件和软件的紧密集成——比如说Oracle Exadata中Oracle将x86工业标准服务器与Oracle数据库的一体化(预)集成)——这帮助(集成)一体机能够极大的简化数据中心的部署。

以数据库系统的交付来说,传统的企业级数据库的交付包括了服务器(小型机或x86服务器)、FC SAN交换机(或以太网交换机)、存储阵列(iSCSI SAN或FC SAN)以及单独安装部署的数据库软件,分割交付的硬件和后续交付的软件导致了传统数据库系统交付的极大复杂性,但对于(集成)一体机系统来说,却完全不是如此。

以天玑数据的PBData V2数据库云平台为例,它包括了x86架构的计算节点、采用闪存加速的存储节点、InfiniBand交换机以及Oracle/DB2/MySQL等数据库(预装,不含软件许可,可单独通过购买License的形式开启),在交付的时候,基于企业用户所需要的方案预先验证和调优,实现一站式快速交付,在部署时插电开机即可完成硬件和软件系统的同时加载,因此可以缩短65%的部署实现,大幅度提高业务上线效率。

但像是天玑数据的PBData V2数据库云平台这样的(集成)一体机,如今广泛应用在OLTP(如计费系统)、OLAP(如数据仓库)、OLTP&OLAP混合应用以及大数据分析领域,却不仅仅是把计算、存储、网络、软件平台整在一起就能让企业用户买账的,除了一站式提供数据库和存储服务、加速了高速Flash存储和低延迟高性能的InfiniBand网络,它的核心优势,就在于另一个关键词:优化。

首先,在(集成)一体机的设计上,针对RAS特性的优化决定着“往往被用于核心应用(以Exadata为开端(集成)一体机的主要用途就是数据库等核心应用)”的(集成)一体机是否可以作为一个单一的系统平台承载数据库等核心应用,因此,“强壮性设计”——也就是RAS特性尤为重要,在这方面,包括了计算、存储、数据和相关组件(如供电)的多方面的强壮性设计。

比如说在刚刚推出的PBData V2中,天玑数据在系统强壮性方面的设计包括:计算、存储、交换机的冗余设计;SSD、HDD的热插拔;InfiniBand链路的双活设计;数据多副本、快速数据重构和SSD全生命周期管理。此外,在底层的存储资源层,PBData V2使用具有动态扩展能力的分布式存储架构设计,保证了性能按需线性增长。

PBData V2的SmartMon监控管理确保了数据中心的管理者能够实时、详细地了解到一体机的运行情况,它包括了性能监控、日志/操作记录、故障报警、全系统拓扑、节点控制和全方位的数据库监控。特别需要指出的是,为了确保系统从硬件到软件的可靠性的一致性,PBData V2的数据库监控能力支持监控主流的Oracle 12c、DB2数据库,提供数据库报表查看、自动化巡检报告、SQL执行效率跟踪以及数据库性能指标曲线展示,结合节点控制器的CPU、内存、LUN、硬盘监控状态预警、SSD生命周期管理等功能,实现了软件和硬件在单一管理平台的可靠监控和管理。

PBData V2系统架构图

其次,(集成)一体机的重要优化领域就是对数据和I/O的优化,以此在计算和存储速度发展比例不均衡的情况下,保证数据存储、读取和I/O处理的性能能够与速度越来越快的处理器相匹配,在PBData V2中,全新升级的SmartCache V2智能缓存机制的技术升级将至少为PBData V2数据库云平台的企业用户提供至少30%的(纯软件)性能提升体验——SmartCache智能缓存机制是天玑数据自创立以来引以为傲的核心技术,它将SSD作为缓存介质,为数据服务提供闪存级别的I/O处理能力,大幅缩短分析处理时间。

QoS及数据块自动均衡技术则是一项保证介质资源池利用率的技术,它在新节点加入资源池后,(在保障前段性能的前提下)自动重新平衡资源池的数据存储分布,确保在非均等存储节点间平衡数据空间利用率,同时根据前端不同的应用,设定QoS访问性能控制;

针对介质资源池的另一项技术则是为了确保“热区数据”的高性能访问:PBData V2通过SmartStor引擎实时统计数据访问频度,识别大量I/O集中访问的热点数据,并将这些数据在介质资源池中进行自动均衡——在这一过程中,开启热度统计只占用极小的计算资源,确保存储自身资源开销可限定,从而适合应用和存储融合部署的需求。

此外,PBData V2的I/O协议栈通过RDMA(InfiniBand)达到减少CPU利用率的效果,使节点间I/O延迟大幅度降低。

除了在数据和I/O层面的优化,在管理上的简化是(集成)一体机的另一个重要关注点,它应当是简单、清晰、整合软硬件管理的全堆栈式管理平台,这就是天玑数据设计的PBData V2 DBaas Cloud 数据库云管理平台:它既可以在基础平台层面确保高性能的水平扩展及管理,也在整个软件及应用层面,建立面向云的DBaaS(数据库即服务)云管理平台,在提供自服务、监控可视化、QoS保证、高可用、弹性伸缩、敏捷交付的基础上,保证所有的硬件资源池和数据库平台,可以以资源池化的、满足多租户管理和性能要求的云数据库的形式提供。

值得注意的是,随着(集成)一体机产品向中小型IT规模的用户靠近,就连一直看起来高高在上的Exadata都推出了1/8机架配置的产品,对此,天玑数据总经理叶磊表示,一体机对于IT能力一般、业务变化较快、希望快速上线的中小型IT客户是非常适合的,但长期以来,这一类型的产品因为整合了多种先进技术,形成了技术和价格上的壁垒,但随着越来越多的供应商开始投入到一体机的市场中,比如天玑数据的PBData V2等产品的陆续问世,技术的壁垒被逐渐打破,甚至开始超越Oracle的Exadata,继而开始有了更多让中小IT企业使用一体机的机会。

以PBData V2为例,新产品除了主打高性能的V系列和主打紧凑的计算和存储节点融合的H系列,新增了双节点精简配置的E系列,采用计算、存储融合节点,节省空间、能耗50%以上。

有趣的是,在3月30日的新产品发布会上,叶磊阐述PBData V2及一众天玑数据的新产品时提到了这样一个故事:作为天玑数据的母公司,天玑科技长期为阿里巴巴的数据中心提供技术维护服务,与一般的数据中心不同,阿里巴巴的数据中心的自动化、一体化运维水平很高,甚至于在更换损坏的硬盘或其他组件时,派发给天玑科技服务人员的就是一个位置准确、故障明确、处置简单的工单,全部流程拿着工单即可直接完成,从未出现错误,这让天玑科技的服务人员乃至整个服务团队都异常的佩服。

“对我们天玑数据来说,就是想把这些互联网或大规模数据中心的优秀运维、管理和产品思路融合到我们的PBData V2和其他产品中去,做得更加简单、易用、高性能,而且少出故障、不出故障,即使有了组件问题,也能够在不影响业务的情况下快速解决,让互联网+也能渗透到传统数据中心去。”叶磊说道。

从某种角度上来说,叶磊和天玑数据的思路,就像是那些在台上分享经验、台下用心答疑的“BAT大牛”,同样以分享的精神,把经验和技术通过PBData V2这样的产品,从天玑数据的研发团队、像阿里巴巴之类天玑科技所服务得客户那里,传播、渗透到传统的、需要变革和优化的数据中心中去。

如果说PBData V2作为(集成)一体机,还是略为带了些传统数据中心的影子,那3月30日天玑数据同期发布的另外两个系列的产品,就看起来“更加互联网向”了一些。

到底如何更加互联网向?不要着急~我们会在下篇中与大家分享哟~

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
有个一体机,承诺零数据丢失!
EMC:“随意架构”必将催生“备份即服务、归档即服务”
中国分布式数据库技术现状解析(收藏版)
浪潮inData一体机:十年一望,有进无退
数据库、数据湖、数据仓库、湖仓一体、智能湖仓,分别都是什么鬼?
去IOE:去掉“IE”就Ok?
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服