虚拟化技术是通过 上世纪 60 年代具有划时代意义的 IBM 商用大型主机 System/360 正式推向市场的。到目前为止,业界已经有多种服务器虚拟化技术,例如 IBM 主机的逻辑分区技术和虚拟机技术;UNIX 服务器的动态逻辑分区和微分区;HP 的 nPAR、vPar 技术;Sun 的 Dynamic System Domain 分区技术;PC 服务器的 VMware, Virtual Server、Xen 等技术。基本上覆盖了各个规模的用户群,给客户的服务器整合方案带来多种选择。
(一)IBM 大型主机系统的虚拟化
1. 逻辑层虚拟化技术
2. 操作系统层虚拟化技术
3. System z 虚拟化典型示例
上图所示为典型的 System z 服务器整合与虚拟化架构。如图所示,System z 主机服务器通过 PR/SM 将物理分区划分为多个逻辑分区(LPAR),每个逻辑分区都分配了自己的 CPU、存储、 I/O 通道等;LPAR1 上运行 z/VM 操作系统,其上运行若干虚拟 Linux 服务器,通过 z/VM 的控制程序实现这些 Linux 服务器之间的资源调度;LPAR2 和 LPAR3 上分别运行 z/OS 操作系统,其中 LPAR2 上运行 DB2 与 WebSphere,LPAR3 上运行联机交易与 B 批处理作业,它们都通过 WLM(Workload Manager)对工作负载进行管理;LPAR4 运行 z/VM 操作系统,其上运行一个 Linux 虚拟服务器和一个 z/OS 操作系统;同时,LPAR2、LPAR3 和 LPAR4 使用 IRD 来配合 WLM 对 z/OS 适用的共享资源进行智能调度。
(二)开放平台服务器的虚拟化技术
开放平台服务器的品牌较多,虚拟化技术的实现也不尽相同。对于 UNIX 服务器,常用的虚拟化技术主要有三种:硬件物理分区、逻辑分区和基于操作系统之上的分区;对于 X86 平台系统,常用的技术是虚拟机。下面就针对这四种技术做进一步讨论。
1. 硬件分区技术
在硬件分区技术中,分区沿硬件的边界划分。每个分区可以运行同一个操作系统的不同版本或不同的操作系统。基于硬件物理分区技术划分的分区需要足够的硬件资源来满足运行在他上面的操作系统和应用的需求。
硬件物理分区具有以下特性:
2. 逻辑分区技术
逻辑分区是在逻辑上划分单个系统所需的 CPU、内存和 I/O 资源,实现在一台物理服务器上创建多个逻辑服务器(逻辑分区)。与硬件分区必须以物理单元板为 CPU 分配单位所不同,逻辑分区对 CPU 的划分粒度要精细得多,可以以少于 1 颗物理 CPU 为粒度(最少可以到 1/10 颗物理 CPU)。每个逻辑分区相互独立,拥有自己的逻辑 CPU、内存和 I/O 等设备,可以同时运行完全不同的操作系统,如同时运行 UNIX,、Linux,、i5/OS 等。此类分区技术是在系统的微码(Hypervisor)级别实现的。下面是逻辑分区的架构示意图:
逻辑分区具有如下几个主要的特性:
1) 同一台物理主机上支持多个操作系统
逻辑分区支持在同一台物理主机上同时支持多种操作系统,或是相同操作系统的不同版本。分区与分区之间相互独立,互不影响。因此,个别分区的操作系统环境出现问题不会导致整个物理主机不可用。
2) 可灵活调配 CPU 的微分区
微分区允许多个分区共享一组物理处理器(Shared Processor Pool)。一个分区可以以 1/10 的物理处理器资源来分配。Hypervisor 基于工作流量调节分配给每个微分区的 CPU 处理能力。通过参数调优,系统管理员可以控制每个微分区可以使用的CPU处理能力的上限值。
3) 动态性
动态特性是指可以动态地添加、删除分区中的系统资源,或在分区之间移动系统资源,例如 I/O 适配器、CPU、内存等资源,而不需要在修改前后重新启动系统或分区。技术人员可以在需要时将资源动态分配到需要的地方,动态地调整整个系统的硬件资源分配,平衡所有分区的硬件,使整个系统的硬件资源得到合理的分配,充分发挥整体系统性能及提高资源使用率。
4) 虚拟 I/O
虚拟 I/O 技术支持存储资源虚拟化和网络资源虚拟化。虚拟 I/O 服务器是一个特别的分区,用于提供 I/O 资源的共享,即将虚拟存储和虚拟网络资源提供给虚拟 I/O 客户机分区使用。
5) 逻辑分区在不同物理主机之间的动态迁移
这一特性允许一个活动的逻辑分区动态地从一台物理主机迁移到另一台物理主机上,在迁移的过程中,不需要中止分区中正在运行的应用,应用只经历瞬时停顿(几秒钟)。分区迁移将源系统(指定的 LPAR)上的所有运行环境迁移到目标系统,包括内存数据、处理器的运行状态、连接的所有虚拟设备、以及正在使用的客户连接等。
逻辑分区的动态迁移功能可以给客户带来以下好处:
3. 基于操作系统的分区技术
使用这种虚拟化技术可以将同一个操作系统中的资源进一步划分为不同“分区”,这些分区的环境也是相对独立的,分别有自己的运行环境,可以运行不同的应用,但它们共用一套操作系统内核,这一点与硬件分区和逻辑分区有质的区别。
一般来讲,这种分区是通过操作系统的命令创建的,一个操作系统中的所有工作负载分区共享操作系统的系统资源。分区建立后,就会在操作系统之上形成一套独立的运行环境。显然,操作系统出现问题会影响到运行于其上的各个分区。每个分区都是跟整体操作系统具有相同类型、相同版本的操作环境。这种分区技术主要是满足需要在同一个操作系统中运行多个应用,良好地在应用之间平衡系统资源,提高整体资源利用率的目的。由此可见,这种分区技术进一步为服务器的虚拟化提供了一种方便。IBM AIX 6.1 提供的 Workload Partition 和 Sun Solaris 的 Containers 提供的就是这种虚拟化分区技术。
4. 基于 X86 平台的虚拟机技术
虚拟机需要一个操作系统作为最基本的平台,其它系统在它上面运行。作为平台的这个操作系统叫 HOST OS,称之为“主系统”;在主系统上运行的其它系统都叫 GUEST OS,称之为“子系统”或“客户系统”。通过虚拟机,可以在一台物理的机器上模拟出多台机器,目前市场上虚拟机技术的典型代表产品是 VMware 和 Xen。下面为 VMware 的实现机制示意图:
针对 x86 架构的服务器可以通过 VMware 或 Xen 的虚拟机技术实现逻辑分区的功能,在单一的 x86 架构的硬件平台上并发地运行多个操作系统,如 Windows(NT,2K,2003)、Linux(RedHat, SuSE)、Novell Netware、Sun Solaris 和 Free BSD x86 等。通过这一功能可以将不同的应用部署在同一台物理服务器上,相互之间具有安全的隔离性,不受病毒或者某个应用引起的系统崩溃的影响。从而实现众多中小应用的整合,充分均衡硬件资源,实现资源的最佳优化,彻底改变服务器利用率不高的问题。
二、服务器整合的思路
在服务器整合的实践中,同样需要经历研讨与评估、规划与设计、实施和管理四个大阶段。
(一)研讨阶段
服务器整合的重要推动因素之一就是商业价值,帮助企业更好的成长,因此在服务器整合项目之前,需要各个部门/组织通过各种形式进行研讨,很好地讨论服务器整合所解决的问题及其给企业带来的益处。
(二)评估与规划阶段
评估阶段需要进行有关数据的分析。
要分析现有服务器环境和运行状况,可以通过专有工具对整个企业范围的服务器基础构架进行信息收集和整理工作,为服务器整合提供大量的参考数据。
通过分析所收集数据,可以判断哪些应用可以受益于服务器整合,为用户提供评估结果、技术建议和完整的总体拥有成本分析。
若客户认可评估阶段的分析结果,则进入规划阶段。以下三点是我们在这一阶段工作时需要注意的:
(三)设计阶段
根据规划设计服务器的整合方案,并计划实施方案,包括服务器虚拟分区的数量和类型,以及迁移的应用负载和工作量。在设计阶段要注意以下事项:
(四)实施与管理阶段
服务器整合最后的阶段是监控管理,要做到整合环境的集中管理、集中监控、集中审批资源申请和变更;要能监控在整合后的架构下,服务器系统的使用状况,包括资源使用率、整体性能和对未来发展的预估等;能预警系统发生的问题,并能结合相应的自动化工具,自动应对相关问题。采用相应的技术提供在一个自动发现、自动管理所有物理平台和虚拟系统。这一阶段的重点是风险管理。风险通常来说是客户在实施服务器整合中最关心的事情,任何项目都是有风险的,特别是像服务器整合这样的大项目,因此需要有相应的措施来应对风险:
一、存储虚拟化技术概述
存储虚拟化的实现层面可以分为三层,即主机及操作系统层、存储网络层和存储设备层。可以在某个层面单独实现,也可以在多个层面共同实现。下面针对存储虚拟化三个层次做相关讨论。
(一)基于主机和操作系统的虚拟存储
基于主机和操作系统的虚拟存储典型的实现是依赖于主机上的逻辑卷管理软件,针对分配给主机的逻辑卷(即物理磁盘或LUN),逻辑卷管理软件可以实现进一步的虚拟化,对多个逻辑卷进行统一管理、配置,屏蔽了上层应用对物理磁盘的管理。在逻辑卷管理器的管理下,可以灵活地实现对存储的管理。例如,可以将多个小的物理空间,聚合成大的空间以满足大数据量的存取需要;同时,可以在多个物理空间上实现数据条带化,以提高整体性能。同样,也可以将大的物理空间细化成小的空间,以提高系统的利用率。
典型的实现案例有 IBM AIX 操作系统本身的 Logical Volume Manager(LVM),以及 Veritas 的 Volume Manager 等,其中 AIX 的 LVM 是集成在操作系统上的,而 Veritas 的 VM 可以支持多种操作系统。
这种方式是针对服务器的存储虚拟,而对共享的存储本身来说,可能只是部分空间是虚拟的。这种实现方式的优点在于因为不需要任何附加硬件,其设备成本最低,目前已经有较成熟的软件产品。由于是软件产品,可以利用易用的用户界面,方便地管理。但也由于它是安装在主机上的软件,其运行就会占用主机的处理器资源,因此,这种方法的扩展性较差,在管理大量的物理磁盘时,对整体性能影响较大。基于主机的方法也要求管理上比较严格和规范,否则有可能影响到系统的稳定性和安全性,会导致数据的一致性和完整性问题。另外,软件控制的存储虚拟化还可能由于不同存储厂商软硬件的差异而带来不必要的互操作性开销,所以这种方法的灵活性也比较差。
这种实现方式对于现有的用户,要实现从非虚拟化向虚拟化的过渡中,需要应用软件或系统软件的安装、配置或升级,这个工作需要在所有需要虚拟化存储的服务器上进行,而且对于新的服务器也要进行相同的工作,这对于服务器来说,是一个较大的变更。同时,还可能有大量数据的重新分布的工作,这个工作对于服务器的存储性能会有一定的影响。另外,基于主机的虚拟存储,对于存储的高级功能,例如快照或数据复制等,不能提供统一管理。
(二)基于存储设备的虚拟存储
基于存储设备的虚拟存储方法依赖于提供相关功能的存储控制器,它可以对所管理的存储提供虚拟化。将具有虚拟化功能的存储控制器和相应的存储设备接入到 SAN 网络中,由存储控制器统一对服务器提供存储空间,有些虚拟控制器可以管理多厂商的存储系统,有些虚拟控制器则只能管理单个厂商的存储系统。
这种存储虚拟化的实现案例有 HDS 的 TagmaStore USP、HP 的 EVA 系列以及 EMC 的 Invista 等。
基于存储的虚拟化方法有一些优势,在存储系统中这种方法较容易实现,容易和某个特定存储供应商的设备相协调,所以更容易管理,它对用户或管理人员都是透明的;同时,这种方式可以实现存储的高级功能,例如在所管理的虚拟存储中实现快照和数据复制功能。
这种实现方式对于现有用户来说,需要增加新的带有虚拟化功能的存储,同时,对原有存储系统做调整,改变服务器与存储的对应关系,配置新的存储系统以管理旧的存储系统,迁移数据等。我们必须注意到,这种虚拟化方式相对独有,而且有些厂商的虚拟化产品只能管理单个厂商的存储产品,对于其它存储厂商的设备有兼容性问题。
(三)基于存储网络的虚拟存储
基于存储网络的虚拟存储是依赖于在存储网络中添加相应的虚拟化设备而实现的对存储网络中存储设备的虚拟化。存储网络虚拟化设备可以是特有的虚拟化设备,也可以是在网络交换机上安装虚拟化软件来实现。
在 SAN 网络交换机上实现存储虚拟化是在 SAN 交换机上加入具有虚拟化的模块,来控制存储的分配和管理。博科公司的 Fabric Application Platform 就是这样的一个平台,可以提供 API 来实现对存储的虚拟化管理;而思科公司的 SAN 交换机上可以安装 IBM 的 SVC 软件来实现存储虚拟化。可以看到,在 SAN 交换机层面实现存储虚拟化,不用添加额外的硬件设备。
在交换机层面实现虚拟化的好处在于原有的存储架构不用做大的调整,只是升级了交换机的功能,这种功能的升级可能会是交换机硬件和软件的升级,也可能是交换机整体架构的升级。但目前来说,这种实现方式对于原有磁盘上的一些高级数据复制功能,可能还无法做到十分的完善和高效率。
特有的存储虚拟化设备是指在 SAN 中加入虚拟化设备,而所有存储的资源管理和分配是由这个特有的虚拟化设备实现的。特有的虚拟化设备有带内管理和带外管理两种模式,带内管理是虚拟化的控制数据流和真正的存储数据流都经过虚拟化设备;而带外管理是虚拟化的控制数据流经过虚拟化设备,但真正的存储数据流不经过虚拟化设备。
这种实现方式的案例有 IBM 的 SAN Volume Controller、StoreAge 的 SVM 等。其中 IBM 的 SVC 是带内管理的模式,而 StoreAge 的 SVM 是带外管理模式。
基于存储网络的虚拟存储优点是可以对 SAN 上所有的虚拟化设备兼容的存储进行虚拟化,虚拟化是针对整个存储网络的虚拟,最大程度上提高设备利用率,保护现有投资;简化主机与存储之间的连接,简化主机管理,提高系统的可用性。其中带内管理虚拟化还可以实现统一的数据复制和快照功能,统一管理。另外,在存储设备间的数据迁移相对主机是透明的。
二、存储整合思路
(一)存储整合与虚拟化的原则
存储整合与虚拟化是整个企业的信息技术整合与虚拟化的一部分,在设计和规划时,我们要遵从以下的原则:
1. 标准化
整合与虚拟化的目的之一是要实现有效的管理,而有效管理是建立在架构的标准化基础上。整合与虚拟化本身需要建立相关的标准,针对存储整合与虚拟化,要建立数据存储标准。例如首先要确定什么应用的数据需要整合,什么应用的数据可以整合在一起;然后,根据应用和数据的关键性,并结合性能要求,确定采用什么方式和架构来存储数据。存储架构也需要标准化,为提高存储投资的有效性,企业的存储往往采用层次化架构,即根据数据不同的重要性和性能要求,采用性价比相当的存储来保存数据。这样,就要制定针对不同层次的存储架构标准,以确定采用什么设备实现。
企业随着不断的发展,其信息技术架构可能会变得越来越复杂,整合与虚拟化需要一个过程,但在整合的过程中,信息技术架构还需要发展。为保证整合与虚拟化目标的最终实现,也需要对发展中的信息技术架构制定相应的标准,使得新加入的存储系统满足整合与虚拟化的标准,并能融入到整合与虚拟化的架构中。这样,既保证了整合与虚拟化过程中的发展,又避免因为发展而导致整合与虚拟化的重复工作。
2. 数据安全与一致性
为了更有效地利用存储资源,在整合与虚拟化中的存储是建立在共享架构基础上的,这样,必然会带来数据安全与一致性问题。不能因为整合与虚拟化的共享,而导致破坏数据的安全和一致性。
为了保证数据原有的安全特性,在整合与虚拟化中,需要清楚地了解各个应用数据的存储特点,数据是独享还是共享,共享是哪几个应用共享,共享的级别是什么,数据存取是文件级还是块设备级。存储网络是如何划分的,是否会出现越界存储。
这些安全的实现可以依赖于存储网络上的区域划分(Zoning),共享存储设备上的 LUN Masking,以及虚拟化设备上逻辑卷与物理卷的对应等技术。
3. 存储管理统一化和规范化
存储整合与虚拟化是对多个应用系统或整体信息技术架构,这样就要求管理的统一和规范。存储管理的统一是建立在标准之上,存储管理包括对存储设备的管理,对存储网络的管理,对服务器连接的管理。
对整合与虚拟化存储环境的管理,要建立相应的规范并严格遵守。这样的存储环境中,很多设备是共享的,所以要严格管理,以避免越界存储或数据安全和一致性问题。应该建立完善的存储申请、审批和具体分配流程。可以设置分级管理制度,针对整合与虚拟化空间要求,结合存储架构,做层次化管理。对于任何针对存储的变更要求,也要建立规范的变更管理要求,并经严格评估。
整合的存储架构以及虚拟化存储极大地帮助了管理员进行存储管理,前提是所有的存储都在整合的架构下,并接受虚拟化管理。这样,就要求存储架构的扩展,必须满足整合和虚拟化的规范化要求。
存储管理的规范要落实,针对存储的配置要做详细的记录,并随变更及时更新。
4. 架构具有良好的可扩展性
为保证企业的不断发展,进而对信息技术架构乃至存储架构发展的要求,整合与虚拟化存储,在技术实现上,要充分考虑架构的可扩展性。
架构的扩展性体现在存储容量扩展和存储性能扩展等方面。当业务发展要求更大的存储空间时,架构能易于扩展存储容量。在整合的环境中,可以根据容量与性能的平衡,考虑纵向或横向扩展。纵向扩展,整合的程度更高;横向扩展,整体性能提高更快。在虚拟化的环境中,不但要考虑到存储的容量扩展,而且要考虑到虚拟化本身的扩展,也要从容量和性能的平衡点考虑。
5. 具备一定的灵活性
对于大型企业,会有很多应用,存储上需要遵从整合与虚拟化的原则。但由于各个应用的差异性,就要求在具体实现上有一定的灵活性,也保证对不同应用需求的支持。而且企业的发展,也会出现企业之间的并购,这样就会整合并购企业的信息技术架构,包括存储架构。为了能顺利整合多样化的架构,并保护现有的投资,就要求整合与虚拟化具有一定的灵活性,以兼容一定的多样化架构
(二)存储整合与虚拟化的设计要点
整合与虚拟化的实现,要从全局整体考虑,在设计时需要关注如下的重点:
(三)存储整合与虚拟化的其它考虑点
(四)存储整合的实施步骤
与服务器整合一样,存储整合同样分为研讨、规划与评估,设计,实施与管理四个阶段,存储整合与虚拟化需要考虑下面的内容。
(五)存储整合与虚拟化示例
1. 存储整合示例
用户行业:金融保险
用户背景:
近几年的高速业务发展,使得用户的信息技术架构呈现了多种多样的局面,其中存储也是随着新业务应用的不断推出而频繁部署,存储的方式也是多种多样,有随服务器直接配置的内置存储,有连接服务器的小型外置存储,包括SCSI结构和 SAN 结构的,还有文件共享类型的存储等等。基本上,存储是随应用或服务器而配置,是典型的分散型存储架构,如图 3-2所示。
用户应用对存储的需求量越来越大,变化也越来越快,用户面临的问题是原来配置的小型 SAN 结构存储,不论是从容量上还是性能上,已不能满足业务发展的需要,而且由于存储是分散型架构,整体利用率不高,导致对于存储的投资有效性低;同时,对于分散型存储架构,用户的管理也越来越困难,对应用变化要求的响应时间慢,影响业务发展,数据的备份、恢复工作耗时耗力,威胁到数据安全性和业务连续性。
整合方案:
综合考虑现有的应用状况,以整合关键性业务应用的存储为试点,建立整合的存储架构,针对关键性业务应用统一配置存储资源,共享程度提高。技术上采用基于 SAN 架构的存储方式,建立新的核心 SAN 架构,将原有的 SAN 并入到新的核心中,采用新的企业级存储支持关键性业务系统,将原有的存储接入到 SAN 架构,用于支持非关键业务或备份。同时,对关键性业务应用数据进行集中管理和备份、恢复,并利用新的 LAN-Free 技术,提高备份和恢复的效率,缩短备份、恢复所需的时间。
在架构上考虑了未来的发展需要,具备良好的可扩展性和灵活性,为进而建立层次化存储架构,整合企业存储打下良好的基础。
用户收益:
用户整合了关键业务应用的存储,通过资源共享,提高了存储的利用率,降低了存储的投资成本。同时,存储的整合使得管理的设备集中,标准化程度高,存储的配置更加快捷,对应用的存储需求响应更快,能够快速支持业务的灵活变化。另外,备份、恢复时间的缩短,使得数据的安全性提高,有利于改进业务连续性。
整合的架构具有良好的扩展性,可以支持业务的进一步发展。同时,整合的架构也为将来实现统一的灾备环境打下坚实的基础。
2. 基于存储网络的整合与虚拟化示例
用户行业:政府行业
用户背景:
多年业务发展的积累,使得用户的信息技术架构中有多种平台服务器、多种厂商的存储存在,存储的方式也以 SAN 结构为主,但由于原有的存储是随应用或服务器而配置,所以 SAN 与 SAN 之间没有互联,是一个个 SAN 的孤岛,从这个意义上讲,也是分散型存储架构,如图 3-4 所示。
用户面临的问题是由于存储设备种类繁多,对存储的管理十分困难,对应用的存储需求响应慢。虽然有 SAN 的架构,但存储的共享也受到限制,服务器如果连接不同的存储,面临兼容性的问题,这些都使得用户打算单纯基于存储网络的整合十分困难,且收效不大。
另外,用户的部分应用十分关键,用户希望实现基于存储复制的异地灾备能力,但各种存储设备的复制技术各不相同,这样,对于多个应用的异地灾备需要实施多套方案,实施后的管理也十分繁复,难以统一,很难保证灾备目标的实现。
整合方案:
综合考虑用户现状与需求,单纯基于存储网络的整合已不能满足用户要求,采用虚拟化与整合相结合的方案,实现对多厂商存储的统一管理和配置,同时,对于多个应用系统的灾备,采用基于虚拟化的数据复制,实现对灾备的统一管理,保证灾备目标的实现。
技术上采用基于存储网络的虚拟化,多种厂商的存储经过虚拟化之后再分配给服务器使用,服务器直接面对的是虚拟化设备,而不再涉及到具体的物理存储设备,这样,就实现了对多种存储的统一管理配置。建立新的 SAN 核心,连接现有的 SAN 架构,使得整个 SAN 上的存储按性能组成几个大的存储池,针对关键应用可以分配性能好的存储池资源,针对非关键应用可以分配性价比高的存储池空间。服务器面对统一的虚拟化设备,安装统一设备驱动,使得整体系统的兼容性更好。
同时,对于多个应用的异地灾备,采用基于虚拟化设备的数据复制技术,统一将多个应用系统的数据复制到异地,管理上也可以实现一致性,不用再单独管理每种存储设备的数据复制。
用户收益:
用户整合了企业的存储,提高了存储的整体利用率,降低了存储的投资成本,同时,大大降低了存储的管理成本,从而降低了整体信息技术架构的总体拥有成本,提高了信息技术架构对应用需求的响应能力,增强了企业的业务连续性。
此外,基于存储网络的整合与虚拟化架构具有良好的扩展性,可以支持业务的进一步发展
联系客服