三年前,IBM系统存储总经理Andy Monshaw在演讲时曾经说过:“在2005年之前,数据量仍在可控范围内,因为在那个时候人们有能力预测明年将有多大的存储需求。”但此后,由于数据量的急速上升、各种法律规定的不断增多以及人们对数据的复杂度(比如数据挖掘)要求不断提高,存储需求开始剧烈增长。
本世纪初期,IT经理们通过持续改进,基本上能够控制成本,同时获得较好的运营效果,如使用更好的维护方式和更充分地利用现有的存储容量。但从2005年开始,数据量的增长速度迅速加快,控制成本变得越来越难,于是越来越多的IT经理选择了服务器和桌面计算机的虚拟化。
服务器与存储间的矛盾
服务器虚拟化能够使一台物理服务器成为多个用户的虚拟机,每个虚拟机不仅需要拥有20GB的操作系统空间,还需要自己的存储空间、备份空间和存储I/O。随着越来越多的用户要求运行各式各样的应用程序,有越来越多的I/O密集进程启动,使虚拟服务器变得杂乱无章。
改进的自动分配系统使配置新的虚拟机变得十分容易,几分钟就可以完成。许多企业目前拥有虚拟化革命以前十倍数量的操作系统。Gartner Group在其“2009企业存储关键问题”报告中指出,自从“灵活的服务器虚拟化部署工具需要共享存储以来,许多企业开始初次部署SAN和NAS……结果,存储适配器突然之间变成了应用程序性能的瓶颈,在传统的备份方式环境下问题尤其多。”这些问题包括:
- 大量消耗存储网络空间;
- 剩余存储网络资源紧张;
- 备份数据激增;
- 频繁地需要增加新的存储空间;
- 存储结构、存储管理、数据复制的复杂度增加。
服务器虚拟化使我们不得不将存储在低成本、高容量磁盘驱动器中的操作系统数据转移到SAN/NAS环境中,而往往使SAN/NAS每GB存储量的成本更高。此时,存储虚拟机可能会(很多情况下已经)带来巨大的成本。由于维持存储的全生命成本大约是购买价格的7倍,因此,使用新的技术在虚拟化环境中优化存储从而防止存储膨胀,变得至关重要。
如何平衡与优化
如果管理得当,虚拟化服务器环境中的SAN/NAS存储配置能够减少存储数据的成本、提高性能、简化操作。通常情况下,用户可以优化经典的“cheaper-better-faster”三角形的两个边,但无法优化全部的三个边,因为目前还不存在“三赢”的方法。
下面我们将比较6种虚拟存储管理技术,并评价哪种技术或混合技术能够最佳地应付何种数据管理的挑战。
良好的虚拟化服务器环境需要服务器工作小组、网络工作小组和存储工作小组紧密团结在一起。虽然这些部门可能会变得越来越专业化,但是为了建立平衡的服务器—存储策略,每个工作组必须了解整体的优先权、进程以及其他工作组的需求。使用虚拟服务器的存储计划需要系统能够高效地满足数据增长、成本控制和性能方面的需求。
下面是几种节约存储的方法,不得不说的是,其中没有一种是完美的。
- 虚拟机操作系统镜像的重复数据删除。删除几乎相同的操作系统镜像数据,能够极大地减少存储空间的需求量。
- 为虚拟机实施分层存储。根据不同类型数据的相对离散度、优先权和访问频率,将其保存到不同的存储层中。
- 整合SAN。后面会讨论到几种简化SAN的方法。
- 考虑NAS。用NFS对虚拟机存储和重复数据删除简化管理。
- 使用快照功能。通过快照功能得到几种完整操作系统镜像的“黄金拷贝”,也就是它们的快照。这样,大量的虚拟机都可以存储在这几个完整操作系统镜像空间里。
- 重复数据删除备份。重复数据删除备份在虚拟服务器环境中能够带来独特的益处。
1. 操作系统镜像的重复数据删除
在虚拟环境中,每个操作系统镜像的80%~90%是相同的。举例来说,每位用户的Windows启动界面都是一样的,在这些操作系统中,只有一些诸如主机名称和注册表数据等系统信息是不同的。而且,操作系统镜像对磁盘I/O性能的影响也不大。目前,有些厂商提供主存储器的重复数据删除工具,使用该工具可以使操作系统镜像的数量减少70%以上,而对使用性能影响很小。某著名存储厂商还保证操作系统重复数据删除功能可以减少至少50%的空间使用量。
案例 虚拟机存储重复数据删除得到了越来越广泛的使用。如某大型保险公司拥有400TB以上的主存储容量和200个虚拟服务器,每个虚拟服务器拥有20GB以上的操作系统镜像。在对虚拟机操作系统镜像进行重复数据删除后,这家公司在今后三年之内将节省75万美元的成本。
2. 使用存储分层
IT经理们不仅会让存储工作团队明确新的存储需求量,还会确定未来存储数据的类型。存储工作团队可以为这些不同类型的数据安排不同的存储区域。有些访问频率较低的数据将被安排在访问速度较慢的第三层,第三层存储的成本比第一层要便宜5~7倍。访问频率更高的数据则被安排在第二层,比如应用程序及其相关数据。而访问频率最高的数据则被安排在第一层,这些数据往往是一些经常改变的资料或者数据库。
请注意,有些虚拟化工具,如VMware Site Recovery Manager (SRM)目前要求恢复单一虚拟机所有数据必须存储在一个单独的ESX存储池中。
案例 某金融服务公司拥有超过300TB的存储量,虚拟机环境杂乱无章。该公司将操作系统数据存放在便宜的第三层存储中,将经常使用的应用程序和用户数据放在第二层和第一层。于是,公司70%的存储量都存于第三层了,这比之前将所有虚拟机数据都存放在第一层里要减少75%的成本。
3. 整合SAN
过去的大型光纤通道SAN能够支撑成百上千的物理服务器,而且每个光纤都有12个以上的交换机。现在虚拟机服务器能够以10∶1、15∶1、甚至20∶1的比例整合客户账户。这种模式要求更宽、更快的数据管线和更少的端口,建立更均衡、更快的SAN。上世纪90年代,简单双向SAN架构足可以应付中型以下企业的需求,而目前SAN的带宽已经达到8Gbps,这对性能的提高帮助很大。
有些虚拟化管理产品,如VMware ESX 3.x,并不支持存储多路径平衡,并且同一时间只支持一个I/O通道。VMware ESX 4.x现在允许第三方的多路径软件(如EMC的PowerPath VE)同时调用多个I/O路径。这减少了至少50%的端口数量和带宽需求,同时减少至少50%的成本。虽然高性能的端口可能更昂贵,但需要的数量变少了。
另一个选择是N_Port virtualization (NPIV),NPIV允许单一HBA支持多个虚拟主机总线适配器(vHBAs)。每个用户操作系统在SAN中都拥有一个自己的ID,提高了可靠性和安全性。存储管理员能够使用现有工具观察从虚拟服务器到存储阵列的SAN进程。这给排查问题、I/O映射和容量规划等工作带来了方便。
4. 考虑NAS
除了使用管线通道或者基于SAN的iSCSI外,虚拟存储还可以通过NFS在NAS硬件上实现。NAS设备为虚拟服务器提供随时可以使用的文件系统,使对基于服务器的文件系统(如VMFS)不再有需求。有利就有弊,NAS相比SAN的缺点在于其安全性较低、速度较慢。不过如果部署得当,使用独立VLAN和多个千兆以太网或万兆以太网连接,NAS也能够达到与光纤通道SAN同样的安全性和速度,同时复杂度和成本更低。
NAS的优势包括:
- 虚拟机服务器操作系统的重复数据删除能够显著地减少存储需求。该功能包含在某些厂商的NAS工具中,如EMC的Celerra和NetApp的FAS。
- 现有的低成本千兆和万兆以太网可以代替复杂和昂贵的光纤通道SAN。
- NAS管理起来更简单。比如,存储管理员能够在不影响主机系统的情况下将NAS存储扩展给虚拟服务器。而SAN则需要扩展LUN或创建和提供更多的LUN给服务器,这将扩展文件系统,于是不得不给其他的管理员主机带来改变。
部署NAS需要的最佳方案和注意事项有:
- 不要远距离路由NAS,因为延迟问题会变得很严重;
- 在UDP和超长帧上使用NFS v3,这会最大化发挥系统性能;
- 可以考虑使用独立的VLAN,保证安全性和传输的独立性;
- VMware SRM只提供有限的NAS支持。
案例 某保健组织拥有200TB以上的主光纤通道存储,在NAS上部署了VMware后,简化了管理工作,本地操作系统重复数据删除也变得容易了。这家组织大大地减少了原来使用SAN时候的虚拟服务器连接成本,也减少了支持虚拟机的存储空间需求。
5. 使用快照功能
使用基于阵列的操作系统镜像快照能够快速经济地部署新的虚拟机,这一切只需要给虚拟机服务器提供可写的、空间优化的完整“黄金操作系统镜像”快照。系统可以利用快照快速地建立新的虚拟机,节省大量的磁盘空间。快照镜像的更新存放在一个不同的位置,通常命名为“save-vol”或者“snap reserve”,每个操作系统镜像均可分别更新,保持其独特的个性化设置。通常,许多压缩后的操作系统快照只需要几个完整镜像所需的空间。
这种方法的最佳方案是:页面文件存储在第一层和第二层中,而不是在基于快照的C盘,因为页面文件改变很快,使用也很频繁。
快照需要为每个虚拟机账户开辟一块新的卷或者分离的NFS卷。“黄金操作系统镜像”的更新档并不会自动传播到这些卷中。解决的方法有两种:
一个是为每个基于快照的操作系统实例配置更新档。这很简单,但是空间使用效率不高,尤其是当save-vol越来越大时。
另一个是为“黄金镜像”配置更新档,然后用新的快照重新部署所有的操作系统实例。保存系统状态信息(注册表、程序文件、主机名称等)为备份。相比第一种方法,这种方法的难度要大得多,但是保证了操作系统的标准和安全性,也能够控制更新档越来越大带来的存储需求增长。
操作系统镜像快照的部署能够节省大量的成本和预算。举个例子来说,存储100个完整的20GB操作系统镜像拷贝需要2TB的存储空间。如果每GB需要20美元,那么就需要4万美元左右。使用快照镜像能够以20倍的比率压缩存储需求。相同的100份拷贝通过快照部署则只需要100GB的磁盘空间,成本降低至2000美元。
案例 一家大型出版企业拥有300TB的主存储容量,使用阵列快照为海外作者和开发商提供操作系统镜像,获得了更快的速度、更高的灵活性,节省了空间和成本。由于这家企业的工作量随着出版数量而改变,快速使其能够迅速灵活地提供VDI桌面。
6. 备份存储的重复数据删除
如果虚拟镜像中重复数据太多,那么使用重复数据删除可以减少95%的备份存储所需空间。备份数据重复数据删除拥有很高的投资回报率,而几乎没有任何副作用。下列两种方法在虚拟环境中都可以得到很好的效果:
基于主机的备份重复数据删除(比如EMC的Avamar和Symantec的PureDisk)都能够代替现有的备份软件。主机重复数据删除将消耗更少的网络带宽。
基于目标的重复数据删除(比如Diligent Technologies、EMC的Data Domain unit、NetApp和 Quantum)实施起来更方便,而且与现有备份软件相兼容,但不会降低网络带宽负载。
虽然标准磁带备份相比磁盘和虚拟磁带库(VTL)备份更便宜,但当使用重复数据删除工具达到100∶1的数据压缩率时,重复数据删除后的磁盘将接近磁带的存储能力。假设使用LTO-4磁带备份数据,其成本为200美元/TB,那么,备份100TB的虚拟机数据就需要2万美元。如果我们假设压缩率为25∶1的重复数据删除磁盘的成本大约为1万美元/TB,则压缩前的购买成本为10万美元,这比磁带成本高得多,而在100∶1的压缩率下,这一成本下降至2.5万美元,这几乎与磁带备份的价格差不多。从商业角度来看,使用重复数据删除磁盘存储拥有一定的经济性。
重复数据删除磁盘存储相比磁带的优点如下:
- 灾难恢复备份的复制成本更低;
- 消耗的电能、占用空间和制冷需求更少,有益于保护环境;
- 远程复制时节省带宽;
- 相比磁带来说减少了管理上的问题;
- 通过SLA显著地减少商业危险,同时相比磁带拥有更快的恢复速度。
案例 现在备份数据重复删除已经非常常见。举个例子来说:某大型区域性银行组织拥有200TB以上的主磁盘存储空间,支持的虚拟服务器有300~400个。使用基于源端的虚拟机备份重复数据删除,系统几乎取消了备份存储系统、软件及其维护,与此同时提高了系统的灾难恢复能力。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
做好数据库选型 新媒体就成功了一半
搞定你的数据,能够让它为业务应用以及终端用户提供良好的支持,毫不夸张地说,你就已经成功一半了。
-
Gartner:2014年第四季度全球服务器市场出货量增长4.8% 营收增长2.2%
Gartner表示,2014年第四季度全球服务器出货量较2013年同期增长4.8%,营收则增长2.2%。2014年全年,全球服务器出货量增长2.2%,营收则略增0.8%。
-
Informatica副总裁:2015年大数据发展的八大趋势
2015年,大数据仍将保持这一快速增长势头。Informatica执行副总裁兼首席营销官Margaret Breya女士预计,在新的一年以及更远的将来,将有八大主要趋势主导大数据技术发展领域。
-
你造吗?这才是大数据项目成功的七大秘密
大数据项目的成功有哪些法宝?又有哪些陷阱会导致大数据项目的失败?本文中的三位专家将对此进行详解。