难言之隐,分布式存储软硬件解耦究竟难在哪里?

时间:2021-09-18来源:栏目:网络营销

说到分布式存储,我们可能都会想到软件定义存储(SDS)。代表全球存储制造商的权威协会SNIA(全球网络存储行业协会)对SDS进行了定义:软件定义存储包括管理平面的标准接口和自动化...

说到分布式存储,我们可能都会想到软件定义存储(SDS)。代表全球存储制造商的权威协会SNIA(全球网络存储行业协会)对SDS进行了定义:软件定义存储包括管理平面的标准接口和自动化,以及横向扩展数据平面的数据块、文件和对象存储服务。

许多行业分析师和制造商认为,SDS应该与硬件脱钩,可以部署在容器、虚拟机和标准裸机服务器上。

然而,在上述SNIA发布的SDS白皮书中,SNIA并不认同这一观点,而是更关注SDS在管理上的自动化和数据的灵活性。

分布式存储“软硬件解耦”之错觉来源

也许我们需要关注21世纪初。谷歌提出了分布式存储架构的概念并付诸实践。在其强大的技术和维护团队的支持下,实现了在标准服务器上部署自开发的分布式存储软件,构建了大规模的存储集群,以应对其互联网搜索业务带来的海量数据流。

所谓“一石激起千层浪”,其他互联网公司纷纷效仿“老大哥”谷歌,让软硬件脱钩的理念在互联网行业大行其道,并迎来一大群研究人员对其价值进行分析,总结出以下四点价值:

标准x86服务器成本低;

将数据中心的硬件统一为标准服务器,实现统一的硬件运维;

基础设施作为代码,存储包含在软件定义的数据中心自动化调度框架中;

用户可以在企业数据中心、边缘或公共云中获得一致的数据服务。

可以说,分布式存储在互联网浪潮中的出现是如此华丽,以至于大家都忘记了存储系统本身应该是什么样子。冷静的人更喜欢用辩证思维分析问题。所以我们也看到很多用户担心“软硬件解耦”,认为软硬件解耦的分布式存储在可靠性、性能、运维等方面还有很多需要改进的地方。

分布式存储软硬件解耦之难点剖析

很难说。分布式存储软硬件解耦的难点是什么?综上所述,有以下几点:

难点一:可靠性

存储数千行用户数据资产。数据一旦因存储故障而丢失,将给企业带来不可挽回的巨大损失。存储的核心组件是硬盘。业内有一种说法,SDS就是把不可靠的标准化服务器变成可靠的存储系统。这句话背后的技术基础是SDS可以通过跨节点冗余算法容忍服务器节点故障。但是这句话真的完全正确吗?在实践中,一些用户发现他们使用的标准服务器偶尔会在批量硬盘/固态硬盘卡中出现故障,冗余算法失效,导致数据丢失。

通过与软硬件一体化厂商的深入沟通,用户发现一体化存储硬件和标准服务器的质量控制流程有很大不同。标准服务器成本低,生产过程的质量控制大多局限于对CPU、内存、硬盘的简单功能测试。专业存储硬件增加了严格的保护措施,以避免批量硬盘故障,例如:

TOP存储厂商在规划设计新产品时,会严格审核新硬盘供应商的特性、规格和方案,确保新硬盘与存储产品深度兼容。

新硬盘上市前,TOP存储厂商会基于大量样盘对系统的兼容性和稳定性进行几个月的测试,以保证一个硬盘在3到5年的生命周期内正常运行。

如果硬盘和固件发生批量更改,存储制造商将重新执行上述稳定性测试。

一些TOP存储厂商甚至指定了供应商的硬盘生产线。

数据是企业的核心资产,软硬件一体化存储的附加值实际上来自于其背后通常不为人知的故事。

难点二:性能SLA保障

随着企业数字化转型的不断深入,分布式存储已经从最初的开发测试、桌面云等非关键应用逐步走向生产应用。除了上述可靠性SLA要求外,应用程序对分布式存储的性能提出了更严格的要求,尤其是

标准服务器在机房突然断电时没有电池(BBU)保护内存数据,只能使用SD卡/磁盘进行数据缓存。固态硬盘的延迟远高于内存,导致行业内大多数软硬件解耦的分布式存储的延迟无法与生产存储相比。

购买的分布式存储软件无法与第三方服务器的SSD磁盘紧密配合,无法像行业内先进的全闪存存储一样实现全局垃圾回收,控制众多SSD磁盘垃圾回收带来的生产和应用延迟波动。

软硬件一体化的分布式存储有机会克服上述两个缺陷。我们可以看到,行业内先进的分布式存储产品都采用了类似于全闪存存储和系统级全局垃圾收集的电池保护(BBU),在与传统生产存储相当的高并发压力下实现了1ms的稳定延迟,从而为分布式存储在企业生产应用中的性能提供了SLA保障。

难点三:运维风险

软硬件的解耦给用户带来了很大的维护负担,比如几乎不可能实现有效的自动部署和深度检查。而且在使用过程中出现问题时,供应商容易推卸责任,软硬件厂商的责任界面不清晰,用户可能成为问题定位的第一责任人。

软硬件一体化存储可以提前设计自动化部署技术解决方案,在全生命周期内端到端构建自动化运维能力,从而提高交付、运维效率,降低业务风险。

难点四:长期总拥有成本

软件和硬件脱钩,降低采购成本。

本质是认为标准服务器便宜。然而,存储的附加增值更多是软件、质量控制、技术支持。用户花了很大力气分离采购回来软硬件部署上线后,慢慢发现省的钱相对于DIY的后期投入不值一提。原因很简单,在相同质量要求下,规模化工业生产永远比DIY综合成本低。采购成本是显性的,但综合成本不是简单的硬件采购成本,还要考虑使用和维护成本。

根据行业场景各取所需,实现鱼和熊掌兼得

对于广大着急踏上数字化转型高速列车的行业用户来说,到底是选择软硬解耦还是专业存储厂家预集成的软硬件一体产品呢?在商业的世界里,或许没那么多路线和理念之争。软硬件解耦的优势在于采购成本,软硬件一体的长处在于可靠性和性能。所以,根据用户场景的数据重要性,选择最合适自己的方案才是明智之道,鱼和熊掌其实可以兼得。

软硬件一体已成共识的行业场景:HPC/HPDA(能源勘探、卫星遥感、基因测序、自动驾驶、气象海洋、教育科研、动漫渲染、超算平台等)、平安城市视频监控/交通卡口、超高清视频制作/媒资库、运营商IPTV等。

更适合用软硬件一体的行业场景:政务云;运营商BOM域云化、5G电信云;金融网银、手机银行、前置系统Web应用、票据影像等;大数据分析(政务、运营商、平安城市、金融等)以及各行业备份归档系统。以中国移动为例,早年大量购买分布式存储软件,搭配集采的标准服务器使用。近两年,不管是分布式块还是文件的集采,都已经全面转向软硬件一体模式。

可以解耦的行业场景:各行业开发测试、桌面云。这部分场景数据的重要性略低于生产场景,IT预算紧张的用户,可以尝试。当然,预算足够的用户可以更加稳妥。

无论如何波折,分布式存储未来可期

正所谓不管白猫、黑猫,抓到老鼠的就是好猫。我们相信在较长一段时间内,分布式存储软硬件一体和软硬件解耦会长期共存。总体而言,笔者认为随着数据价值的增高,场景对数据可靠性的要求随之会越来越严苛,市场的天平就会更多偏向软硬件一体;与此相反,场景对数据可靠性的敏感度越低、短期成本敏感度越高,市场的天平就会更多的偏向软硬件解耦。

分布式存储的发展历程无论如何波折,我们更愿意相信它最终会是部正剧,在整个存储市场中占据海量数据承载的主力军位置,铿锵而立,并给人以无穷回味!

图一来源:https://www.snia.org/sites/default/files/SNIA_Software_Defined_Storage_%20White_Paper_v1.pdf

1.本站部分来源于互联网用户自主整合上传,如有侵权,请联系我们删除;

2.文章内容并不代表本站的观点或立场,如有关于文章内容,版权或其它问题请联系删除;

3.本文地址:https://jiatu888.com/wlyx/83924.html

最新文章

网站介绍

本站部分内容收集于互联网,如有侵犯贵司(个人)版权,请联系本站删除。

Copyright@2018-2021 www.jiatu888.com 嘉图网 All Rights Reserved 粤ICP备20051635号 网站地图 tag列表

嘉图网