设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 创业者 手机 数据
当前位置: 首页 > 站长资讯 > 动态 > 正文

QingStor NeonSAN全闪数字化实践:生于云端的关键业务之选

发布时间:2020-04-28 14:05 所属栏目:15 来源:站长网
导读:副标题#e# 稳定可靠和高性能,是企业对存储产品的两个需求初衷,而随着企业的业务规模快速增长、场景应用逐步云化,传统SSD替换HDD的方式甚至是全闪阵列已难以应对业务扩展的需求,同时有些系统在成本上碍于集中式的硬件设计居高不下,运维难度也相对较高。

稳定可靠和高性能,是企业对存储产品的两个需求初衷,而随着企业的业务规模快速增长、场景应用逐步云化,传统SSD替换HDD的方式甚至是全闪阵列已难以应对业务扩展的需求,同时有些系统在成本上碍于集中式的硬件设计居高不下,运维难度也相对较高。此时,一些厂商就将目光投向了分布式全闪架构,这也是青云QingCloud正在采用的做法。

近年来,SSD成为存储行业新的增长驱动力,全闪部署已是大势所趋。相较于HDD,SSD的IOPS性能和低延迟有着质的提升,单盘容量受益于NAND颗粒成本降低,以及单盘NAND密度的增加,与市场上主流的HDD相比几乎相当。QingStor NeonSAN正式发布三年以来,已广泛服务于金融、能源、制造、医疗、传媒等行业,支撑了企业核心业务应用。由于采用了分布式架构和专为全闪设计的软件栈,使得其可扩展性、性能表现、部署成本均有优势,基于标准x86硬件和标准NVMe SSD盘的设计也让其有着很好的通用性。

在IDC最新发布的《中国软件定义存储及超融合市场跟踪研究报告,2019Q4》中,青云QingCloud旗下QingStor企业级分布式存储和青立方超融合双双入围核心厂商。其中,QingStor NeonSAN连续两年入围,跻身软件定义块存储市场四强,并且带动QingStor企业级分布式存储近三年复合增长率超过600%。凭借高可靠、高可用、高性能的存储服务,诞生于全闪时代的QingStor NeonSAN已成为企业核心业务云化转型的首选。

QingStor NeonSAN全闪数字化实践:生于云端的关键业务之选

QingStor NeonSAN

就像名称中的“Ne”元素一样,QingStor NeonSAN自设计之初就将稳定可靠视为立身之本,并且由于是完全基于SSD新介质设计的全闪架构和软件栈,可以最大程度发挥硬件的高性能。“青云QingCloud从起初做公有云开始,云硬盘就是软件定义存储技术的简单雏形。青云QingCloud做存储的理念,从一开始到现在都是和云紧密相连的。我们的产品更匹配云原生应用,适合在云上跑的分布式应用,对此QingStor NeonSAN有一些心得,在产品表现上也有自己明显的优势。”QingStor存储产品经理冯相东说。

产品设计上,QingStor NeonSAN通过对数据、软件架构和硬件组网的高可靠设计,可靠性可以达到9个9。同时,单卷性能超过10万IOPS,三节点集群性能可达到100万IOPS以上,时延控制在90微秒的量级,单卷容量达到100TB以上。节点扩容方面,1个集群可扩展至4096节点,保证性能和容量随节点增加而线性增长。数据层、控制层、前端接口(为各种应用客户端使用),以及管理运维,共同组成了QingStor NeonSAN的核心模块组件。

冯相东介绍称,QingStor NeonSAN从三个维度构建了稳定高可靠的架构。软件高可用方面,青云QingCloud梳理了I/O路径上的所有软件模块,在每一个关键软件模块上都做了高度冗余处理,每个处理I/O的模块会有3个以上的高可用模块同时承担任务,当其中任何模块发生异常或者硬件错误时,其他模块可以做接管。其中,ZooKeeper服务、元数据服务、管理服务、数据存储服务、接入服务等核心组件均冗余且高可用,并且可以自动切换。

数据高可用方面,主要通过数据分片和多副本策略,提供了多副本间数据的强一致。“我们在做数据处理时,每写入一笔I/O,比如写入一个A,一定要在集群(例如三节点的集群)的每个节点上把这个A 100%确认完全写入后,才会对上层应用返回,通知这笔写入完成了。保证在写入数据时,写入到3个完全可靠,100%一致的副本上。这3个副本其中任意1个或者2个副本发生损坏时,还有可用数据给前端业务使用,不会对数据本身的可用性产生任何影响。读的时候,我们会选取3个副本中的1个副本作为主副本,以保证读的时候,整体效率达到最高。”冯相东说。

硬件高可用方面,青云QingCloud采用多层冗余的硬件架构,比如最小规模是3节点集群,当任意一个节点宕掉时,其他节点可以正常提供业务。网络组网时,每个节点都有冗余的网口对外提供业务,其中任何一个网口发生故障时,该网口的业务流量会转到另一个正常的网口上,继续提供服务。在每个存储节点之间,数据交互有专门的存储网络,连接后端交换机。在存储网络的处理上,青云QingCloud会在每个节点上选取两个网口连接后端交换机,同样具备容错能力。

除了高可用之外,性能表现同样关键。为此,青云QingCloud针对三个环节进行了深度处理。首先,在压力测试时可以让NVMe SSD的硬件性能达到80%甚至是90%,远高于同类开源产品的标准,在节点通讯上引入支持RDMA的网络技术,大幅降低节点间数据同步时延和CPU消耗;其次,块存储I/O从应用直接落到裸盘上,中间不会使用文件或对象存储作为中间格式,达到最简I/O路径,从客户端发送I/O请求开始,在NeonSAN只经过存储软件和SSD设备两步;此外,分布式存储架构的设计支持横向扩展,可以让性能和容量得到很好的线性扩容。

QingStor NeonSAN的部署场景主要分为两种:作为后端各种云、虚拟化平台的数据盘,作为关系型数据库后端的块存储平台。同时,也会为物理机后端数据盘的资源池、大数据分析提供存储平台,以及为容器平台提供持久性存储方案。为此,QingStor NeonSAN为容器环境做了很多优化适配,不仅可以通过CSI插件对接原生Kubernetes平台和青云QingCloud的KubeSphere容器平台,还可以对接青云QingCloud分布式数据库RadonDB。

目前,QingStor NeonSAN已覆盖主流的云及虚拟化平台,包括青云QingCloud、VMware、OpenStack、Hyper-V等等。例如,QingStor NeonSAN是VMware的技术合作伙伴,获得了VMware Storage ready认证,并且支持VMware VAAI-Block功能,可以为VMware虚拟机提供高级功能,使其直接调用存储端的高级特性,更高效地满足VMware虚拟化数据中心的存储需求。

当然,使用QingStor NeonSAN替代传统存储并不是马上就可以承接全部核心业务,青云QingCloud为此构建了一套完整的方案,包括获取需求、引入利益相关者、了解环境的约束条件、测算数据库负载,调整迁移策略,以及后续的长期规划等,还对整套系统进行监控和调优。

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读