基于 NVMe Over TCP的分布式全闪存存储解决方案

　　随着互联网，物联网，人工智能等现代科技的发展和大规模应用，数据规模呈几何式增长，数据的存储和使用面临新的挑战。浪潮与英特尔联合 Lightbits Labs提供基于 NVMe/TCP的全闪存存储解决方案。以技术革新推动业务创新，帮助用户应用最先进的架构来实现云和数据中心基础设施创新优化，助力企业存储技术实现性能突破。

　　随着大数据、云计算、物联网等新兴技术的快速发展，全世界已经进入数字经济时代，存储技术作为数字时代发展的基石，在过去的十年中发生了翻天覆地的变化。以闪存为代表的新型存储介质在性能和延迟方面比机械硬盘有了数量级的提升，固态硬盘开始逐步取代机械硬盘成为主流存储设备。为了充分发挥出高性能硬件的优点，NVMe协议规范应运而生。NVMe 标准组织定义了 NVMe over Fabric (NVMe-oF)协议。然而， NVMe-oF 开始只支持光纤通道(Fiber Channel，FC)和远程直接内存访问（ Remote Direct Memory Access， RDMA）， 两种方式均需要专有网卡部件和交换机的支持，增加了部署的难度和成本。 我们需要一种新的、成本更低的方式来发挥NVMe 的速度和性能。

　　Non-Volatile Memory Express over TCP（NVMe/TCP）是由包括英特尔和Lightbits Labs在内的各行业参与者组成的NVM Express联盟开发的行业存储传输标准。Lightbits是NVMe/TCP协议的发明者，并且和Intel 等业内同行标准化了该协议，使之成为NVMe over Fabrics的一部分，从而为业内提供了实现高性能存储服务器的协议基础。使用NVMe/TCP作为高性能传输协议，无需任何特殊设备和配置即可支持常用的标准以太网。 NVMe/TCP 具有更低的时延和更高的吞吐量，是现有数据中心存储系统的更好选择。

　　浪潮、Intel和Lightbits Labs联合推出基于NVMe/TCP的分布式全闪存存储解决方案，使用搭载了英特尔®傲腾™持久内存和浪潮 NS8610 G1固态硬盘的浪潮服务器作为数据高效处理和存储的硬件基础架构，以 Lightbits 为软件定义存储的高效数据处理平台，面向云和数据中心提供更高性能的软硬件一体化存储解决方案。

　　

　　图1：浪潮-Lightbits软硬件一体化全闪存存储解决方案

　　图1展示了浪潮-Lightbits软硬件一体化全闪存存储解决方案。本方案具有如下优势：

灵活配置、弹性扩展

　　方案采用浪潮全新一代2U2路NF5280M6机架式服务器硬件平台和Lightbits分布式软件定义存储软件平台。

      ●NF5280M6服务器拥有极丰富的配置满足各行业应用配置需求，最大支持 20块3.5“硬盘或 39 块 2.5”硬盘，前置支持12块SATA/SAS/NVMe 热插拔磁盘， 支持可选的后置 M.2/RSSD 模块，满足多样化存储需求；支持32条3200 MT/s DDR4 ECC内存，内存支持RDIMM 类型并支持DCPMM类型内存，可提供优异的速度和大容量内存。 支持可选的 OCP3.0模块，提供 10G、25G、40G、100G、200G 多种网络接口选择。

      ●分布式存储软件Lightbits支持硬件配置灵活扩展，支持NVMe资源池弹性伸缩，支持逻辑卷动态迁移扩展，通过存储和计算解耦合，提高基础设施的使用效率。满足云和数据中心对基础设施灵活配置、弹性扩展的需求。

高带宽，高IOPS，低延迟

　　Lightbits高性能软件定义存储平台专为充分发挥NVMe SSD的高性能而量身定制设计并开发，充分运用最新技术，包括NAND闪存优化、英特尔®  傲腾™持久内存和带ADQ功能的英特尔®高速以太网网卡等，提供高带宽，高IOPS，低延迟的高性能存储解决方案。

      ●方案使用浪潮NS8610 G1企业级NVMe SSD，采用浪潮自主开发的先进固件架构和微槽道散热硬件设计，提供3.5GB/s的高速带宽和825K的4K IOPS，同时拥有极低的I/O抖动，4K随机读写IOPS一致性达99%以上，拥有86/14μs的读写低延时，满足数据中心和企业级应用存储高性能、低延迟需求。

      ●方案搭载英特尔® 至强® 第三代可扩展处理器，多核密度提升，内置英特尔® AVX-512、英特尔® Speed Select Technology等多种加速技术，相比上一代平均性能提升46%，保障系统高性能计算能力。

      ●方案使用英特尔® 傲腾™ 持久内存200系列作为写缓存和元数据存储。充分利用傲腾™ 持久内存的高性能、低延迟特性，提升系统带宽和IOPS，实现稳定一致的低延迟。

      ●方案使用英特尔® E810网卡，利用该网卡的应用设备队列 (ADQ)功能，为高优先级应用流量建立专用队列，保障了稳定一致的低延迟，提升吞吐量。

数据高可靠性、安全性和高可用性

　　该联合方案在软件和硬件层面均采用多重保护技术，增强了数据可靠性、安全性和可用性。

      ●浪潮NS8610 G1企业级NVMe SSD,内置创新设计NAND特性自学习算法模型，NAND Flash P/E 提升40%，极大延长固态硬盘寿命。

      ●软件内置智能闪存管理IntelligentFlash Management ™（IFM）功能，最大限度提高SSD性能，延长固态磁盘耐用性。

      ●利用英特尔® 傲腾™ 持久内存的非易失性保障写缓存数据掉电仍不丢失，确保了系统的高可靠性。

      ●分布式存储节点内部使用弹性纠删码机制，保障在SSD一旦损坏时数据不丢失；集群内跨存储节点实现灵活的副本机制，保障在存储节点失效时数据服务仍安全可用。

      ●强大的容错纠错机制，可校验并纠正数据的静默错误；全路径的端到端数据保护，并支持将卷备份到S3并从S3恢复卷的功能。

丰富的企业级存储功能

      该方案全面支持主流企业级存储功能，包括多副本与纠删码、压缩与精简配置、快照、克隆、QoS、负载均衡、静默数据错误校验及恢复、SSD故障自愈、存储节点故障自愈、多租户支持等。

简化部署、智能运维

      该方案为软硬件一体化解决方案，经过充分验证，确保兼容稳定。方案基于NVMe/TCP优化，支持标准的以太网部署方式，支持主流Linux、VMware等原生系统，无缝集成Kubernetes、OpenStack等虚拟机及容器编排系统，不需要安装私有软件，特殊驱动等，可通过简单命令行操作实现系统安装部署，提供即插即用的存储服务，大大简化部署的复杂度。

      应用BMC技术，通过Web管理界面、故障诊断LED等指引设备，实现问题快速定位，简化运维，提高系统可用性。硬件层和平台层监控告警结合，保障机器稳定运行，并减少宕机的几率。

解决方案验证：功能兼容稳定、性能优异

为了验证方案的应用优势，浪潮、 Intel和 Lightbits 共同围绕产品兼容性以及用户最关心的性能指标进行了测试。

测试使用标准 Benchmark 工具 FIO。测试配置如表1所示。

	Lightbits存储服务器	客户端
CPU	2*Intel® Xeon® 6338 32Cores@ 2.0GHz	2*Intel® Xeon® Gold 6342 24Cores@ 2.8GHz
内存	16*16GB DDR4，共256GB	32*32GB DDR4, 共1TB
英特尔®  傲腾™持久内存	8*128GB，共1TB	无
SSD硬盘	12*1.6TB NS8610 G1 SSD	无
网络	1*英特尔® E810 100Gb双口以太网卡	1*英特尔® E810 100Gb双口以太网卡

　　表1：测试服务器硬件配置表

　　测试结果

　　1) 4KB数据块，2副本，100%随机读性能测试

　　

　　图2：4KB数据块，2副本，100%随机读性能测试结果

　　2） 4KB数据块，2副本，100%随机写性能测试

　　

　　图3：4KB数据块，2副本，100%随机写性能测试结果

　　3）4KB数据块，2副本，70/30混合随机读写性能测试

　　

　　图4：4KB数据块，2副本，70/30混合随机读写性能测试结果

　　4）4KB数据块，2副本，50/50混合随机读写性能测试

　　

　　图5：4KB数据块，2副本，50/50混合随机读写性能测试

    详细测试数据参考表2：

测试项目	100%随机读	100%随机写	70/30混合随机读写	50/50混合随机读写
4K 随机 最大IOPS(KIOPS)	7202K	1430K	3726K	2551K
4K 典型随机 IO 延 迟	6866K (对应QD=12)	1001K (对应QD=2)	2800K (对应QD=6)	1924K (对应QD=4)
4K 平均延迟(us)	502	551	读：525 写：808	读：463 写：712
4K 尾部延迟 : 99% (us)	798	1155	读：1105 写：1499	读: 985 写：1444

　　表2：4K数据块随机读写性能测试结果表

测试结果表明：

       ●在使用4KB块负载进行的读写测试中，3台存储服务器组成的集群超过700万随机读IOPS，接近100Gb网络带宽极限值，同时保持非常低的延迟。生产环境中增加客户端数量可达到更高性能。根据Lightbits参考配置，如为每台服务器配置两块100Gb网卡，可以使得3台服务器集群提供约1400万 IOPS的总随机读性能。

       ●在使用4KB块负载进行的读写测试中，3台存储服务器组成的集群的100%随机写性能和混合读写性能优异，同时保持稳定一致的低延迟。

       ●经过充分功能性及稳定性测试， 表明浪潮 NF5280M6 服务器与Lightbits软件定义存储系统兼容良好，各功能均正常稳定。长时间运行下，整个环境的可靠性及高可用性均表现出色。

　　浪潮与英特尔联合Lightbits Labs发挥优势，强强合作，以搭载英特尔®傲腾™持久内存的浪潮服务器打造基于 NVMe/TCP 的全闪存解决方案。 浪潮-Lightbits分布式全闪存存储解决方案利用持久性存储和端到端的NVMe /TCP等新技术，释放闪存的优异性能，实现更优异的弹性扩展能力，是用户数据库、数据分析、云基础设施等场景下高性能存储的更佳选择。

　　该联合解决方案无缝兼容当前OpenStack, Kubenetes, VMware等各种云平台，提供完全标准化的客户端驱动，真正实现方案的即插即用。借助浪潮-Lightbits分布式全闪存存储解决方案，云原生应用可以实现超高性能，云数据中心借此降低TCO，助力企业实现数字化转型升级。