高性能云存储规划指导

1、高性能云存储部署形态说明

部署形态	支持情况	描述	说明
标准云部署	支持	通过存储节点的新建或扩容，拓扑预置高性能缓存盘，通过平台云产品激活，提供给当前平台高性能云存储能力。	NA
融合部署	不支持	通过计算存储节点的新建，拓扑预置高性能缓存盘，通过平台云产品激活，提供平台高性能云存储能力。	当前版本不支持高性能节点和计算节点的融合部署。可考虑采用计算存储融合+扩容高性能存储的方式，计算存储节点提供容量型存储能力以及存储容量空间，高性能节点提供高性能存储能力。
第二套部署	支持	通过第二套部署方式，以iSCSI提供给第一套平台存储能力。通过第二套进行监控、节点管理、高性能云产品管理。	支持三节点最小规模起

1.1 标准云部署

独立存储节点角色可提供iSCSI的高性能块存储能力，需要通过新建或扩容的方式，让任意具备高性能NVMe设备的三节点起的存储节点通过云产品激活为高性能存储节点。

存储集群	产品是否支持	说明
新建	支持	3+M个存储节点的环境可以具备3+N个高性能存储节点（M≥N,N≥0）
扩容	支持	原存储为611ESS，可扩容3+N个高性能存储节点（N≥0）
原地升级	不支持	由于ecas无法动态识别高性能设备，安装部署会依赖ecas的拓扑信息，所以无法支持直接插盘的方式激活高性能
删扩升级	不支持	由于删除扩容对原存储环境有调整冲击，暂未做相关场景的评估和验证，需要针对具体项目和方案讨论

1.2 融合部署

融合部署不支持的场景为使用高性能存储的计算节点角色和高性能存储进行融合部署，节点即作为计算节点，同时也作为高性能存储节点。
限制条件因素为，融合的角色故障时，需要解决HostHA迁移虚机和卷设备挂载时，与高性能节点同时发生故障场景下的配合问题，所以HostHA在这类节点上的节点故障场景是受限的，预计下个版本优化此场景的配合问题。

形态	是否支持	说明
控制+计算存储（存储高性能）	不支持	当前版本不支持
控制计算存储超融合（存储高性能）	不支持	当前版本不支持
控制计算存储超融合+计算存储（存储高性能）	不支持	当前版本不支持
计算存储超融合+高性能存储	支持	仅支持在纯存储节点使用高性能
控制计算存储+计算存储+高性能存储	支持	仅支持在纯存储节点使用高性能

1.3 第二套部署

第二套部署是指，高性能云存储通过独立部署，提供给其他平台iscsi存储能力。
形态为：控制存储计算（计算仅提供云产品能力，屏蔽计算使用入口）+通过存储节点扩容，最小三节点起

2、产品依赖关系说明

云产品	版本	说明
云监控服务	6.2.1	部分依赖，低版本监控无法显示高性能云存储服务在控制服务状态中的信息。
HostHA	6.1.2	部分依赖，HostHA低版本部署时，无法选定探测IP-SAN网络，目前有标准化变更方案同商存对接。可配置HostHA时，将存储ipsan网络和storagepub网络规划于同一网络物理链路，仅用storagepub网络探测来解决此问题。

3、部署规划原则说明

3.1节点配置原则

1. CPU主频建议≥2.2G，不低于2.0G（低于基线）。主频越高性能提升越大，主频提升比例和随机小iops提升在硬件极限范围内约为线性关系。
2. CPU为两路超线程10核以上，建议12核以上，核心数越多单节点的可配容量越大。粗略计算，EOS预留8线程，每个OSD预留3线程，高性能80T以下预留8线程，80T以上预留16线程。基于以上，建议单节点cpu线程数 ≥ 单节点OSD数*3+8+（8/16）。
3. 一云多芯场景下，高性能的限制要求和存储节点相同，需要和控制节点同架构。

   

3.2网络配置原则

1. 计算端，如ESS和高性能存储在同节点混用，存储业务网（ipsan）和存储前端网（storagepub）计算节点共用一个bond。（便于hostHA检测）
2. 存储端，至少两千四万，存储业务网（ipsan）和存储前端网（storagepub）可以共用一个bond，存储后端网（storage）单独一个bond。
3. 如有大带宽需求，可以配置lacp提升带宽能力。

   

3.3硬盘配置原则

3.3.1高速缓存盘配置原则

高性能云存储支持通过在存储点上配置高速缓存盘加速，支持高速缓存盘接口类型如下：

接口类型	说明
PCI-E NVMe SSD	设备不支持热拔插和硬盘点灯操作；
如节点不止一块NVMe磁盘，建议在部署阶段以贴标签的形式记录SSD位置。
U.2 NVMe SSD	设备不支持点灯操作；
软件未兼容全部设备的热插拔场景，如有运维诉求，需提前验证。
如节点不止一块NVMe磁盘，建议在部署阶段以贴标签的形式记录SSD位置。

1. 配置的高速缓存盘型号需满足硬件兼容性要求，同时：
   a. 企业级读写混合型SSD
   b. DWPD（Diskful Writes Per Day）推荐≥3
   c. NVMe随机读/写分别大于15w IOPS （4k Blocks）
2. 配置的高速缓存盘必须在存储角色节点上
3. 每个节点最多可配置2块NVMe，第二块主要提升单节点密度，性能差异不大。
4. 高速缓存盘容量推荐使用≥ 2TB，最低1.5TB
5. 配置高速缓存盘的节点数≥ 3
6. 同一套高性能云存储中，高速缓存盘配置需要一致。

   

3.1.2容量及性能规划原则

1. 高速缓存盘单盘容量≥ 客户高性能裸容量需求 /（高性能存储节点数量每节点高性能缓存盘数量12）
   举例：三节点高性能存储，客户需要40TB的高性能云硬盘使用容量（裸容量40*3TB），每个节点2块高速缓存盘，则高性能缓存盘单盘容量 ≥ 1.6TB（120TB/3/2/12）。
2. 存储OSD总数量 ≥ 高性能节点数量 * 8
   高性能和ceph性能要满足比例关系，ESS能提供的总性能要高于高性能云存储的极限性能/10，以保障业务承接。
   按每个OSD可提供1200iops计算，每个高性能可提供100k iops，有N个存储节点，而ESS共有M个OSD，则需满足M1200 ≥ 100kN/10，M ≥ N *100k/1200/10(≈8)
   举例：三节点高性能存储，每个节点至少两个SATA SSD的缓存磁盘组各拖4个以上OSD，或者一组OSD数量大于8的NVMe缓存磁盘组（一个SATA SSD可以拖4-6个osd，一个NVMe可以拖8-10个osd）。

3.4推荐配置方案

单节点80T以下，推荐cpu配置为两路12核及以上可超线程2.1G及以上服务器，采用1块3.2TB及以上企业级读写混合NVMe作为高性能缓存，采用两块960G以上 SATA SSD或一块1.6T及以上NVMe作为磁盘组缓存，磁盘组建议配置12块6T或10块8T机械盘。

单节点80T以上，推荐cpu配置为两路14核及以上可超线程2.3G及以上服务器，采用1块6.4TB或2块3.2TB及以上企业级读写混合NVMe作为高性能缓存，采用两块960G以上 SATA SSD或一块1.6T及以上NVMe作为磁盘组缓存，磁盘组建议配置12块8T或10块10T机械盘。