银行存储系统设计方案

银行存储系统设计方案

1、背景：

某500强银行目前依然采用CDC传统的数据中心解决方案，随着业务的变化和云计算技术的的成熟，应用场景和需求变化越来越难以控制，银行业务高速发展，原有平台已经满足不了目前的应用需求的大量迭代，同时设备和应用的运维挑战难度极高。基于上述原因，总部决定构建CN大区全新的虚拟化（云）平台，采用成熟的虚拟化方案构建VDC基础设施， 根据我们所学习存储信息管理知识，设计一套虚拟化实施方案，考虑到业务的迁移的复杂性，默认不再使用原有设备(降低设计难度)，因为是银行业务需要100%的冗余方案，尽量考虑容灾，存储部分设计按照基础数据为100PB设计，每年增长30%,设计一个满足3年的容量规划方案。 考虑指标点可参考: 存储网络的架构组成、存储设备类型、主机配置（计算和存储）、网络拓扑、虚拟化后共享存储容量的规划、业务部门的划分等因素。

2、需求分析

1.银行的五个分区，生产业务区、综合管理区、网银在线区、产品测试区、运维基础区，产生的数据主要都是非结构化数据，每个区的权限与资源分配也应该有些差别，如果虚拟化方案成熟，可考虑直接构建私有云环境。

2.网络拓扑设计需要保证足够的带宽，需要注意网络访问存在着工作的高峰和低谷期。同时，系统设计要考虑硬件冗余和集群等设计。

3.银行对于数据保存的要求是比较严格的，所以对于RPO（恢复点目标）和RTO（恢复时间目标）的要求都较高，所以必须保证RPO接近于0，尽量没有数据丢失，RTO尽可能小，可以容忍一小段时间的宕机。

4.系统需要具有高扩展性，而且以虚拟化部署为主。

5.银行数据都是很很强的隐私性，所以必须保证数据安全。

3、主要工作目标：

1、目标设计

基础设施应满足根据不同业务实现每个分区个性化配置；数据保存应满足近零的RPO、尽可能小的RTO以及尽可能高的数据完整性和安全性；整个系统应满足高扩展性，并一虚拟化部署为主；容灾应满足业务连续性。

2、存储方案设计

基础设施

由于每个分区业务不同，因此性能需求和虚拟机分配数量也就不同，分配方案如下：

1. 生产业务区：银行的业务总体可以分为需求设计，资产业务、中间业务三类，因为处理的业务较多，且资源消耗量也较大，每类任务都部署一台配置较高的虚拟机作为终端服务器，并需要根据操作员人数分配相应数量的终端，从而满足每类业务异构性的需求，使一台服务器可以对应多台终端，这样所需的主机资源数为终端服务器数与相应终端数的和；

2. 综合管理区：综合管理区类似于传统的信息管理系统，因为需要进行信息方面的管理，整个信息的吞吐量以及资源的需求量都比较大，因此需要为其分配一台配置较高的虚拟机作为终端服务器以及满足数量需求的虚拟机；

3. 网银在线区：网银在线区承担银行的网银业务，特点是访问量随时间变化较为明显，所以需要根据当前实际网银业务访问量动态调整虚拟机的数量，从而对网银业务实现负载均衡。同时由于网银在线区的虚拟机需要作为Web服务器使用，因此网银在线区的服务器需要承载更高的业务量，这也要求每台虚拟机需要更高的配置；

4. 产品测试区：产品测试区需要为银行的新产品进行测试，但是总的业务量和资源需求比较少，所以为每个产品根据其需求分配一台服务器终端服务器/Web服务器，在分配时需要根据业务的实际需求，分配配置尽可能与生产环境近似的虚拟机；

5. 运维基础区：主要是对上述的几个区提供运维服务，负责将每个区的数据存储到主机中，因为运维，运维基础区需要对生产业务区、网银在线去、综合管理区、产品测试区提供运维服务，负责将各区数据存储到主机中，需要尽可能稳定的网络环境，但是对资源的需求较低，因此直接分配客户虚拟机，分别对应生产服务区、综合管理区以及网银在线区的虚拟机。

数据保护

总的来说，应在数据的整个生命周期内进行数据保护。在数据被创建时，应当通过管理制度和技术手段确定数据安全级别；在数据存储过程中，应当根据不同级别的数据采用不同的技术手段进行数据存储，敏感数据应分环境，加密存储；传输时，应对数据加密后进行传输，并采用加密协议；在数据使用完毕后，确保完善的技术和管理手段监控数据销毁过程，以防止泄露。

1. 数据分级：

(1) 普通数据：指可以向外部披露的数据，其泄漏一般不会对银行声誉以及客户带来影响。单一普通级信息一般被认为不敏感。例如从公开渠道或政府部门获得的信息、或者在银行网站上公布的信息。包括客户存贷款基准利率、交易汇率、交易渠道等；

(2) 轻度敏感：主要是银行内部使用的数据，一般不被外部使用。该类数据对行内开放而非向公众发布。内部使用级数据在非授权情况下的泄漏将会对银行声誉以及客户带来一定程度的影响。包括客户编号、客户所属机构、客户所属部门、个人客户贡献度等；

(3) 中度敏感：该级别所涉及的客户信息对客户很具隐私性，但是外部监管没有明确的监管要求，该数据在非授权情况下的泄漏将会对银行声誉以及客户带来非常大的影响。包括客户评级信息、合约信息等；

(4) 高度敏感：极度敏感级数据是指涉及组织重要的秘密，关系未来发展的前途命运，或涉及到个人信息保密要求，法律或国家监管对其披露进行了限制，这些数据在非授权情况下的泄漏将对组织根本利益有着决定性影响，造成灾难性损失，导致银行违反国家相关监管或个人隐私保护等法律法规，同时对客户将带及其严重的影响。包括个人资产负债情况、账务信息、违约记录、客户证件信息、客户通讯信息等。

2. 兼用事前预防（预防数据发生泄露）和事后阻断（识别数据泄露并阻断）的技术手段：

(1) 事前预防，采用透明加密，终端安全，磁盘加密等技术；

(2) 事后阻断，采用网络数据防泄露系统（网络DLP），终端数据防泄露等技术。

(3) 给设备配置较安全的操作系统如AIX和虚拟化环境如OpenStack。

计算规划

计算存储成本，首先计算出三个存储级别的数据量最大可能值：

2年后，总数据量约：100PB*1.3*1.3=169PB , 3年后总数据量约：100PB*1.3*1.3*1.3≈

容量规划

考虑到银行的运作模式，根据数据的时效性、业务需求的重要性、存储系统的性能和价格，采用分层存储，分为三层——一级存储、二级存储、三级存储，这三层读写速度降低，稳定性增强，相同价格下容量增大。

1. 一级存储：使用2T NVME SSD 磁盘，RAID10阵列（利用率1/2），零RPO同步远程镜像，存储一个月内使用过的数据。定义一个月内使用过的数据是使用频繁的数据，需要工作级的存储——在线存储，即存储设备和所存储的数据时刻保持在线状态，可以随时读取和修改，以满足前端应用服务器或数据库访问数据的性能需求。一方面使用NVME SSD磁盘，提高访问速度；另一方面使用具有三组相同镜像集的RAID10阵列，增强数据稳定性和安全性；

2. 二级存储：使用2T SAS 15000转磁盘，RAID5阵列（利用率（n-1）/n），分钟级RPO异步远程镜像，存储一月之外一年之内使用过的数据。对使用比较不频繁的数据使用近线存储，兼顾存储性能、数据安全和存储成本；

3. 三级存储：使用12T SATA 15000转磁盘，RAID5阵列，CAS架构，存储剩余数据。对一年内未使用过的历史数据或备份数据进行离线存储，采用有自愈功能的CAS架构对数据进行归档，以降低总体成本，降低存储管理开销，保障数据安全完整。

容灾规划

由于在存储方案设计过程中已经充分考虑了服务器的存储备份机制，本地的容灾问题通常可以被及时解决，不会导致严重的后果。因此，在容灾规划中，重点考虑遇到重大灾害，导致本地的系统和数据全部无法及时恢复时，启用远程容灾方案。要实现完整的异地应用容灾，既要包含本地系统的安全机制、远程的数据复制机制，还应具有广域网范围的远程故障切换能力和故障诊断能力。也就是说，一旦故障发生，系统要有强大的故障诊断和切换策略制定机制，确保快速的反应和迅速的业务接管。由于以虚拟化部署为主，系统并不依赖具体硬件，所以容灾规划不需要考虑物理环境的搭建。不论是各生产系统还是容灾中心，只要是具备虚拟化能力的数据中心，都可以部署异地虚拟化容灾。

3、网络架构设计

1. 安全架构采用“核心——边缘”分区模块化架构，包括三个功能区：

(1) 互联网接入区：部署链路分担设备、流量清洗、外网边界防火墙；

(2) 业务区：部署网银在线区服务集群、RA服务节点、IPS、SSL卸载&服务器负载分担设备、内网边界防火墙；

(3) 数据中心内网区：部署生产业务区、综合管理区、产品测试区、运维基础区服务集群。

4、虚拟化（云）方案

采用分布式存储技术，使用OpenStack私有云平台提供服务，计算存储耦合联动，实现整体架构上的分布式。应用OpenStack云管理架构的三大存储模块：

(4) Cinder支持存储复制：云管理员可以定义存储策略来支持复制功能；

(5) Glance的多地域支持：新的映像选择策略，允许Glance映像服务选择最优的后端存储空间；

Swift的容备：全局分布式集群特性异地容灾，主中心灾难后，在另外的数据中心有所有数据的副本；业务级双活/多站点共享：数据在一个数据中心保存，在另外一个数据中心可以快速访问到。将灾备范围扩大到整个Animbus OpenStack云，通过对控制节点元数据的复制，恢复一个完整的云环境，以及云上的所有组件和业务系统，使得RTO尽可能小（若干秒）。