UNISINSIGHT X3000云存储解决方案建议书
1 需求分析
随着视频监控系统规模越来越大，以及高清视频的大规模应用，视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素，面临着多重挑战。 面对百PB级的海量存储需求，传统的SAN或NAS在容量、性能、可靠性上会存在瓶颈。
这种瓶颈，是由存储架构和模式决定的。传统的安防系统是scale up架构，且存储资源是静态绑定的，即某个摄像机的存储资源只能存储在某个固定的节点上。这种的架构存在下面的问题： 可靠性较低：数据的可靠性取决于存储设备硬件，若产生节点损坏，会导致绑定到这台存储设备上的录像中断，该节点的数据无法读取，若故障无法修复，则该节点数据完全丢失。
维护冗余性低：传统安防存储通常采用RAID阵列阵列重建期间再坏一块硬盘会导致阵列失效，风险大，需要及时维护，维护的冗余性低。
热点读取瓶颈：传统安防存储基本靠人工调阅查询，读写比例通常固定在1:10，被称作“数据坟墓”。智能分析将数据激活，通过结构化发现更多的价值，对数据的读取需求大大增加，从而数据的读写比例变为1:1。特别是涉恐案件的突发导致某些热点数据成为读取瓶颈。
业务扩容受限：摄像头的存储空间如果需要扩容，节点增加扩展柜能力有限，会受到存储设备容量的限制。
而云存储可以突破这些瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。
2 方案设计
2.1 系统概述
UNISINSIGHT X3000系列（以下简称X3000）是紫光华智自主研发的全对称分布式存储系统，为了解决视频监控项目海量数据存储、读写速度缓慢等问题，X3000产品依托先进的分布式系统架构和强大的扩展能力，提供高效的存储性能和海量的存储空间，同时保证存储空间利用率和存储数据的可靠性及稳定性，满足用户图片、视频、文档等重要数据的存储需求，为整个视频监控系统提供了一个高效、稳定的存储平台。
2.2 系统架构
X3000云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括OSD（Object-based Storage Device，对象存储设备）、Monitor（监控服务）、Client（客户端）、MDS（metadata server，元数据服务）以及运维管理服务的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。
系统架构框图如下图所示：
其中，存储集元数据由元数据服务集管理，元数据都集中存放在OSD上，元数据服务只用来处理元数据请求已经缓存部分元数据信息；OSD守护进程对应一块硬盘（SSD或HDD），主要提供数据存储服务，数据以对象的形式存储在OSD上；监控服务用来维护集视图信息，集视图包括监控视图、OSD视图、元数据服务视图，这些视图构成了集
的元数据；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。
X3000云存储系统主要包含三个层次功能，来满足用户、系统管理员、运维人员的日常操作需求：
● 存储层：基于单个存储节点，管理本地的硬盘、文件和数据块。
✧ 硬盘热插拔：硬盘动态增加和删除，同步硬盘内的文件信息。
✧ 硬盘漂移：节点故障时，支持把节点上的硬盘取下来放到新的存储设备上，快速恢复数据。
✧ 对象数据块管理：对象存储到节点后，会形成多个数据块。
● 文件系统层：提供集的管理能力
✧ 节点管理：管理多个存储节点，支持节点上下线，搜集节点信息。
✧ 动态负载均衡：根据节点的CPU、网络、磁盘的负载情况，动态选择负载最轻的节点参与工作。
✧ 对象管理：响应客户端的对象操作请求，为对象分配合适的存储节点，提供唯一ID。
✧ 目录管理：提供文件对象的目录视图，支持文件路径查询。
✧ 运维管理：提供运维Web服务，支持设备动态添加删除，系统升级等。
● 业务层：提供丰富的访问接口，适应各种应用。
✧ SDK接口：通过SDK直接访问云存储系统，进行基本文件操作。
✧ POSIX接口：提供Windows/Linux驱动，将云存储模拟成本地硬盘。
✧ NFS/CIFS接口：提供网络文件系统服务。
✧ WebService：通过Web服务器提供Web服务，并提供Restful的接口形式。
✧ 用户可根据自身需求，充分利用各种接口，为视频监控等业务系统提供服务。
2.3 系统组网
分布式文件存储系统实现了标准POSIX接口，并通过NFS协议和CIFS协议分别为Linux和Windows用户提供文件系统共享服务。按照分布式存储系统规格要求，单集规模需≥3节点。
X3000集组网如下所示，主要包括管理网，业务网和存储网。
管理网络：
共青团中央委员会配合Handy组件承载存储集管理业务，重要程度高，建议独立组网，带宽要求较低，可选用千兆带宽。
业务网络：
用于与用户网络相连，提供共享业务，重要程度高。
存储网络（存储前端网和存储后端网）：
承载存储业务数据（存储前端网），存储后端心跳报文、数据分发和迁移等数据流量（存储后端网），可能有较高的突发流量，带宽要求大，重要程度高。
根据实际业务流量，可确认业务网络与存储网络是否合一建设。
2.4 硬件规格
产品型号 | X3036P-G3 | X3016P-G3 |
系统架构 | 全对称分布式架构 | 全对称分布式架构 |
CPU/节点 | 2*Intel Skylake Xeon 3104 (6 cores/1.7GHz/85W) | 2*Intel Skylake Xeon 3104 (6 cores/1.7GHz/85W) |
缓存/节点 | 256GB及以上，最大支持768GB | 128GB及以上，最大支持768GB |
数据盘数量 | 36*LFF | 14*LFF+2*SFF |
数据盘类型 | SATA SSD+SATA HDD | SATA SSD+SATA HDD |
硬盘节点 | 阈值分割1)1*480G/960G +35*4T/6T/8T/10T 2)6*480G/960G +30*4T/6T/8T/10T | 安瓦尔事件2*480G/960G+14*4T/6T/8T/10T |
管理网口 | 1-port GE | 1-port GE |
前端网络 | 2-port 10GE | 2-port 10GE |
内部互联网络 | 2*(2-port 10GE) | 2*(2-port 10GE) |
电源 | 类型 | 1*AC + 1*AC | 1*AC + 1*AC |
输出功率 | 1200W(12V/97A，12VSB/3.0A) | 550W(12V/44A，12VSB/2.0A) 联想s96 |
输入电压/频率 | 100V～240VAC；50/60Hz 192V～288V(240VDC 高压直流) | 100V～240VAC；50/60Hz 192V～288V(240VDC 高压直流) |
尺寸/节点
HxWxD | 174.8mm x 447mm x 794mm 标准4U机架式服务器 | 87.5mm x 445.4mm x 769mm 标准2U机架式服务器 |
节点重量 | 50Kg(满配) | 25Kg(满配) |
典型功耗 | 营养点菜师600W | 400W |
环境温度 | 第二军医大学出版社工作 | 5℃～35℃ | 5℃～35℃ |
贮存 | -40℃～70℃ | -40℃～70℃ |
环境湿度 | 工作 | 8%～90%(无冷凝) | 8%～90%(无冷凝) |
贮存 | 5%～95%(无冷凝) | 5%～95%(无冷凝) |
| | | |
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议