1.1存储需求概述
XX 天网二期需要建设 XX 个高清监控点位，随着城市防控体系系统规模越来越大，以及高清视频的大规模应用，对系统中需要存储的数据和应用的简单程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以兑换券制作
调用，对存储系统的牢靠性和性能等方面都提出了的要求。 面对数百 TB 甚至上 PB 级的海量视频存储需求，传统的 SAN 或 NAS 在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于本工程存储系统来说是一个选择。
视频云存储通过软件运用集技术、虚拟化技术、分布式存储技术将网络中的存储设备集合起来协同工作，共同对外供给数据存储和业务访问功能。为满足本次高清点位视频存储的需求，同时符合行业进展趋势，满足业务使用需求，本次 XX 天网二期拟建设云存储系统进展录像存储和业务访问接口。
大容量存储需求
随着各地城市视频监控系统建设的深入，摄像头数量日益增多。前端建设普遍承受 1080P 高清摄像机。依据平安城市的建设要求，高清图像存储 30 天，那么一万路视频的总存储容量需要大致为十几个 PB。
集中存储需求
对于城市级系统数十 PB 的存储需求，假设承受通用 IPSAN 存储方案，则需上千台 IPSAN，难以实现高效、统一的存储与设备治理，无法高效支撑公安视频实战应用。
高 IO 性能需求
基于视频大数据的智能实战应用对大量视频的快速收集与分析有格外高的要求，而传统 IPSAN 存储方式由于 IO 性能低，无法满足视频大数据应用的存储与应用要求。
1.2存储系统根本要求
在设计 XX 天网视频监控系统存储系统时，依据以下设计要求：
(1)监控点的录像过程将对网络交换设备产生很大的压力，核心交换机应能负担如此大的交换压力，需考虑网络故障以后录像数据的缓存功能以及网络恢复以后的补录功能。
(2)能集中治理全部存储资源并统一调度，统一部署存储策略。与存储资源物理位置无关，只要 IP 网可达，便可实现对存储资源随时随地检索和回放。
（3）保障存储系统数据的安全性，对访问权限进展集中治理与安排。
（4）存储空间统一治理、统一安排，可实现无缝在线扩容。(5)存储系统具有冗余备份的力量，供给持续稳定的性能。(6)存储系统供给标准的运维接口，维护简洁便利。
(8)存储系统具备高牢靠性，消灭设备故障后，存储业务不中断。
本工程在 XX 分局建设分布式视频云存储中心，每个存储中心依据接入到该区的视频前端的数量实际状况，规划建设分布式云存储系统。
1.3云存储拓扑示意图
UCS 的存储节点通过 Uni-FS 分布式文件系统，将多台存储节点上的物理资
源形成一个统一的大存储池对外供给数据存储空间，并供给数据保护功能。
云存储供给标准的CIFS/NFS/FTP/ 等文件传输访问协议；
通过流媒体效劳器过存储效劳器实现照片流，视频流的转存；
供给标准访问接口，兼容性好；
高空施工
利用云存储供给的纠删码、复制卷等多种根底数据牢靠性，解决视频数据冗余问题，当存储节点、磁盘故障保证业务不中断，数据不丧失。
1.4云存储架构
以下图为分布式云视频存储解决方案总体架构图。
图：分布式云视频存储解决方案总体架构图
本次工程所承受的分布式云存储方案主要包含三大模块，分别为：业务效劳层，数据处理层以及物理硬盘层。
业务效劳层作为云存储系统的对外治理 GUI 界面和业务功能效劳层，实现云存储相关的功能，如负载均衡、故障自动切换、认证治理、配额治理等，并可基
于标准协议 ISCSI/NFS/CIFS/FTP、POSIX 接口等供给对外的业务连接接口；
数据处理层作为云存储系统全部存储节点之上的分布式文件系统，它将各物理存储设备节点组成一个集，对外供给文件存取和数据保护等功能。完成内部文件系统的治理，完成各存储节点间的通信和任务调度、任务监测等。完成存储节点和设备的虚拟化。它承受无元数据设计的全对称分布式架构，支持 3～300 个存储节点的弹性无缝扩展，可供给 PB 级单一存储空间。
物理磁盘层为云存储系统的根本组成单元，对外供给数据存储空间，包含实际的存储节点及其所插入的硬盘等。
本次工程建的摄像机通过运营商供给的网络直达区分局机房，各分局对应的摄像机视频存储在各分局建设的分布式视频存储中心中，其中 XX 分局的视频资源就近接入 XX 分局分布式视频存储中心，XX金属弹片 分局视频资源就近接入到 XX 分局分布式视频存储中心。
1.5云存储功能特性
1.5.1无元数据设计
元数据就是记录数据规律与物理位置的映像关系，以及诸如属性和访问权限等信息。传统分布式文件系统一般承受集中式元数据效劳或分布式元数据效劳来维护元数据。
集中式元数据效劳会导致单点故障和性能瓶颈问题，一般状况承受双机主备方式来解决单点故障问题但无法解决性能瓶颈问题，因此此类分布式文件系统的扩展性相对来说较差；而分布式元数据效劳存在增加算法的简单度，在性能负载和元数据同步全都性上存在问题，特别是对于海量文件的应用，元数据问题是个格外大的挑战。
本次宇视 UCS 云存储系统承受无元数据效劳的设计，取而代之使用算法来定 位文件。集中的全部存储系统治理单元都可以智能地对文件数据分片进展定位， 仅仅依据文件名和路径并运用算法即可，而不需要查询索引或者其他效劳器。这 使得数据访问完全并行化，从而实现线性性能扩展。
1.5.2弹性算法
本次设计的 UCS 云存储系统，不需要将元数据与数据进展分别，集中的任何存储节点和客户端只需依据路径和文件名通过弹性 HASH 算法就可以对数据进展定位和读写访问，且文件定位可独立并行化进展。
1.5.3全局统一命名空间
分布式文件系统最大的特点之一就是供给全局统一的命名空间。全局统一命名空间就是将多个存储效劳器的磁盘和内存资源聚拢成一个单一的虚拟存储池， 对上层用户和应用屏蔽了底层的物理硬件。存储资源可以依据需要在虚拟存储池中进展弹性扩展。全局统一命名
空间可以让不同的用户通过单一挂载点进展数据共享，真空超导散热器I/O 可在命名空间内的全部存储设备上自动进展负载均衡。
本次工程承受的宇视 UCS 云存储系统是基于文件系统供给统一命名空间，在同一个、云存储系统中可以同时有多个文件系统的卷〔物理资源池，由多个存储设备的资源组成〕，不同的卷创立的文件系统有不同的命名空间。云存储系统同时也是基于文件系统的卷供给共享文件名目，因此不同用户可通过访问这个单一的共享文件名目，实现 IO 在这个文件系统命名空间内的全部存储设备上自动负载均衡。
1.5.4纠删码数据保护
本次工程宇视 UCS 云存储系统的数据保护承受数据 N＋M 纠删码保护模式，水台 通过 N＋M 纠删码实现 M碱性脱漆剂 个节点冗余，资源利用率为 N/(N＋M)
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议