交通云存储系统总体设计方案

交通云存储系统总体设计方案
交通云存储系统是由AA自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计,结合先进的集化技术、虚拟化技术、离散存储技术等,通过流式文件系统对存储资源进行虚拟化和应用化整合,为用户提供高性能、高稳定、高扩展性的数据存储服务。
逻辑架构
交通云存储系统采用分层结构设计,整个系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。
图1. 云存储逻辑架构图
1)设备层
设备层是云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的IP-SAN、FC-SAN存储设备。在系统组成中,存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。
2)存储层
在存储层上部署云存储流数据系统,通过调用云存储流数据系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据的高效的写入、读取和调用等服务。
3)管理层
在管理层,融合了索引管理、计划管理、调度管理、资源管理、集管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发,以及硬件设备的状态监控和故障维护等;实现整个存储系统的虚拟化的统一管理,实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。
4)接口层
应用接口层是云存储最灵活多变的部分,接口层面向用户应用提供完善以及统一的访问接口,接口类型可分为Web Service接口、API接口、Mibs接口,可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。实现和行业专属平台、运维平台的对接;实现和智能分析处理系统之间的对接;实现视频数据的存储、检索、回放、浏览转发等操作;实现关键视频数据的远程容灾;实现设备以及服务的监控和运维等。
5)应用层
应用层包括交通综合管控平台、运维平台等应用平台,应用平台通过相应的接口与交通云存储系统对接,实现与交通云存储系统之间的数据以及信令的交互。
交通综合管控平台可与交通云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。
运维平台采用标准的SNMP协议实现并提供Mibs 接口,对交通云存储系统以及服务进行监控管理,及时将产生的告警传递给用户。
技术路线
交通云存储系统基于云架构进行开发,采用面向交通用户业务应用的设计思路,融合集应用、负载均衡、虚拟化、云结构化、离散存储等技术,可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作,共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。
在交通云存储系统的设计中,采用的核心技术如下:
1)采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架,
可持续扩容避免瓶颈限制,可以更有效的进行资源管理,灵活增减空间,达到最大程度上合理利用空间的效果。
2)采用集技术,解决单/多节点失效问题,并利用负载均衡技术充分利用各存储节点的性能,提升系统的可靠性和安全性。
3)采用离散存储技术,保障了用户高效的读写的同时保证了业务的持续性。
4)采用统一完善的接口,降低对接成本、平台维护成本和用户管理的复杂度。
5)采用开放的集成构架,使其可兼容业界各类iSCSI/FC存储设备,保护用户现有存储投资资源。
6)采用数据备份和容灾技术,保证云存储中的数据不丢失,确证云存储服务的安全稳定。
7)可采用视频、图片的全直存技术方案(需要前端支持),保证项目整体的成本控制,优化存储系统流程。
系统特点
交通云存储系统通过全集化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。
1.1.1高效灵活的空间管理
交通云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾,在管理大容量空间时通过全系统分层集的设计将系统的管理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,大大地提高了系统的整体性能。
1)存储资源的虚拟化
对存储空间的管理方面交通云存储系统将全域各存储节点的资源进行虚拟化后,向用户呈现出一个持续的、超大的数据资源池,将其称之为存储资源池。存储资源池的整合过程完全透明,由系统算法自行完成,将用户从繁琐的空间管
理和配置中解脱出来,提高了管理效率。
2)存储资源的在线扩展
当存储资源无法满足用户的容量需求,需要进行存储资源的扩展时,交通云存储系统能为用户提供十分便易的操作。用户只需要在集内添加新增存储设备的IP地址,系统会自动辨别新增设备,对新增设备进行虚拟化整合,这样新增设备的容量就能融入集,并作为集内全部存储资源的一部分为用户所用;同时,在整个存储资源的扩展过程中,交通云存储系统的录像业务正常运行,保障用户不会因为系统的扩容而中断正在进行的正常业务,从而实现存储资源的在线扩展。
云存储的系统架构保证了存储资源在线扩容的同时,可以满足容量与处理性能的线性增长,从而提供了无限制的容量增长能力。
3)虚拟空间的灵活使用
用户对存储资源池的使用完全可以做到随心所欲,可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配,分配后的存储资源称为录像池。
录像池的划分采用灵活策略方式,对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活,不但能够做到将录像池进行扩大,同时也能非常灵活的支持将录像池进行缩小,而
这点在传统存储中则非常困难。
1.1.2海量数据的快速检索
交通云存储系统在管理着PB级的存储容量空间时,依然能够具备高效、准确、快速的数据检索能力。
1)一体化索引设计
交通云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所有与用户业务相关的索引信息统一由交通云存储系统的视频云存储管理节点或者集进行管理。视频云存储管理集在对索引的一体化设计上将海量数据索引查、筛选进行了全面的优化,大大的提高了查速度。在规模不断扩大时性能几乎相同,均能做到毫秒级耗时。
2)深化的应用设计

本文发布于:2024-09-22 14:20:35,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/96162.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:管理   进行   存储系统   数据   系统   交通   用户
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议