分布式存储系统设计(1)——系统架构

施图伦
分布式存储系统设计(1)——系统架构
龟甲网分布式存储系统是为了解决单机存储所存在的容量、性能等瓶颈,以及可⽤性、扩展性等⽅⾯的问题,通过把数据分散存储在多台存储设备上,为⼤规模的存储应⽤提供⼤容量、⾼性能、⾼可⽤、扩展性好的存储服务。这⼀系列的⽂章介绍⼀种典型的分布式存储系统的设计和实现,该系统已经服务⼤量的业务,达到了数百T的存储量,经受了海量服务的考验。
整体架构
系统的整体架构如下图所⽰,其中逻辑层是存储服务的使⽤⽅。系统由两⼤部分组成,⼀部分是图中数据仓库包含的模块,是直接提供数据存储服务的核⼼部分,由接⼊层、数据层、配置运维中⼼组成;另⼀部分是辅助系统,主要负责系统的监控、运维和运营备份系统、监控系统、运维管理系统、⽤户运营系统组成。
茎叶图⼀个数据仓库就是⼀个存储集,多个业务可以共享⼀个数据仓库的资源,我们根据需求可以部署多个数据仓库,辅助系统是所有数据仓库共⽤的。
下⾯简单介绍⼀下各个模块的主要功能。
接⼊层
接⼊层主要是提供两个功能,⼀是对逻辑层访问接⼊层进⾏负载均衡;⼆是实现数据分⽚,即把访问数据的请求转发数据所在的数据层设备。
数据层
数据层就是存储数据,存储介质可以⽀持内存或SSD。读写服务是处理⽤户的读写请求;同步模块多份数据拷贝之间的主备同步;运维⼯具是⽤于执⾏主备切换、死机恢复、扩容等运维操作。
配置运维中⼼
配置运维中⼼由3部分组成。配置中⼼负责整个仓库的配置维护和下发;配额中⼼负责各个业务级别的容量、流量、CPU等资源的配额管理;运维中⼼⽤于⾃动或⼿动下发运维命令。
备份系统
春兰集团公司备份系统负责整个系统所有业务的数据备份、回档和恢复。流⽔中⼼会记录所有写操作的流⽔;任务中⼼管理和调度所有数据备份、回档和恢复任务的执⾏。淘书吧
监控系统
监控系统对系统的关键信息和运⾏状况进⾏上报和分析,对异常情况进⾏监控和告警。打点上报是对系统的关键路径、异常点等进⾏计数或状态上报;多维上报是对打点上报的⼀个补充,上报了更多维度的信息。
运维管理系统
运维管理系统的使⽤者是系统运维⼈员,可以⽅便地进⾏业务管理和运维操作,如进⾏配置管理、故障管理、业务扩容等常⽤操作;还可以查看系统运⾏状况和业务运营数据。
⽤户运营系统
⽤户管理系统的使⽤者是使⽤存储服务的⽤户,⽤户通过该系统可以掌握所接⼊业务的运营数据,以及进⾏⽤户级的业务管理和运维操作,如续费、扩容、数据清空、数据备份、数据恢复等。
x1650gt

本文发布于:2024-09-23 00:27:36,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/8828.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:系统   数据   业务   上报   运维
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议