刘喀生
198数据库技术Database Technology 电子技术与软件工程Electronic Technology & Software Engineering
1 引言
随着云计算技术的快速发展和广泛应用，越来越多的企业将IT
基础设施迁移到私有云上，以更低的成本获得更高效、弹性、可靠，
且优于公有云安全性的IT 服务。因此，私有云的应用和规模也随
之扩大，对日常运维提出了更高的挑战。
构成私有云平台的各分布式服务进程在运行时会记录大量运行
状态、访问及安全日志，为运维和开发人员了解系统运行状况、排 查故障提供了大量信息。然而，随着云平台规模的扩大，其分布式
系统节点不断增加，运行于各节点上的服务进程也不断增加，从而
导致日志的分散化和海量化，使得日志查和检索异常困难。集中
化、自动化的日志收集和分析平台成为解决这一问题的有效方案。 开源的分布式日志收集和分析平ELK [1](Elasticsearch 、Logstash
棉纺工艺设计>潘广田和Kibana)是目前业界采用的主流解决方案。本文将ELK 日志系统
应用于开源云平台0penStack [2]，构成私有云平台的日志收集和分析
系统，通过统计系统日志量，针对系统运行中日志量较大、且只增成果形式
不减的问题，提出了日志数据磁盘占用量优化方案。
2 ELK日志收集和分析系统架构
ELK Stack 是由三个开源组件Elasticsearch 、Logstash 和Kibana
构成的一套分布式日志收集和分析解决方案，可完成分布式日志的
实时收集、解析、传输、存储、检索、分析、告警及可视化等功能。
最简单的架构如图1所示。
Logstash 是Jruby 开发的数据收集、过滤、扩展、传输的通
道，可通过其丰富的插件配置应用于分布式数据处理领域。常用
的插件如input 和output 类的file 、http 、redis 、kafka 、rabbitmq 、
elasticsearch 、tcp 、udp 、syslog 等，分别完成数据源端的收集和终
端的发送；filter 类如grok 、ruby 等完成数据的过滤和扩展。具有
多种数据类型访问和弹性扩展的特点。
Elasticsearch 是基于全文搜索引擎Apache Lucene 构建的实时
榆林学院图书馆分布式搜索引擎，提供对数据的存储和分析功能，支持Restful API
和集部署，具有高可靠性、易扩展、节点自动发现、索引分片和
副本机制。
Kibana 是专门为Elasticsearch 设计的数据可视化Web 平台，它
可以在Elasticsearch 的索引中查、交互数据，并生成各种维度的
图表。
3 私有云平台的日志收集和分析系统部署实践
OpenStack 是一个开源的云计算管理平台，由Nova 、Cinder 、
Neutron 、Glance 、Ceilometer 、Keystone 等组件共同为私有云和公
有云提供弹性的计算、存储、网络等服务。基于OpenStack 构架了
私有云平台，考虑私有云平台需支持大规模部署(可达500节点)
的分布式系统，且日志类型不限于OpenStack 组件的日志，还包括
访问日志、安全日志以及系统日志等，如messages 、httpd 日志等，
面向私有云平台的日志收集与分析系统设计
张文燕1 温俊阳2
（1.南京中兴新软件有限责任公司 江苏省南京市 210012 2.杭州海康威视数字技术股份有限公司 浙江省杭州市 310052）日志量很大。最简架构ELK Stack 无法满足系统日志分析的需求，部署于该平台的ELK 分布式日志收集和分析系统架构如图2所示。实践部署系统中Logstash 配置为shipper 和indexer 角：shipper 驻守在各被管理节点上，完成各节点日志的收集、过滤和解析，以减少传输通道中的日志量，将日志解析的计算量进行负载均衡；indexer 部署于三个节点上，以负载均衡方式完成数据透传。摘 要：本文针对OpenStack 私有云平台设计了相适配的基于开源ELK 的分布式日志收集和分析系统，通过统计该日志系统中各进程对资源的占用情况和日志数据磁盘占用量，发现日志数据只增不减且占盘量很大的问题，
提出磁盘占用量优化方法，
实验验证该方法有效，保障系统可靠性。
关键词：日志收集；日志分析；分布式系统；OpenStack；ELK
图1：ELK Stack 最简架构图图3：各进程日均CPU_util 图2：私有云平台ELK Stack 架构碳化钨
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议