全链路云上Elastic Stack
阿里云Elasticsearch一站式云托管服务乳液聚合
Kibana
Elasticsearch Logstash Beats
pcu h
商业插件
X-pack容灾部署能力
智能运维
相较于开源差异化9大功能
运维窗口Query builder
插件打标插件
挡风抑尘墙Logstash Beats
前数据链路的“挑战”Elastic Stack 数据接入的成本究竟有多高？
01
数据接入的场景和挑战
日志接入和数据同步有哪些问题？
如何降低日志接入门槛网络访问配置是否全部一致怎样实现配置标准化和集中管理 如何统一处理云上多数据来源和数据格式是否有完善的监控报警和异常处理方案
？？？？？◆场景
将业务数据从多种来源写入Elasticsearch 进行查询检索 ◆需求
云上MySQL 、Maxcompute 数据来源、收集/解析/聚合、实时查询分析
◆场景
收集业务日志文件用于故障分析及告警监控，及时定位业务系统异常
◆需求
耐寒输送带大规模业务场景、1000+业务主机、每日TB 级日志增量
传统数据链路接入流程
搭建一个ELK 集中日志分析平台有哪些步骤？
Logstash 推送格式化的日志数据到存储
ELK 集中式日志平台搭建
1
2
3
4
大规模业务情况下，数百台服务器的Beats 安装流程耗时耗力
在应用服务器上下载解压Beats 安装包
配置Beats 采集器并逐一验证启动
网络等各类配置一致性难以保证，Beats 运行信息及异常情况无法统一监测
购买机器并安装部署Logstash
用户使用全托管的Elasticsearch 服务时，不得不投入部分精力和成本进行Logstash 部署运维
配置Logstash Pipeline 并启动
复杂的业务处理逻辑下，需要进行多管道的集中管理和操作，或手动安装配置插件
在应用服务器上部署
锚杆挡墙
数据采集器
近实时收集日志数据推送到日志过滤节点的Logstash
管道进程
管道进程
交通事故现场图绘制管道进程
管道进程
管道进程
>> 一系列接入步骤耗费大量精力和成本
>> 未来还面临着：后续的运维监控和业务扩展怎么办？
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议