高可用高性能日志收集系统平台搭建步骤(详细步骤)

⾼可⽤⾼性能⽇志收集系统平台搭建步骤（详细步骤）

⾼可⽤⾼性能⽇志收集系统平台搭建

在传统的访问⽇志分析系统中, 数据采集效率较低且⽇志采集⽬录不能被递归监听, 存储系统及计算系统缺乏⾼可⽤性，构建基于分布式集的⾼可⽤⽇志采集系统，以减少服务中断时间为⽬的的服务器集技术. 由 Flume 核⼼⾓⾊ Agent 将 Nginx 服务器与 HDFS 连接起来, 这⼀过程由内部有三个组件之⼀ Source 与 Nginx 服务器下⽇志⽂件对接获取数据,Channel 传输给 Sink，由 Sink 上传到HDFS.⽽这⼀过程需要在 Hadoop集基础上完成，本项⽬使⽤ LVS+Keepalived+Nginx ⾼可⽤负载均衡搭建⽇志服务器集。

指纹保管箱

涉及技术：Hadoop集、LVS+Keepalived+Nginx、Flume

<⾼可⽤⾼性能⽬录>

⼀、项⽬包含的模块

1、Flume是⼀个分布式、可靠、和⾼可⽤的海量⽇志采集、聚合和传输的系统。

下图为Flume运⾏机制

2、项⽬流程图如下：

⼆、Hadoop 安装部署（⼀）hadoop集规划图节能灯生产设备

（⼆）实现过程

三、 LVS+Keepalived+Nginx 安装

（⼀）系统环境准备

1、关闭防⽕墙

systemctl stop firewalld (临时关闭防⽕墙)熔断器盒

systemctl disable firewalld (禁⽌firewall开机启动)

systemctl status firewalld (查看防⽕墙状态)

2、禁⽤Selinux(安全权限管理模块)

vi /etc/sysconfig/selinux

SELINUX=disabled

3、配置免密登录

配置主机之间的免密ssh登陆

（1）假如 mini1 要登陆 mini2,mini3,mini4

在mini1上操作：

⾸先⽣成密钥对，命令如下：

兔子全自动设备

ssh-keygen (提⽰时，直接回车即可)

（2）将⽣产的秘钥copy到【mini1,mini2,mini3】上，命令如下

ssh-copy-id mini1半桥驱动器

ssh-copy-id mini2

ssh-copy-id mini3

ssh-copy-id mini4

（⼆）LVS+KeepAlived安装部署

1、LVS⽆需安装，安装的是管理⼯具，第⼀种叫ipvsadm，第⼆种叫keepalive。ipvsadm是通过命令⾏管理，⽽keepalive读取配置⽂件管理。

（1）分别在mini1和mini2执⾏此操作：yum -y install ipvsadm

（2）检车是否ipvsadm模块加载进系统: lsmod | grep ip_vs

（3）把模块加载进系统 :modprobe ip_vs

2、keepalived安装

（1）分别在mini1和mini2执⾏如下操作：yum -y install keepalived

（2）mini1的keepalived配置如下图汽车烧甲醇

本文发布于:2024-09-22 16:40:54，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/3/273646.html

上一篇：联想服务器虚拟化解决方案

下一篇：金蝶K3 Cloud 更改服务器计算机名导致访问报错的解决方案

标签：系统集群采集

留言与评论（共有 0 条评论）