当前位置: 首页 > news >正文

# 06_Elastic Stack 从入门到实践(六)

06_Elastic Stack 从入门到实践(六)

一、课程介绍

1、课程介绍

2、Nginx日志分析系统

3、Filebeat入门学习

4、Metricbeat入门学习

5、Kibana入门学习

6、Logstash入门学习

7、综合练习

二、Nginx 日志分析系统需求分析

1、业务需求

Nginx是一款非常优秀的web服务器,往往nginx服务会作为项目的访问入口,那么,nginx的性能保障就变得非常重要了,如果nginx的运行出现了问题就会对项目有较大的影响,所以,我们需要对nginx的运行有监控措施,实时掌握nginx的运行情况,那就需要收集nginx的运行指标和分析nginx的运行日志了。

2、Nginx 的业务流程分析

在这里插入图片描述

3、说明:

1)通过Beats采集Nginx的指标数据和日志数据。
2)Beats采集到数据后发送到Elasticsearch中。
3)Kibana读取数据进行分析。
4)用户通过Kibana进行查看分析报表。

三、部署安装 Nginx

1、下载 nginx安装包,并上传到虚拟机服务器上。

nginx 各个版本下载地址

2、在虚拟机服务器上解压 nginx安装包

tar -xvf nginx-1.14.2.tar.gz

3、安装依赖

yum -y install pcre-devel zlib-devel

4、配置 nginx

./configure

5、编译安装

make install

6、启动nginx

cd /usr/local/nginx/nginx/sbin/
./nginx

在这里插入图片描述

7、通过浏览器访问页面

访问地址如(默认80端口):http://192.168.196.119/

在这里插入图片描述

8、在虚拟机服务器端查看日志

tail -f /usr/local/nginx/nginx/logs/access.log

在这里插入图片描述

四、Beats 简介

1、Beats 在 ElasticStack 技术栈中的作用示意图

在这里插入图片描述

2、beats 简介:

1)Beats是轻量型数据采集器。

Beats 是一个开源平台,集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。

2)Beats 系列:全品类采集器,搞定所有数据类型。

在这里插入图片描述

3)beats 跟踪 Elastic Stack 中的基础架构日志和指标。

4)Beats从源头采集。简单明了。

Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上,或者将 Beats 作为函数加以部署,然后便可在 Elastisearch 中集中处理数据。Beats 能够采集符合 Elastic Common Schema (ECS) 要求的数据,如果您希望拥有更加强大的处理能力,Beats 能够将数据转发至 Logstash 进行转换和解析。

5)Beats即插即用 借助模块加速数据可视化体验。

Filebeat 和 Metricbeat 中包含的一些模块能够简化从关键数据源(例如云平台、容器和系统,以及网络技术)采集、解析和可视化信息的过程。一键探索。

6)Beats从环境中获得洞见 跟踪数据沿袭。

Beats 从您的专属环境中收集日志和指标,然后通过来自主机、诸如 Docker 和 Kubernetes 等容器平台以及云服务提供商的必要元数据对这些内容进行记录,然后再传输到 Elastic Stack 中。从监测容器到从无需服务器的架构传输数据,我们确保您拥有所需的上下文。

7)Beats 可扩展 缺少某种采集器?别着急。您可以自行构建并分享。

每款开源采集器都是以用于转发数据的通用库 libbeat 为基石。需要监控某个专用协议?您可以自己构建采集器。我们将为您提供所需的构建基块。同时,我们的 Beats 社区正在不断壮大。

8)Beats 同样能向 Elastic Cloud 输送数据。

正在运行托管式 Elasticsearch?这些轻量型采集器同样能有效地将数据发送至 Elastic Cloud。

3、beats 官网:

https://www.elastic.co/cn/products/beats

五、Filebeat入门之架构以及部署

1、Filebeat 简介

1)Filebeat 轻量型日志采集器

无论您是从安全设备、云、容器、主机还是 OT 进行数据收集,Filebeat 都将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。

2)汇总、“tail -f”和搜索 启动 Filebeat 后,打开 Logs UI,直接在 Kibana 中观看对您的文件进行 tail 操作的过程。通过搜索栏按照服务、应用、主机、数据中心或者其他条件进行筛选,以跟踪您的全部汇总日志中的异常行为。

2、Filebeat 用于监控、收集服务器日志文件 架构 示意图

在这里插入图片描述

3、filebeat 下载安装

https://www.elastic.co/cn/beats/filebeat
https://www.elastic.co/downloads/past-releases#filebeat
https://www.elastic.co/downloads/past-releases/filebeat-6-5-4

4、filebeat-6.5.4 部署与运行

# 创建新目录
mkdir /dzs168/beats# 解压安装包
tar -xvf filebeat-6.5.4-linux-x86_64.tar.gz# 切换目录
cd filebeat-6.5.4-linux-x86_64# 创建如下配置文件dzs168.yml

相关文章:

  • ffmpeg av_buffer_unref的逻辑实现; av_freep 和 av_freep函数的区别
  • 用c语言实现——一个带头节点的链队列,支持用户输入交互界面、初始化、入队、出队、查找、判空判满、显示队列、遍历计算长度等功能
  • 神经网络权重优化秘籍:梯度下降法全解析(五)
  • 记录一次使用面向对象的C语言封装步进电机驱动
  • Shell脚本中的字符串截取和规则变化
  • 深度学习基石:神经网络核心知识全解析(一)
  • 运行neo4j.bat console 报错无法识别为脚本,PowerShell 教程:查看语言模式并通过注册表修改受限模式
  • 【Java面试笔记:基础】5.String、StringBuffer、StringBuilder有什么区别?
  • transformer 子层连接结构
  • 迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
  • ElasticSearch深入解析(一):Elastic Stack全景
  • Java实例化对象都有几种方式
  • (undone) 吴恩达版提示词工程 3. 迭代 (建议用到的时候再根据目录针对看)
  • 学习笔记——《Java面向对象程序设计》-继承
  • PyTorch DDP 跨节点通信的底层机制
  • C++学习之游戏服务器开发十四QT登录器实现
  • 文献×汽车 | 基于 ANSYS 的多级抛物线板簧系统分析
  • 什么事Nginx,及使用Nginx部署vue项目(非服务器Nginx压缩包版)
  • 边缘计算全透视:架构、应用与未来图景
  • 区间分组详解
  • 华天酒店:2024年归母净亏损约1.81亿元,已连续亏损3年
  • 国际货币基金组织:将今年美国经济增长预期下调0.9个百分点至1.8%
  • 柬埔寨人民党中央外委会副主席:柬中友谊坚如钢铁,期待更多合作
  • 夸大事实拍视频发网络,镇雄两名网红勒索两千元删帖费被拘
  • 在因关税战爆火的敦煌网上,美国人爱买什么中国商品
  • 又一名被拐孩子找到!29年后,在警方帮助下云南男子寻子成功