首页 > 热门资讯 > 开源技术 

Graylog2:从Nginx收集日志并在Grafana中展示与分析

编辑:小几斤来源:51CTO博客时间:2020-09-03 17:23:29观看:

本文转载自微信公众号「新钛云服」,作者祝祥 。转载本文请联系新钛云服公众号。

本文讨论了在Graylog2系统中收集Nginx日志的可能性,以及如何在Grafana中进行展示与分析。

本文的所有的操作都在Debian 9.5 OS上完成配置

Nginx版本:Nginx / 1.15.7

在Debian上安装Graylog2中介绍了安装Graylog2

Graylog2是一个开源系统,用于集中收集,存储和分析服务器上保存的日志。它可以当做 syslog 服务器使,支持 TCP、UDP 协议。另外也支持以 TCP/UDP 方式接收 GELF 格式的日志,这个格式很简单,就是一个 JSON 字符串。Graylog2 把 GELF 格式的日志存入 ElasticSearch 中,另外往 MongoDB 里写入一些统计信息,伊提供了一个 Ruby 写的 Web 应用,可以搜索日志并可视化的显示搜索结果的时间分布。

Graylog2集群有三部分组成,Graylog-server(日志收集、清理、分析)、Mongo DB(用于graylog集群共享配置信息)、ElasticSearch(存储日志)。

Graylog2.4.X只支持ElasticSearch 5,从Graylog2.5.2开始支持ElasticSearch 6,目前的版本为3版本。

基础软件包安装

apt install apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen

安装MongoDB DBMS

apt-get install mongodb-server

安装Elasticsearch

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add - 
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-5.x.list 
apt update && apt install elasticsearch

这样就完成了Gaylog正常工作所需的所有软件包。

配置elasticsearch

要配置它,请打开文件:

nano /etc/elasticsearch/elasticsearch.yml

在描述的末尾添加以下行:

cluster.name: graylog

我们配置自动启动并运行elasticsearch:

systemctl daemon-reload 
systemctl enable elasticsearch.service 
systemctl start elasticsearch.service

安装Graylog

wget https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.deb 
dpkg -i graylog-2.4-repository_latest.deb 
apt update && apt install graylog-server

Graylog服务器设置:

为了使服务器正常工作,您需要创建两个密钥。一种是使用加密,另一种是用于首次登录Web界面的admin用户的密码

要创建加密密钥,请运行以下命令:

pwgen -N 1 -s 96

将生成的密钥复制到记事本,并在编辑配置文件时使用它。

要为管理员用户创建密码,请运行以下命令:

echo -n password | sha256sum

我们还将把生成的密钥复制到记事本中,并在编辑配置文件时使用它。

编辑server.conf

nano /etc/graylog/server/server.conf

我们对以下几行感兴趣:

password_secret = secret,我们输入从上面获得的加密密钥

root_password_sha2 = password,我们输入管理员用户获取的密钥

rest_listen_uri = http://0.0.0.0:9000/api/ 
rest_transport_uri = http://IP-Address:9000/api/ 
web_listen_uri = http://0.0.0.0:9000/

设置自动运行并启动Graylog:

systemctl daemon-reload 
systemctl enable graylog-server.service 
systemctl start graylog-server.service

完成所有要点并打开浏览器后,我们在地址栏中IP-Address:port的端口中输入端口9000

Nginx日志配置以发送到Graylog

Nginx会将登录名发送给Gryalog本身。

nano /etc/nginx/nginx.conf

可以将先前的位置(/var/log/nginx/)和日志的配置进行备份。

在该部分中,http 添加以下内容:

log_format graylog2_format '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $ 
 
access_log syslog:server=Graylog IP-Address:11004 graylog2_format; 
 
error_log syslog:server=Graylog IP-Address:11005;

重新启动Nginx:

service niginx restart

准备Graylog以接收来自Nginx的日志

为此,您需要从Graylog存储中安装加载项,可从(https://marketplace.graylog.org/addons/6bbc0407-0fc1-4ee7-be6d-4ea08ff1b482)下载。

接下来,从菜单中安装下载的加载项选择Systems - Content packs,选择Import content pack位置并下载文件JSON。之后,在同一位置的中Content packs,将出现一个新项目Nginx Web Server,必须选择并单击它Apply content。

接下来,从菜单中选择Systems - Inputs,确保连接正常,然后单击Show received messages显示传入消息的位置。为了方便跟踪传入消息,窗口顶部有一个自动更新按钮。

Elasticsearch设置

在配置文件的末尾,我们将为查询条件的数量指示一个新值,因为标准的1000个条件可能还不够:

nano /etc/elasticsearch/elasticsearch.yml 
 
indices.query.bool.max_clause_count: 10240

重新启动Elasticsearch

service elasticsearch restart

如果Grafana和Graylog在不同的服务器上怎么办

1.更改从其他设备访问的设置。

nano /etc/elasticsearch/elasticsearch.yml

在该部分中Network指定:

network.host: IP-Address server Elasticsearch\Graylog 
 
http.port: 9200

2.为了成功运行Graylog,必须在配置中输入上述地址和对Elasticsearch的访问端口:

nano /etc/graylog/server/server.conf 
elasticsearch_hosts = http://IP-Address:9200

重新启动Graylog和Elasticsearch:

service elasticsearch restart 
 
service graylog-server restart

设置Grafana

配置对Elasticsearch的访问权限:

为此,请打开Grafana Web界面,选择Configuration - Data Sources并单击Add data source。

在字段中输入连接的名称Name;

在字段中,Type选择Elasticsearch;

在字段中URL输入服务器地址Elasticsearch;

在Time field name问题:timestamp;

在字段中,Version选择5.x;

点击Save & Test。如果一切正确,那么应该没有错误。

在Grafana中创建一个仪表板

完成的仪表板可在Grafana官方网站上找到,链接为:(https://grafana.com/dashboards/8486)。

在添加之前,请为Grafana安装必要的附加组件:

grafana-cli plugins install grafana-piechart-panel

重新启动Grafana服务器:

service grafana-server restart

将json面板文件添加到Grafana

选择并导入下载的文件,并指定:Dashboards ``— Manage, нажимаем Import — Upload .json File

在字段中Name输入所需的面板名称;

在该字段中, Graylog Elasticsearch指示上面创建的与Elasticsearch数据库的连接。

然后按一下按钮Import。

当调用Nginx时,图形将开始展示:

【责任编辑:武晓燕 TEL:(010)68476606】


来顶一下 ( )