1、#下载镜像
docker pull elasticsearch:7.1.1
docker pull kibana:7.1.1
docker pull logstash:7.1.1
docker pull store/elastic/filebeat:7.1.1
docker network create elknetwork
==============================================
2、#设置nginx日志保存位置
mkdir --p /var/log/nginx
===============================================
3、设置logstash
3.1#设置logstash日志同步至elasticsearch
mkdir --p /usr/share/logstash/conf.d
vi /usr/share/logstash/conf.d/test.conf
input {
beats {
port => 5044
codec => "json"
}
}
output {
elasticsearch { hosts => ["elasticsearch:9200"] }
stdout { codec => rubydebug }
file {
path => "/tmp/logstash-nginx-accesslog-%{+YYYY.MM.dd}"
}
}
------------------------------------------------------
3.2、#设置logstash配置
mkdir --p /usr/share/logstash/config
vi /usr/share/logstash/config/logstash.yml
path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash
-------------------------------------------------
3.3、#设置logstash日志存放目录
mkdir --p /var/log/logstash
======================================================
4、#设置filebeat采集日志配置
mkdir --p /usr/share/logstash/filebeat
cd /usr/share/logstash/filebeat
curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml
vim filebeat.docker.yml
mv filebeat.docker.yml filebeat.yml
# 增加下面的配置 (收集 .log 数据 把数据发送到当前网络5044端口 (logstash 端口) )
# 这个地方的 .log 要保证有几条测试数据
# /var/log/nginx/ 为nginx日志存放位置
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/*.log
output.logstash:
hosts: ['{ip}:5044']
==================================================
5、启动镜像
docker run --name nginx-test -p 8080:80 -v /var/log/nginx:/var/log/nginx -d nginx
docker run -d --name elasticsearch --net elknetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1
docker inspect 容器ID | grep IPAddress
docker inspect 606969dd4bee | grep IPAddress
docker run -d --name kibana --net elknetwork -p 5601:5601 -e ELASTICSEARCH_HOSTS=http://172.18.0.2:9200 kibana:7.1.1
docker run -it -d -p 5044:5044 --name logstash --net elknetwork -v /var/log/logstash:/var/log/logstash -v /usr/share/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v /usr/share/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.1.1
=================================================
6、# 运行Filebeat
6.1、# 请更改下面两个路径
{nginx-path} = 本地的日志文件目录(映射到容器中 作为数据源) /var/log/nginx/
{path} = Filebeat配置文件路径 /usr/share/logstash/filebeat
{ip} = logstash 地址或实例名 filebeat.yml--hosts: ['{ip}:5044']--> hosts: 'logstash:5044'
6.2、#参考以下语法 。注意filebeat.yml是文件,不是文件名。因为这个文件夹下还有内置的其他文件,配置错误不能启动
docker run --name filebeat --user=root -d --net somenetwork --volume="{nginx-path}:/var/log/nginx/" --volume="{path}/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" --volume="/var/lib/docker/containers:/var/lib/docker/containers:ro" --volume="/var/run/docker.sock:/var/run/docker.sock:ro" store/elastic/filebeat:7.1.1
----------------------------
docker run --name filebeat --user=root -d --net elknetwork -v /var/log/nginx/:/var/log/nginx/ --volume="/usr/share/logstash/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro" -v /var/lib/docker/containers:/var/lib/docker/containers --volume="/var/run/docker.sock:/var/run/docker.sock:ro" store/elastic/filebeat:7.1.1
=============================================================
7、操作:
1、点击nginx
/var/log/nginx/ 同步更新
logstash的/tmp/logstash-nginx-accesslog 同步更新
2、kibana
打开http://192.168.8.46:5601/
点击:Management---kibana---index pattern-----Create index pattern 即可在Discover进行查询
相关推荐
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
ELK+Filebeat日志监控系统,在docker环境下的安装部署,使用docker环境省去了繁琐的下载安装时间,实现docker快速搭建,ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件(日志系统的三剑客)。
Heroku日志和ELK(Logstash + Elasticsearch + Kibana)演示 要求: 码头工人 Docker撰写 Docker Machine(如果您未使用Linux) Heroku工具带 观看实际的演示: 首先,启动3个容器(Logstash,Elasticsearch和...
麋鹿登录支持 Logback 输入的 ELK 堆栈(Elasticsearch + Logstash + Kibana)的 Docker 镜像。开始拉docker pull fayndee/elk-logback镜像: docker pull fayndee/elk-logback 运行docker容器: docker run -d -p ...
它演示了 ELK 堆栈(ElasticSearch + Logstash + Kibana)用于分析应用程序日志(以 apache 为例)的用法。 出于测试目的,我们将启动容器 apache 反向代理。 Stack 部署在 docker 容器上, docker-compose (ex fig...
:french_fries: 这个简单的项目演示了Elasticsearch-Logstash-Kibina(ELK)与Golang的集成 去栈 没有Web框架,使用本机运行 DEP的包管理brew install dep 杜松子酒进行实时重新加载, go get github....
Elasticsearch,Logstash,Kibana(ELK)Docker映像 通过打包Elasticsearch,Logstash和Kibana(统称为ELK),此Docker映像提供了一个方便的集中式日志服务器和日志管理Web界面。 文献资料 有关如何使用此映像的...
docker-elk镜像下载(logstash、elasticsearch、kibana)6.2.2版本, 有文字教程安装,从docker安装、到镜像启动
docker集群ELK部署读取本地日志--配置文件;包含docker-compose集群化部署ELK的配置脚本和elasticsearch、kibana的配置文件、logstash解析日志的配置文件
docker-elk-教程docker-elk-教程 :memo:进阶 简介码头工人麋鹿 :red_question_mark:这是什么 :red_question_mark:他可以吃吗 :confused_face:重点在ELK ,他是由三个东西所组成的。 (E) (L) (K)基本上,整个...
技术组件包括:elasticsearch + logstash + kafka + filebeat + head + zookeeper + kibana 部署方式:docker + docker-compose 文件内容包括: 1.ELK部署资源方案(用于申请资源) 2.ELK部署指南 3.elasticsearch...
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后...
麋鹿 使用来设置著名的ELK( , , )套件。 构建/运行堆栈 Docker-compose是一个众所周知的名为Fig的工具,现已集成...logstash配置期望syslog框架在端口5514上具有logstash json内容。 您可以为此目的使用logback 。
docker pull docker.elastic.co/elasticsearch/elasticsearch:5.5.1 docker pull docker.elastic.co/kibana/kibana:5.5.1 docker pull docker.elastic.co/logstash/logstash:5.5.1 启动Elastic Search容器: docker ...
获取ES镜像:docker pull elasticsearch:latest 获取kibana镜像:docker pull kibana:latest 获取logstash镜像:docker pull logstash:latest 启动Elasticsearch 官方镜像里面ES的配置文件保存在/usr/share/...
日志信息这是用于通过使用Spring-boot,RabbitMQ和ELK堆栈(Elasticsearch,Logstash和Kibana)存储应用程序日志消息的存储库。在此存储库中,我们只是开发一个简单的案例。期待订单(orderNumber,productId,数量...
我开始使用映像,该映像通过带有嵌入式 Elasticsearch 和 Kibana 的 Logstash 运行 ELK,但在生产中发现性能问题,因此我决定拆分为单独的容器,同时尽可能接近标准或默认安装。 我搜索的其他一些镜像是安装 Java...
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后...
elk部署相关记录,待整理 elasticsearch/logstash/kibana elk部署相关记录,待整理
Elasticsearch、Logstash 和 Kibana 的 Docker 配置。 建造 为了构建图像: docker build -t elk:latest . 跑步 为了运行图像: docker run -d -p 5000:5601 --name elk -v /path/access-logs:/var/log/access ...