logstash

为 Elastic Stack 配置安全性

Elastic Stack 和 ELK 的区别 其实是一个东西。ELK实际上是三个技术栈的简称,这三款软件分别是ElasticSearch、LogStach、Kibana。在这个生态圈慢慢发展过程中,加入了一个新成员 Beats。那么这个时候,按照之前的称呼,是不是应该称之为ELKB呢?仔细想想,如果这个技术栈中以后再加入一个新成员呢?所以,正式改名为Elastic Stack。 最低限度的安全性 ElasticSearch vi config/elasticsearch.yml #discovery.type: single-node xpack.security.enabled: true...

logstash 配置

输入 input { #标准输入 stdin { codec => "plain" } http { host => "0.0.0.0" port => "8099" } #rsyslog syslog{ type => "system-syslog" port => 514 } #beats系列,如filebeat beats { port => 5044 host => "0.0.0.0" ...

yum 安装 logstash

下载并安装公钥 sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 设置源 cat > /etc/yum.repos.d/logstash.repo <<EOF [logstash-7.x] name=Elastic repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticse...

集中化的日志管理

把日志放到node节点的主机目录上,在到主机目录上配置rsyslog收集到专门的日志服务器。 从这个日志服务器启一个logstash或者filebeat写入es。 不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死,另外这么多的filebeat也是要占用不少资源的。 如果觉得麻烦,就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。 这样可以保证日志不丢,还能有序插入es不会因为业务高峰把es弄死,还可以利用logstash再进行一些日志格式化的需求。 目前用这个方案,把istio的所有envoy访问日志、traefik、应用程序日志收集到es上...

基于docker的 EFK 日志分析系统

EFK 不是一个软件,而是一套解决方案。EFK 是三个开源软件的缩写,Elasticsearch,Fluentd,Kibana。其中 ELasticsearch 负责日志分析和存储,Fluentd 负责日志收集,Kibana 负责界面展示。它们之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志分析系统解决方案。 本文主要基于Fluentd实时读取日志文件的方式获取日志内容,将日志发送至Elasticsearch,并通过Kibana展示。 启动服务 docker-compose -f docker-compose.yml up -d 验证服务是否已正常启动 ...