首页   快速返回

logstash介绍及其替代方案     所属分类 logstash
ELK 日志传输(log shipper)工具 Logstash

日志传输工具功能

从数据源获取数据 文件、UNIX socket、TCP、UDP 等
处理 添加时间戳、解析非结构化数据、根据 IP 添加地理位置信息等
传输 输出到目标存储。比如ES 。由于 ES 可能会宕机,或正存在性能问题,传输工具需要有能力提供缓冲以及重试。

Logstash  五种替代方案 Filebeat Fluentd rsyslog syslog-ng  Logagent

Logstash特点

插件多,输入、编解码器、过滤器以及输出
可以从各种数据源采集数据,进行灵活的处理,推送到目标存储

灵活 功能强大

缺点 性能及资源消耗(默认堆大小 1GB)

FileBeat与LogStash简单测试对比
https://blog.csdn.net/m0_38120325/article/details/79072921

Logstash使用管道的方式进行日志的搜集和输出,
input --> filter(可选) --> output

filebeat 启动一个或多个探测器(prospectors)去检测指定的日志目录或文件,
对于探测器找出的每一个日志文件,启动收割进程(harvester),每一个收割进程读取一个日志文件的新内容,
并发送这些新的日志数据到处理程序(spooler),处理程序集合这些事件,最后会发送集合的数据到指定的地点。
当接收端繁忙时,会通知收集端降低传输速率,并在正常后恢复速度  (背压 回压 backpressure)

filebeat go语言实现

es5.x 具有解析的能力(类似Logstash 过滤器)Ingest。
可以将数据用Filebeat直接 推送到 es,ES 解析 + 存储。

filebeat 5.x 版本 加入了过滤功能


原文
https://www.cnblogs.com/richaaaard/p/6109595.html

上一篇     下一篇
kibana简单介绍

kafka的代理分区和副本状态

elastic APM 介绍

影响生活的14个心理效应

一盘红烧肉告诉你本科硕士博士论文的区别

druid连接池推荐配置