ELK 日志传输（log shipper）工具 Logstash

日志传输工具功能

从数据源获取数据 文件、UNIX socket、TCP、UDP 等
处理 添加时间戳、解析非结构化数据、根据 IP 添加地理位置信息等
传输 输出到目标存储。比如ES 。由于 ES 可能会宕机，或正存在性能问题，传输工具需要有能力提供缓冲以及重试。

Logstash  五种替代方案 Filebeat Fluentd rsyslog syslog-ng  Logagent

Logstash特点

插件多，输入、编解码器、过滤器以及输出
可以从各种数据源采集数据，进行灵活的处理，推送到目标存储

灵活 功能强大

缺点 性能及资源消耗（默认堆大小 1GB）

FileBeat与LogStash简单测试对比
https://blog.csdn.net/m0_38120325/article/details/79072921

Logstash使用管道的方式进行日志的搜集和输出,
input --> filter（可选） --> output

filebeat 启动一个或多个探测器（prospectors）去检测指定的日志目录或文件，
对于探测器找出的每一个日志文件，启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，
并发送这些新的日志数据到处理程序（spooler），处理程序集合这些事件，最后会发送集合的数据到指定的地点。
当接收端繁忙时,会通知收集端降低传输速率,并在正常后恢复速度  （背压 回压 backpressure）

filebeat go语言实现

es5.x 具有解析的能力（类似Logstash 过滤器）Ingest。
可以将数据用Filebeat直接 推送到 es，ES 解析 + 存储。

filebeat 5.x 版本 加入了过滤功能


原文
https://www.cnblogs.com/richaaaard/p/6109595.html