kafka-eagle 简介
所属分类 kafka
浏览量 183
EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)EFAK是开源可视化和管理软件。
可以查询、可视化、监控kafka集群,是将 kafka 的集群数据转换为图形可视化的工具。
https://www.kafka-eagle.org/
KAFKA EAGLE
A DISTRIBUTED AND HIGH-PERFORMANCE KAFKA MONITORING SYSTEM
/cluster/zookeeper
可查看 zk数据
/topic/list
BrokerSpread BrokerSkewed BrokerLeaderSkewed
BrokerSpread:
这个指标通常用于表示broker的使用率。
假设Kafka集群包含9个broker,而某个topic有7个partition,那么BrokerSpread的计算公式就是:7/9 = 77%,
这意味着77%的broker被用于存储该topic的partitions。
了解集群中broker的利用情况,从而判断是否需要添加或删除broker
BrokerSkewed
衡量Kafka集群中partition是否存在倾斜。
倾斜意味着某些broker上的partition数量过多,而其他broker上的partition数量过少。
这可能导致某些broker负载过高,而其他broker相对空闲。
识别并解决这种不平衡的情况,以提高集群的整体性能和稳定性。
BrokerLeaderSkewed
关注 leader partition的倾斜情况。
在Kafka中,每个partition都有一个leader replica和一个或多个follower replica。
Leader replica负责处理读写请求,而follower replica则从leader replica复制数据以保持同步。
了解leader partition在broker之间的分布情况,从而判断是否存在倾斜。
如果存在倾斜,需要调整replica的分配策略或增加broker的数量来平衡负载。
/topic/meta/${topicname}/
可预览 最近10条数据
LOGSIZE (MSG) 某个Topic的特定Partition已经写入了多少条消息(message)
OFFSET(表示该Partition已经消费了多少条消息)、LAG(表示有多少条消息没有被消费)
topic列表下面 有 PRODUCER LOGSIZE 柱状图
显示每一天的 消息数
/consumers/groups
CONSUMERS INFO
#ID Group Topics Node Active Topics Active Threads
Group 点进去
Consumer Group Topics
#ID Topic ConsumerStatus
ConsumerStatus 可点进去
/consumers/offset/?group=x&topic=x
#Partition LogSize Offset Lag Owner Created Modify
#Partition LogSize Offset Lag
0 9865897 9319178 546719
Lag 消息消费积压数
上面的topic点进去
/consumers/offset/realtime/?group=x&topic=xxx
/metrics/kafka
监控
overview
BROKERS
TOPICS
ZOOKEEPERS
CONSUMERS
Broker MessageIn
Kafka OS memory cpu
Active Topics
byteIn byteOut
Topic LogSize
JAVA_HOME 和 KE_HOME 环境变量,分别指向JDK和Kafka Eagle的安装路径
system-config.properties
配置 Kafka集群的连接信息、JMX端口等
监控功能
包括Kafka集群的实时状态、Broker列表、Topic列表、Consumer Group列表等
支持图表化监控,展示Kafka集群的各项指标,如吞吐量、延迟等
管理功能
kafka 集群管理
包括创建Topic、删除Topic、修改Topic配置等
管理Consumer Group,包括查看Consumer Group的详细信息、删除Consumer Group等
上一篇
下一篇
信贷风控业务知识-001-信贷业务介绍-信贷基础指标和风险指标
信贷风控业务知识002-信贷风控架构简介
风控的一些经验
信贷智能风控体系建设简介
信贷风控系统介绍
M0 M1 M2 简介