首页  

kafka-eagle 简介     所属分类 kafka 浏览量 162
EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)EFAK是开源可视化和管理软件。
可以查询、可视化、监控kafka集群,是将 kafka 的集群数据转换为图形可视化的工具。
https://www.kafka-eagle.org/

KAFKA EAGLE
A DISTRIBUTED AND HIGH-PERFORMANCE KAFKA MONITORING SYSTEM

/cluster/zookeeper
可查看 zk数据 


/topic/list

BrokerSpread	BrokerSkewed	BrokerLeaderSkewed

BrokerSpread:
这个指标通常用于表示broker的使用率。
假设Kafka集群包含9个broker,而某个topic有7个partition,那么BrokerSpread的计算公式就是:7/9 = 77%,
这意味着77%的broker被用于存储该topic的partitions。
了解集群中broker的利用情况,从而判断是否需要添加或删除broker

BrokerSkewed
衡量Kafka集群中partition是否存在倾斜。
倾斜意味着某些broker上的partition数量过多,而其他broker上的partition数量过少。
这可能导致某些broker负载过高,而其他broker相对空闲。
识别并解决这种不平衡的情况,以提高集群的整体性能和稳定性。

BrokerLeaderSkewed
关注 leader partition的倾斜情况。
在Kafka中,每个partition都有一个leader replica和一个或多个follower replica。
Leader replica负责处理读写请求,而follower replica则从leader replica复制数据以保持同步。 
了解leader partition在broker之间的分布情况,从而判断是否存在倾斜。
如果存在倾斜,需要调整replica的分配策略或增加broker的数量来平衡负载。


/topic/meta/${topicname}/
可预览 最近10条数据 

LOGSIZE (MSG) 某个Topic的特定Partition已经写入了多少条消息(message)
OFFSET(表示该Partition已经消费了多少条消息)、LAG(表示有多少条消息没有被消费)


topic列表下面 有 PRODUCER LOGSIZE  柱状图 
显示每一天的 消息数





/consumers/groups
CONSUMERS INFO
#ID	Group	Topics	Node	Active Topics	Active Threads
Group 点进去
Consumer Group Topics
#ID	Topic	ConsumerStatus

ConsumerStatus 可点进去
/consumers/offset/?group=x&topic=x
#Partition	LogSize	Offset	Lag	Owner	Created	Modify

#Partition	LogSize	Offset	Lag
0	        9865897	9319178	546719

Lag 消息消费积压数

上面的topic点进去
/consumers/offset/realtime/?group=x&topic=xxx






/metrics/kafka
监控 


overview BROKERS TOPICS ZOOKEEPERS CONSUMERS Broker MessageIn Kafka OS memory cpu Active Topics byteIn byteOut Topic LogSize
JAVA_HOME 和 KE_HOME 环境变量,分别指向JDK和Kafka Eagle的安装路径 system-config.properties 配置 Kafka集群的连接信息、JMX端口等 监控功能 包括Kafka集群的实时状态、Broker列表、Topic列表、Consumer Group列表等 支持图表化监控,展示Kafka集群的各项指标,如吞吐量、延迟等 管理功能 kafka 集群管理 包括创建Topic、删除Topic、修改Topic配置等 管理Consumer Group,包括查看Consumer Group的详细信息、删除Consumer Group等

上一篇     下一篇
信贷风控业务知识-001-信贷业务介绍-信贷基础指标和风险指标

信贷风控业务知识002-信贷风控架构简介

风控的一些经验

信贷智能风控体系建设简介

信贷风控系统介绍

M0 M1 M2 简介