Kafka主要提供以下几个方面的性能监控指标:
1. Broker级指标
- Broker上的Topic数量
- 副本分布情况
- ISR变更数量
- 消息接收速率
- 消息发送速率
- 消息删除速率等
2. Topic级指标
- Partition数量
- 分区大小
- 消息速率
- 消息传输比率
- 未复制消息数
- 未同步消息数等
3. Partition级指标
- 日志剩余空间
- ISR集合大小
- 消息发送速率
- 消息传输比率
- 请求处理速率
- 前缀压缩比率等
4. Replication指标
- ISR变更数量
- 副本还没有同步的消息数
- 副本之间的同步延迟等
5. Consumer 组指标
- 每个Consumer分配到的Partition数
- 消费速率
- 消费进度等
6. Producer 指标
- 发送延迟
- 发送速率
- 消息发送失败数量等
Kafka主要监控的内容包括:
- Broker、Topic、Partition 级别的指标
- Replication的状态
- Consumer组的运行情况
- Producer的运行状况
分析这些性能指标,可以针对性地诊断Kafka集群的问题。