部署Kafka集群需要注意以下几个方面:
1. Broker id
每个Broker节点需要配置不同的 broker id。
2. Listeners
配置Broker监听客户端请求的地址。
用不同地址可以区分内外网访问。
3. Advertised listeners
Broker公布给其他节点的地址。
如果部署在NAT后,需要配置这个外部地址。
4. Zookeeper
Kafka依赖Zookeeper管理集群信息。
需要正确配置ZookeeperAddresses。
5. Replication factor
根据可靠性需求设置Topic的复制因子。
一般推荐为2或3。
6.Partitions
根据吞吐量需求设置Topic的分区数。
7. 副本分配
Broker上的复制分区需要适当分配,避免单点负载。
8. 生产者客户端
需要配置broker列表,才能访问Kafka集群。
9. 消费者客户端
也需要配置好broker列表,订阅Topic。
10. 监控
监控Broker的各种指标,及时发现问题。
部署Kafka集群需要注意以下主要方面:
- Broker id
- 监听地址
- 对外地址
- Zookeeper配置
- 复制因子
- 分区数
- 副本分配
- 生产者配置
- 消费者配置
- 监控指标
只要仔细检查以上方面,就可以正确部署出一个可用的Kafka集群。
主要包括Broker、ZooKeeper、Topic和客户端(生产者/消费者)的配置。以及部署集群后的监控。