安装kafka
1. 安装准备:
1. 关闭防火墙
2. 关闭selinux
3. 安装jdk并配置环境变量
测试环境说明:
名称 | ip |
---|---|
kafka1 | 192.168.6.9 |
kafka2 | 192.168.6.10 |
kafka3 | 192.168.6.11 |
zookeeper | 192.168.6.69 |
在下述操作中,请根据现实情况修改
2. 上传安装包
3. 解压安装包
tar -zxvf kafka_2.11-1.0.0.tar.gz
3. 修改配置文件
第一台机器:
sed 's/broker.id=1/broker.id=1/g' kafka_2.11-1.0.0/config/server.properties
sed 's/epri-kafka/192.168.6.9/g' kafka_2.11-1.0.0/config/server.properties
第二台机器:
sed 's/broker.id=1/broker.id=2/g' kafka_2.11-1.0.0/config/server.properties
sed 's/epri-kafka/192.168.6.10/g' kafka_2.11-1.0.0/config/server.properties
第三台机器:
sed 's/broker.id=1/broker.id=3/g' kafka_2.11-1.0.0/config/server.properties
sed 's/epri-kafka/192.168.6.11/g' kafka_2.11-1.0.0/config/server.properties
4. 启动(三台机器分别执行)
nohup kafka_2.11-1.0.0/bin/kafka-server-start.sh kafka_2.11-1.0.0/config/server.properties >/dev/null 2>&1 &
5. 验证(任意一台服务即可)
1. 创建topic:test
kafka-topics.sh --create --zookeeper 192.168.6.69:2181 --replication-factor 1 --partitions 1 --topic test
2. 启动producer:test
kafka_2.11-1.0.0/bin/kafka-console-producer.sh --broker-list 192.168.6.9:9092 --topic dcloud-logs
3. 启动consumer:test
kafka_2.11-1.0.0/bin/kafka-console-consumer.sh --topic test --bootstrap-server 192.168.6.9:9092 --from-beginning
4. 测试:在producer端随意发送数据,在consumer端能收到数据,即可