Linux搭建kafka单机/集群
1. 搭建kafka单机环境
1.1. 版本
Linux:CentOS7
JDK:1.8
zookeeper:3.7.0
kafka:3.0.0
1.2. 安装环境
Linux服务器上已有JDK环境和Zookeeper环境。
1.3. 资源下载
# kafka官方下载
https://kafka.apache.org/downloads
1.4. 搭建步骤
# 将下载好的安装包放到/usr/local/kafka目录下,并解压
tar -zxvf kafka_2.12-3.0.0.tgz
# 编辑config/server.propoties文件
vi config/server.propoties
# 配置日志目录和zookeeper地址
log.dirs=/usr/local/kafka/datas
zookeeper.connect=node1:2181,node2:2181,node3:2181/kafka
# 添加环境变量
vi /etc/profile
# 追加kafka的配置
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
# 设置新增的环境变量生效
source /etc/profile
1.5. 测试搭建结果
# 启动kafka
kafka-server-start.sh -daemon config/server.properties
# 创建主题(名称为kafkaTestTopic,1个分区,1个副本,这个node1为hostname)
kafka-topics.sh --bootstrap-server node1:9092 --create --topic kafkaTestTopic --partitions 1 --replication-factor 1
# 开启生产者服务,向kafkaTestTopic发送数据
kafka-console-producer.sh --bootstrap-server node1:9092 --topic kafkaTestTopic
# 重新打开一个终端,开启一个消费者服务
kafka-console-consumer.sh --bootstrap-server node1:9092 --topic kafkaTestTopic --from-beginning
# 在生产者控制台输入消息,观测到消费者控制台可接收到数据
2. 搭建kafka集群环境
2.1. 环境
三台搭建好kafka单机环境的服务器,kafka单机环境搭建见上文。
2.2. 搭建步骤
与单机环境搭建最大的不同,就是三个节点要分别指定自己的broker.id
。
# 修改三个节点的broker.id分别为0、1、2
vi config/server.propoties
2.3. 测试搭建效果
测试过程与单机环境测试步骤大致相同,稍有不同的地方为集群测试的--bootstrap-server
可指定多个节点,中间用,
隔开,且创建主题时--partitions
参数和--replication-factor
参数可根据集群数量灵活指定。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhiaegkf
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
excel打印预览压线压字怎么办
PHP中文网 06-22