记Windows安装和搭建运行zookeeper和Kafka

前言：在Windows 11下配置kafka，请确保已经配置好了jdk和zookeeper，本文使用的是jdk 11  zookeeper 3.8.0，配置jdk的方法请参考其他资料，这里不再赘述

一、配置zookeeper

下载地址 
        https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

解压zookeeper到D:\zookeeper\apache-zookeeper-3.8.0-bin，转到conf文件夹下，把zoo_sample.cfg复制一份，改名为zoo.cfg，接着编辑该配置文件：

 dataDir=D:\\tmp

2 新建ZOOKEEPER_HOME环境变量，内容为D:\zookeeper\apache-zookeeper-3.8.0-bin，将%ZOOKEEPER_HOME%\bin追加到path环境变量

二、启动zookeeper

转到zookeeper所在的文件夹下

D:\zookeeper\apache-zookeeper-3.8.0-bin

执行下面的命令，启动zookeeper

.\zkServer.cmd

如果启动zookeeper遇到报错 java.io.IOException: ZooKeeperServer not running，最大的可能是zoo.cfg下的dataDir的路径格式配置错误，比如使用了错误的路径格式 D:/tmp ，正确的路径格式应该是 D:\\tmp

二、配置kafka

从kafka官网下载二进制格式的kafka，版本：3.1.0，下载地址

https://dlcdn.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz

 

把压缩包解压到D:\kafka\kafka_2.12-3.3.1，需要注意的是：文件夹的路径不要太长，否则启动kafka时会遇到 输入行太长 命令语法不正确 的错误，解决办法很简单，就是把kafka文件夹的解压路径缩短

编辑config文件夹下的server.properties

log.dirs=D:\\kafka\\kafka_2.12-3.3.1\\kafka-logs

注意：上面的地址必须真实存在且正确无误，否则会遇到The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.的错误，导致启动kafka的时候shutdown

直接删除D:\\kafka\\kafka_2.12-3.3.1下的kafka-logs文件夹，虽然不会删除已经创建的topic，但是会清空topic里已经存在的消息，千万不要在生产环境下这么做，否则后果自负！

四、启动kafka

转到kafka所在的文件夹下

D:\kafka\kafka_2.12-3.3.1\bin

执行下面的命令，启动kafka

.\windows\kafka-server-start.bat ..\config\server.properties

如果启动kafka遇到报错 log4j:ERROR Could not read configuration file from URL，这是因为jdk的安装路径里包含了空格，解决方法是：重新安装并配置jdk，安装路径不要有空格

五、创建topic、producer、consumer

进入kafka安装bin目录

-- 创建topic，不要重复执行下面的命令，要创建的topic如果已经存在，zookeeper会报错 java.io.IOException: Unreasonable length = 308375649

.\windows\kafka-topics.bat --create --bootstrap-server localhost:2181 --replication-factor 1 --partitions 1 --topic test

--创建producer

.\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

--创建consumer，从开头消费

.\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

--从指定offset消费，--offset 需要 和 --partition 搭配使用，不能单独使用

.\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-log --partition 0 --offset 1

--查看topic列表

.\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

--查看某个topic的详情

.\windows\kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic testTopic

--删除topic

.\windows\kafka-topics.bat --delete --topic testTopic --bootstrap-server localhost:9092

这篇好文章是转载于：学新通技术网