linuxKafka集群的安装

kafka安装的准备工作：

1.三台虚拟机
HadoopMaster:192.168.43.19（主节点）
HadoopSlave01:192.168.43.25（子节点）
HadoopSlave02:192.168.43.26（分节点）
2.启动zookeeper集群（kafka安装要在安装zookeeper前提下进行）
3.jdk安装

一、kafka是什么？

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

二、kafka安装步骤

1.导入kafka安装包

kafka_2.11-2.3.1.tgz（可在kafka官网中下载）
可通过Winscp把kafka数据压缩包传入到虚拟机中，可先在虚拟机中建立文件夹。
三台虚拟机要先建立免密登录，方便传输文件，此处不是必须建立。

2.虚拟机中安装步骤

1.解压压缩包（在HadoopMaster节点操作）

cd software;
tar -zvxf kafka_2.11-2.3.1.tgz 
mv kafka_2.11-2.3.1 kafka   

部分代码解析
software：刚刚传入kafka压缩包的文件
tar -zvxf 文件名：此处为文件解压命令
mv 原本的文件名 新的文件名

2.建立目录

cd kafka
mkdir kafka-logs

kafa:进入kafka目录中（在HadoopMaster节点操作）
mkdir:建立新目录的命令（此处建立了一个kafka-logs目录用来存放kafka消息）

3.配置server.properties 文件（在HadoopMaster节点操作）

cd config
vi server.properties 
listeners=PLAINTEXT://HadoopMaster:9092
broker.id=0
log.dirs=/home/hadoop/software/kafka/kafka-logs
zookeeper.connect=HadoopMaster:2181,HadoopSlave01:2181,HadoopSlave02:2181
wq

broker.id=0（此处为唯一，在子节点中，自行更改不能和主机一样）
config:是在kafka目录下的目录（注意路径）
pwd：查看路径
vi：进入server.properties文件中 ；更改数据
listener:监听窗口（注意HadoopMaster为自己的主机）
logs.dir:此处改为存放kafka-logs目录
HaoopMaster：此处为你主节点的主机名称（注意自己的）
wq：保存文件并退出。

4.把kafka文件传入子节点（HadoopSlave01，HadoopSlave02）中（在HadoopMaster节点操作）

 cd ../
 cd ../
 scp -r  kafka hadoop@HadoopSlave01:~/software/
 scp -r  kafka hadoop@HadoopSlave02:~/software/

传输文件时要处于文件所在的位置（/home/hadoop/software）
scp -r 文件名 要传入的虚拟机 @主机名 ：~/所要传入的目录；
scp：文件传输命令
注意：如果免密没有配置或配置不成功，此处需要输入密码

5.配置kafka环境变量

 vi ~/.bash_profile 
 #Kafka
export KAFKA_HOME=/home/hadoop/software/kafka
export PATH=$PATH:$KAFKA_HOME/bin

注意：kafka路径（自己的主机安装路径）

6.启动kafka（在HadoopMaster节点，HadoopSlave01，HadoopSlave02分别操作）

cd  kafka 
bin/kafka-server-start.sh -daemon /home/hadoop/software/kafka/config/server.properties 
jps

进入kafka目录
/home/hadoop/software/kafka/config/server.properties ：此处为具体目录
jps：查看是否安装成功
7.关闭kafka

 bin/kafka-server-stop.sh stop

8.创建topic（在HadoopMaster节点，HadoopSlave01，HadoopSlave02分别操作）

cd  kafka 
bin/kafka-topics.sh -zookeeper HadoopMaster:2181 --create --partitions 3 --replication-factor 2 --topic niti-topic（创建topic）

进入kafka目录输命令
-zookeeper：zookeeper集群节点
–partitions：分区数
–replication-factor：副本数
–topic：名称
9.查询topic列表（在HadoopMaster节点，HadoopSlave01，HadoopSlave02分别操作）

cd  kafka 
 bin/kafka-topics.sh --list -zookeeper HadoopMaster:2181

10.删除topic（在HadoopMaster节点，HadoopSlave01，HadoopSlave02分别操作）

cd  kafka 
 bin/kafka-topics.sh --delete -zookeeper HadoopMaster:2181  --topic niti-topic

一般报错

1.kafka启动失败（HadoopMaster节点，HadoopSlave01，HadoopSlave02）

cd  kafka 
cd logs
ll
cat kafkaServer.out

若是报这个错误内存不足，表示 ，则执行下面步骤
2.
1.修改内存（HadoopMaster节点，HadoopSlave01，HadoopSlave02）

cd ../
cd bin
vi kafka-server-start.sh 

更改数据；把1G改为128M；保存并退出。
重新启动kafka

2.创建topic，或是操作是出现以下错误

宝，这里是命令输错了哦，细心点

这篇好文章是转载于：学新通技术网