这一讲绝了，秒会Linux下Kafka环境调试及基本使用，还能学点英文

一、kafka单节点单broker环境调试

系统环境：centos 64位 mini

虚拟机：Virtual Box

假如你不熟习virtual box的使用，不知道如何安装centos系统，可以参考之前发布的文章：

快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用

快速掌握virtualbox虚拟机搭建centos系统集群

假如你不想用virtual box，也可以使用docker，之前发布的文章也有详情，请进入头条号查看

1、Windows下搭建单节点kafka环境

请参考之前发布在头条号上的文章，已经详细详情了

1）JDK环境调试

快速搭建Java（JDK）Tomcat基础开发环境

2）zookeeper环境调试

Windows下安装zookeeper

3）kafka环境调试

Windows下安装Kafka及简单使用

2、Linux下搭建

1）JDK环境调试

下载：http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

解压：

cd /usr/local/src
tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181 ../

配置：

cd /usr/local/jdk1.8.0_181
vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

验证：java -version

2）zookeeper环境调试

• 下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

• 解压

cd /usr/local/src
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 ../

• 配置环境变量

cd /usr/local/zookeeper-3.4.12
vim /etc/profile

export ZK_HOME=/usr/local/zookeeper-3.4.12 
export PATH=$ZK_HOME/bin:$PATH

source /etc/profile

• 修改zoo.cfg

cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data

• 启动测试

zkServer.sh start

[root@jikeh zookeeper-3.4.12]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

• 查看启动进程信息

[root@jikeh local]# jps
3829 QuorumPeerMain
3848 Jps
?
[root@jikeh local]# jps -m
3858 Jps -m
3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg

注释：zookeeper启动后，会多一个进程QuorumPeerMain

3）kafka环境调试

• 下载：

cd /usr/local/src
wget https://archive.apache.org/dist/kafka/1.0.2/kafka_2.12-1.0.2.tgz

注释：我们使用的版本是0.11

• 解压：

tar -zxvf kafka_2.12-1.0.2.tgz
mv kafka_2.12-1.0.2 ../

• 配置环境变量：

vim /etc/profile

export KAFKA_HOME=/usr/local/kafka_2.12-1.0.2
export PATH=$KAFKA_HOME/bin:$PATH

使得环境变量立即生效：source /etc/profile

• 配置server.properties

cd /usr/local/kafka_2.12-1.0.2
vim conf/server.properties

server.properties重要参数说明：

broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092：远程连接需要配置下
log.dirs=/usr/local/kafka_2.12-1.0.2/kafka-logs//默认的是不会持久化存储的，这里必需更改下
zookeeper.connect=//zookeeper的连接地址：根据实际进行配置

3）启动测试

配置你的hosts：

127.0.0.1 jikeh

启动zookeeper：

cd /usr/local/zookeeper-3.4.12

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka：

cd /usr/local/kafka_2.12-1.0.2

bin/kafka-server-start.sh config/server.properties

注释：一个server.properties其实，即可以当做一个broker

jps:查看当前运行的进程

jps -m:查看当前运行进程的详细信息

二、kafka基本使用

1、创立Topic

1）新建topic

查看命令的帮助信息：直接输入bin/kafka-topics.sh，而后enter，即可以查看所有的参数信息

bin/kafka-topics.sh –create –zookeeper 192.168.0.108:2181 –replication-factor 1 –partitions 1 –topic test

注释：参数说明

• replication-factor：设置副本数
• partitions：设置分区数

2）查看当前所有的topic列表

bin/kafka-topics.sh –list –zookeeper 192.168.0.108:2181

3）看下topic的介绍信息

查看所有topic：

bin/kafka-topics.sh –describe –zookeeper 192.168.0.108:2181

查看指定topic：

bin/kafka-topics.sh –describe –zookeeper 192.168.0.108:2181 –topic test

2、发送消息

bin/kafka-console-producer.sh –broker-list 192.168.0.108:9092 –topic test

3、消费消息

bin/kafka-console-consumer.sh –zookeeper 192.168.0.108:2181 –topic test –from-beginning

[root@jikeh kafka_2.12-1.0.2]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

上面的警告信息，表示：这是个废弃的用法，建议使用新的用法[bootstrap-server]

bin/kafka-console-consumer.sh –bootstrap-server 192.168.0.108:9092 –topic test

注释：

• –from-beginning参数的作用：重新开始消费消息，不论能否已经被消费了
• 对于低版本的kafka需要这样连接：

bin/kafka-console-consumer.sh –zookeeper 192.168.0.108:2181 –topic test –from-beginning

4、疑惑点

通过以上命令，很多人就有疑问了，究竟什么时候跟zookeeper打交道，什么时候跟broker打交道呢，这很容易让人糊涂

创立topic我是跟zookeeper打交道，而生产、消费消息却与broker打交道，但是低版本的kafka，消费者还是与zookeeper进行打交道的

注意：

低版本的kafka：需要这样消费

bin/kafka-console-consumer.sh –zookeeper 192.168.0.108:2181 –topic test –from-beginning

高版本的kafka：

bin/kafka-console-consumer.sh –bootstrap-server 192.168.0.108:9092 –topic test –from-beginning

注释：官网上的文档，其实是按高版本的kafka来升级文档的

为什么会有这种区别呢？

Kafka consumers在早先的版本中，offset默认存储在ZooKeeper中。

三、kafka用户端远程连接测试