如何彻底弄清楚kafka各版本的差异

我自己用了 kafka 也挺久的了，关于kafka的版本规则，各个大版本的升级究竟做了哪些优化等，并没有特别的关注。小编打算做一个比较详细的整理。

1.x之后，kafka 全面启用三位数的命名规则。也就是说，以前的版本都是这样色的，

• 0.8.2.2

• 0.9.0.1

• 0.10.0.0

后来1·x之后，kafka 全面启用了三位数版本规则，如果下图所示，

新的版本规则，即 “大版本-小版本-patch版本“ 比较符合主流。

我们现在看到的 kafka 版本通常是这样的，

• kafka_2.11-2.2.0

前面部分2.11其实是scala的版本（kafka是scala编写的），后面三位就是真正的 kafka 版本。

 

• 为了提高吞吐量，producer 都以异步批量的方式发送消息到 broker 节点。

• consumer 的消费偏移位置 offset 由原来的保存在 zookeeper 改为保存在 kafka 本身。

 

• 增加安全相关特性，客户端连接 kafka 可以使用ssl或者sasl进行验证。

• 增加 kafka connect 模块

• 新的 consumer api

 

• 支持 java 9

• 增强 stream api

• 引入了线程协议，便于升级

 

• 最低支持 java8

• 弃用多处 scala 相关的依赖，java 成主流

 

• 默认的consumer group id 由 "" 改为 null。

• bin\kafka-topic.sh 支持指定 --bootstrap-server，代替原来的--zookeeper。

 

kafka 支持多个语言的客户端api，我只关注 java 客户端。maven 的工程我们一般这样引入 kafka 客户端，

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.10.2.0</version>
        </dependency>

 

这种会引入两个依赖jar，分别是

• kafka-clients-0.10.2.0.jar

• kafka_2.11-0.10.2.0.jar

前者是官方推荐的java客户端，后者是scala客户端。调用方式有所不同。如果确定不使用 scala api，也可以用下面这种方式只包含java版本的客户端。

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.2.0</version>
        </dependency>

 

一个原则是，尽量保持客户端版本和服务器上运行的server版本一致。