Kafka 面试题

Kafka 中的 ISR、AR 又代表什么？

ISR：与 leader 保持同步的 follower 集合

AR：分区的所有副本

OSR: 被暂时踢出 ISR 的副本 Out-of-Sync Replicas 脱离同步副本。 数据同步严重滞后的副本组成 OSR（网络原因造成的等等）

AR = ISR + OSR

Kafka 中的 HW、LEO 等分别代表什么？

LEO：每个副本的最后条消息的 offset

HW：一个分区中所有副本最小的 offset

Kafka 中是怎么体现消息顺序性的？

每个分区内，每条消息都有一个 offset，故只能保证分区内有序。

Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？

拦截器 -> 序列化器 -> 分区器

Kafka 生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么？

“消费组中的消费者个数如果超过 topic 的分区，那么就会有消费者消费不到数据” 这句话是否正确？

正确

消费者提交消费位移时提交的是当前消费到的最新消息的 offset 还是 offset+1？

offset+1

有哪些情形会造成重复消费？

那些情景会造成消息漏消费？

先提交 offset，后消费，有可能造成数据的重复

当你使用 kafka-topics.sh 创建（删除）了一个 topic 之后，Kafka 背后会执行什么逻辑？

1）会在 zookeeper 中的 /brokers/topics 节点下创建一个新的 topic 节点，如：/brokers/topics/first

2）触发 Controller 的监听程序

3）kafka Controller 负责 topic 的创建工作，并更新 metadata cache

topic 的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？

可以增加

kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic topic-config --partitions 3

topic 的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？

不可以减少，被删除的分区数据难以处理。

Kafka 有内部的 topic 吗？如果有是什么？有什么所用？

__consumer_offsets, 保存消费者 offset

Kafka 分区分配的概念？

一个 topic 多个分区，一个消费者组多个消费者，故需要将分区分配个消费者 (roundrobin、range)

简述 Kafka 的日志目录结构？

每个分区对应一个文件夹，文件夹的命名为 topic-0，topic-1，内部为.log 和.index 文件

如果我指定了一个 offset，Kafka Controller 怎么查找到对应的消息？

聊一聊 Kafka Controller 的作用？

负责管理集群 broker 的上下线，所有 topic 的分区副本分配和 leader 选举等工作。

Kafka 中有那些地方需要选举？这些地方的选举策略又有哪些？

partition leader（ISR），controller（先到先得）

失效副本是指什么？有那些应对措施？

不能及时与 leader 同步，暂时踢出 ISR，等其追上 leader 之后再重新加入

Kafka 的那些设计让它有如此高的性能？

分区，顺序写磁盘，0-copy