kafka消息存储

‘壹’ rabbitmq和kafka的区别

RabbitMQ和Kafka的主要区别如下：

1、消息协议：RabbitMQ使用AMQP（高级消息队列协议），而Kafka使用其自定义的协议。AMQP是一种标准协议，可以提供更强的互操作性，但Kafka的自定义协议可能具有更高的性能。

2、消息格式：RabbitMQ支持多种消息格式，如JSON、XML等，而Kafka只支持二进制格式。这使得RabbitMQ在处理复杂消息时更为灵活。

3、息持久性：RabbitMQ支持消息的持久化，可以将消息存储在磁盘上，以确保消息不会在服务器崩溃时丢失。而Kafka也支持消息的持久化，但它的设计目标是为了实现高吞吐量，因此可能会牺牲一些持久化性能。

4、消息传递：消息队列系统可以确保消息在发送和接收之间可靠地传递，并处理任何传输错误或丢失。

5、消息处理：应用程序可以读取消息并处理它，以便进行后续操作。

‘贰’ Kafka 入门--数据日志、副本机制和消费策略

一、Kafka 数据日志

数据日志是 Kafka 的核心组件之一，它以主题（Topic）为单位存储消息。每个主题下包含一个或多个分区（Partition），而每个分区对应一个物理文件夹，用于存储该分区的所有消息。

每个消息在被添加到分区时，都会带有唯一的偏移量（offset），以此确保消息在分区内的顺序性。然而，不同分区之间消息的顺序性则不被保证。

日志文件由多个段（Segment）组成，每个段由数据文件（.log）和索引文件（.index）组成。索引文件以稀疏存储方式，只记录每条消息的偏移量和内容，避免了大量索引占用过多空间。

二、Kafka 副本机制

副本机制是 Kafka 保证数据可靠性的关键。每个分区有多个副本，其中只有一个为 leader，负责读写操作，其余为 follower，仅用于备份。当 leader 出现故障，由 follower 中选举新 leader。

使用单一 leader 提高一致性，避免多个副本同时读写导致的数据不一致问题。leader 通过 commit 策略通知 procer 数据已成功接收，即使在 leader 故障时，follower 中的数据仍然有效。

三、Kafka 消费策略

消费组（Consumer Group）由多个消费者组成，共同消费主题中的所有分区。每个消费者的偏移量（offset）记录消费位置，用于追踪消费进度。

消费策略包括 RangeAssignor、RoundRobinAssignor 和 StickyAssignor。RangeAssignor 均匀分配分区给消费者；RoundRobinAssignor 通过轮询方式分配；StickyAssignor 力求分配与上一次一致，保持分配的“粘性”。

总结，Kafka 通过数据日志、副本机制和灵活的消费策略，确保了高可用性、数据一致性和高效消费，使其成为分布式系统中可靠的事件存储和传输解决方案。