关于 kafka 丢数据

[badboy17]

为什么 kafka 会在生产消息时可能丢数据，kafka 不是基于 tcp 协议的吗，又为什么消费者拉数据则不会丢数据呢，知乎同问，求大佬解答 https://www.zhihu.com/question/502982361

[falsemask]

1.生产者的消息不是立即写到磁盘里的，是写到操作系统的 buffer 里，操作系统会定期刷盘
2.多节点的情况下，ack 不是-1 ，写入主节点之后如果发生选举，也会导致丢数据

[tonymua]

https://juejin.cn/post/7135101805179961352 这个写的挺简洁明了的

[Znemo]

这和是否使用 tcp 协议没关系，这里说的消息丢失不是丢在网络链路里了，而是在复杂的分布式环境中为了保障高可用而出现的问题，1 楼说的就是基于此种原因造成的问题。另外，还有可能是配置问题，比如消息体大小超过了 Kafka 的限定而导致消息拒收。

[badboy17]

@Znemo 也就是应用层的丢消息，这样理解对吗?也就是 tcp 能保证数据能够传输到目标主机的网卡里，但是并不保证后续的数据是不是被应用层读取，这么理解对吗

[Znemo]

@badboy17 粗粒度的看我觉得可以这么理解吧，Kafka 是有一些配置和处理方式可以让消息尽可能足够安全传递，可以参考《 Kafka 权威指南》第六章。分布式环境下没有免费的午餐，想要得到一些东西就必然要牺牲其他东西。