Kafka 数据同步

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 906 天前的主题，其中的信息可能已经有所发展或是发生改变。

想把 kafka topic 的 json 数据同步到 ES ，目前业界有没有通用的办法? 不需要原生数据所有字段都导入, 需要导入前做一次数据处理。

kafka 小白，有没有大佬指点一下

3 条回复 • 2022-06-28 14:57:50 +08:00

novolunt

2022-06-28 13:03:39 +08:00

中间加一层 logstash 做数据处理

SirCarol

2022-06-28 13:17:50 +08:00

yingqiuQAQ

2022-06-28 14:57:50 +08:00

看来大家的建议都是沿用 elk 这套组件，现有的框架也是这样做的