Home
Sign Up
Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
V2EX
›
程序员
数据同时写入 hdfs 和 es 的方案
wang2222
·
Aug 16, 2019
· 2501 views
This topic created in 2574 days ago, the information mentioned may be changed or developed.
求教给位 V 友一个问题: 现在我们将一份数据写入了 ES,现在有需求将数据写一份进入写入到 hdfs,现在有两种方案
在处理数据时,同时写入 es 和 hdfs
在写入 es 之后,用 scroll 方法将 es 的数据读取写入到 hdfs
哪种方法更好一点?
写入
hdfs
数据
Scroll
3 replies
•
2019-08-16 18:24:32 +08:00
1
gaozhy
Aug 16, 2019
处理数据时,利用 flume 多 sink,分别存 ES 和 HDFS
2
kiddingU
Aug 16, 2019
楼上正解,flume 多个 sink,或者用 kafka 两个 consumer group 广播,kafafa-connect-es -hdfs
3
wsbnd9
Aug 16, 2019
自己写脚本 就选择 1 利用现有的开源组件 就按照 2 楼说的
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
3925 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms ·
UTC 05:17
·
PVG 13:17
·
LAX 22:17
·
JFK 01:17
♥ Do have faith in what you're doing.
❯