爬虫每天传一次到 hdfs 能用 flume 吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Apache Hadoop

› Hortonworks Sandbox

› Intel Hadoop Distribution

› Treasure Data

这是一个创建于 1399 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬虫每天传一次到 hdfs 能用 flume 吗？已经配好了 flume 为了论文多点内容也想尽量用上但发现 flume 好像设滚动的话会一直产生新文件设滚动时间长在时间到之前好像又是一直是 tmp 状态有办法可以使 csv 文件每天通过 flume 传一次到 hdfs 吗？还是只能设置定时任务到时间 put 一次呢？感谢解答

Flume

hdfs

滚动

csv

3 条回复 • 2021-04-06 10:35:29 +08:00