我的作业是这样的:
spout收集日志->bolt汇总日志并每隔1秒钟插入数据库
每条日志都需要处理不能丢
kill task的时候spout的会先置为失效,这时候就没有消息推送到bolt中了。然后再停止掉
bolt中没有数据推送过来,所以就不会再触发process方法了
那么这1秒钟内数据将没法插入到数据库里了
storm里的cleanup方法貌似只能工作在本地模式下,那么我想要在分布式模式下kill作业的时候做下cleanup的处理该如何做呢?
spout收集日志->bolt汇总日志并每隔1秒钟插入数据库
每条日志都需要处理不能丢
kill task的时候spout的会先置为失效,这时候就没有消息推送到bolt中了。然后再停止掉
bolt中没有数据推送过来,所以就不会再触发process方法了
那么这1秒钟内数据将没法插入到数据库里了
storm里的cleanup方法貌似只能工作在本地模式下,那么我想要在分布式模式下kill作业的时候做下cleanup的处理该如何做呢?