fluent-bit 能否自动恢复收集

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 124 天前的主题，其中的信息可能已经有所发展或是发生改变。

fluentd

之前使用 fluentd 收集日志，当 OUTPUT 目标出现故障时，chunk 达到设定的大小后，会停止收集。当 OUTPUT 目标恢复后，可以自动恢复收集。这样即使 OUTPUT 的后端是单节点，做些许运维操作不会造成日志的丢失，比较方便。

fluent-bit

想着 fluent-bit 资源消耗更低，想换成这个。在测试时，发现当 OUTPUT 目标出现故障时，chunk 达到设定的大小后，会停止收集。当 OUTPUT 目标恢复后，chunk 大小会减小，但是 INPUT 并没有恢复收集日志。难道要手动重启恢复？希望是我配置得不对，不然使用起来不方便啊。

配置

[SERVICE]
    flush         1
    log_level     info
    parsers_file  parsers.conf
    storage.path /data/fluent-bit-data
    storage.sync              normal
    storage.checksum          off
    storage.max_chunks_up     128
    storage.backlog.mem_limit 10M
    storage.total_limit_size    100M

fluent-bit

自动恢复

收集

2 条回复 • 2025-05-30 15:09:53 +08:00

xhwdt

124 天前

INPUT 配置
```
[INPUT]
storage.pause_on_chunks_overlimit on
```

liuhai233

122 天前

fluentd 性能太差

fluent-bit 吞吐量可以更高，当 OUTPUT 故障的时候，input 中已经读取的部分会存在 chunk ，应该是自动恢复的，等到 chunk 为空再看看行为