V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xhwdt
V2EX  ›  程序员

fluent-bit 能否自动恢复收集

  •  
  •   xhwdt · 99 天前 · 930 次点击
    这是一个创建于 99 天前的主题,其中的信息可能已经有所发展或是发生改变。

    fluentd

    之前使用 fluentd 收集日志,当 OUTPUT 目标出现故障时,chunk 达到设定的大小后,会停止收集。当 OUTPUT 目标恢复后,可以自动恢复收集。这样即使 OUTPUT 的后端是单节点,做些许运维操作不会造成日志的丢失,比较方便。

    fluent-bit

    想着 fluent-bit 资源消耗更低,想换成这个。在测试时,发现当 OUTPUT 目标出现故障时,chunk 达到设定的大小后,会停止收集。当 OUTPUT 目标恢复后,chunk 大小会减小,但是 INPUT 并没有恢复收集日志。难道要手动重启恢复?希望是我配置得不对,不然使用起来不方便啊。

    配置

    [SERVICE]
        flush         1
        log_level     info
        parsers_file  parsers.conf
        storage.path /data/fluent-bit-data
        storage.sync              normal
        storage.checksum          off
        storage.max_chunks_up     128
        storage.backlog.mem_limit 10M
        storage.total_limit_size    100M 
    
    2 条回复    2025-05-30 15:09:53 +08:00
    xhwdt
        1
    xhwdt  
    OP
       99 天前
    INPUT 配置
    ```
    [INPUT]
    storage.pause_on_chunks_overlimit on
    ```
    liuhai233
        2
    liuhai233  
       97 天前
    fluentd 性能太差

    fluent-bit 吞吐量可以更高,当 OUTPUT 故障的时候,input 中已经读取的部分会存在 chunk ,应该是自动恢复的,等到 chunk 为空再看看行为
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3041 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 13:44 · PVG 21:44 · LAX 06:44 · JFK 09:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.