V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sirz
V2EX  ›  程序员

Python celery 替代

  •  
  •   sirz · 2024-08-26 11:31:11 +08:00 · 2955 次点击
    这是一个创建于 387 天前的主题,其中的信息可能已经有所发展或是发生改变。
    py 没怎么搞过,现在有个很简单的需求,py 作为消费者消费 rabbitmq 队列,后台执行一些耗时处理。生产者是 Go 。
    试了下 celery 资源吃的挺多,有没有什么简单的组件实现这个功能?
    17 条回复    2024-08-27 07:47:29 +08:00
    zengxs
        1
    zengxs  
       2024-08-26 11:40:11 +08:00
    pollux
        2
    pollux  
       2024-08-26 12:43:15 +08:00
    qW7bo2FbzbC0
        3
    qW7bo2FbzbC0  
       2024-08-26 12:45:31 +08:00
    当时选择了自己实现,这种框架对项目原来代码结构侵入比较严重
    zhengxiaowai
        4
    zhengxiaowai  
       2024-08-26 13:34:17 +08:00
    celery 虽然也不太行,但是相比其他的还是问题算少的
    encro
        5
    encro  
       2024-08-26 13:48:48 +08:00
    这种问题,

    是 celery 问题吗?

    celery 能吃多少资源?

    肯定是应用才是大头啊。
    bitmin
        6
    bitmin  
       2024-08-26 13:50:39 +08:00
    如果只是消费 rabbitmq 队列, 装个类似 aio_pika 这样的依赖,直接订阅消费就可以了吧,后台消耗 cpu 的就丢进程池里处理,如果是消耗 io 的直接协程处理
    djangovcps
        7
    djangovcps  
       2024-08-26 13:53:06 +08:00
    想简单点的话 while True: try except: 失败重试 消费呗
    iorilu
        8
    iorilu  
       2024-08-26 14:12:09 +08:00
    RQ(redis queue)
    轻量一些把, celery 是比较重得
    Ritter
        9
    Ritter  
       2024-08-26 14:20:33 +08:00
    rq
    brianinzz
        10
    brianinzz  
       2024-08-26 14:24:36 +08:00
    tikazyq
        11
    tikazyq  
       2024-08-26 14:32:47 +08:00
    这种简单需求用不着框架,自己实现就可以了
    fred649
        12
    fred649  
       2024-08-26 16:07:10 +08:00   ❤️ 1
    试试 Django Q2
    fred649
        13
    fred649  
       2024-08-26 16:08:27 +08:00
    不好意思,没看到不是 Django 项目
    gaeco
        14
    gaeco  
       2024-08-26 16:58:56 +08:00
    pioflight
        15
    pioflight  
       2024-08-26 19:25:32 +08:00
    supervisor 拉一个常驻,然后检测队列,做轮训吧,之前的项目稳定跑几年这块逻辑都不用维护,美滋滋
    MADBOB
        16
    MADBOB  
       2024-08-26 19:37:06 +08:00
    https://github.com/rq/rq rq 简单好用,比 celery 轻量好多
    R4rvZ6agNVWr56V0
        17
    R4rvZ6agNVWr56V0  
       2024-08-27 07:47:29 +08:00
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5534 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 02:38 · PVG 10:38 · LAX 19:38 · JFK 22:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.