在 flask 中 redis 订阅数据持久化到 mysql 的问题

[ingin]

现在有一个 flask 项目，写了一个下任务的接口，下完任务需要调用第三方接口去做一个诊断服务，诊断完毕后会把结果推送到 redis 上，我需要订阅 redis 的 channel 来监控数据，所以我写了一个工具方法来监控这个 redis 的数据变化，监控到数据变化就持久化到 mysql，可是使用 gunicorn 来开四个进程跑 flask 服务的时候会同时写入 mysql 四条数据，总不能为了监控 redis 数据就只能使用一个进程来跑服务吧。

[whl619969187]

redis 的消息订阅是广播类型的，所有会造成重复消费；
可以用阻塞队列，起线程监听
或者用 kafka 吧这个支持同消费组一条消息只消费一次的

[ingin]

@whl619969187 #1 redis 推送数据那个是第三方接口，所以我只能在我这边做改动

[whusnoopy]

单开一个监听 redis 的服务进程？ gunicorn 的 web 不去管这事

或者用 celery 之类的做定时任务，一分钟去检查一次 redis，不要让 redis 自己推送

[feverzsj]

先进 mysql

[ingin]

@whusnoopy #3 目前我就是这样做的，但这就相当于两个项目了，还是想做到在一个项目内。

[whusnoopy]

@ingin 项目还是可以是一个项目，代码在一块，只是部署时分开启一个 flask web app 和一个 celery app，另外如果需要维持 beat，还要给 celery 启一个 celery-beat

[liwb2]

实现一个外部锁，当 4 个进程取到消息之后，先取请求锁，取得锁的进程开始写 db。