Celery Rabbitmq 文件传递问题请教

[Exits]

需求：web 应用，有几个非常耗时任务（基于深度学习算法，时间复杂度高）需要通过分发请求任务到服务器结点 A、B、C 上，提交任务时需要文件（数据集），执行完后生成文件，需要将 A、B、C 结果文件统一存放在 A 上

框架：本人使用 Django+Celery+rabbitmq 进行任务分发，问题在于 django 接收的 request 中 FILE 如何传递给 rabbitmq，而执行完任务后结果文件如何写回到 A 中？

配置

A B C: broker: amqp://A  backend: amqp://A
A broker  B: worker   C: worker

相关代码：

celery: A demo/demo/celery.py

A demo/web/view.py

def handle_upload_como(request): 
    ...
    dataset = request.FILE.get("data", None)
    ...
	//这里传递文件 dataset 不能成功
    res = taskA.delay(dataset, args)
    res.ready()
	//获取结果文件 resf
	//写入 resf 到 A 结点的统一存储路径中
    ...

A demo/web/task.py

@share_app
def taskA(data, args):
    ...
    run(data，args)
    ...
    //result 写在路径： /var/www/result/中，存储结点为当前执行任务结点
    //如何返回 result 结果
    return 'ok'

若上述配置有误，也请多多指正，上述问题应如何解决呢？

[qyb]

A 提供一个 NFS server，传递文件路径过去

[Exits]

我查了下 Stack Overflow，解决方法有以下几种：
1.rabbitmq 不支持文件传输，但支持 json 传输，所以可以用 json.dump({'data':encode(dataset)})传输，B 端进行反序列化解码
2.如 @qyb 所说，传递 A:file/to/path，BC 远程复制读取
3.文件内容解析为 xml 或 json 传输
方法略有缺点，若有更好的方法或者更好的架构框架或者基于 django 的分布式框架也可以讨论一二

[cranelee13]

1. json 序列化数据后传输，节点拿到后反序列化后执行。

2. 提供 http 下载接口，celery 可以分发任务让节点通过 http 下载对应数据集。