V2EX › asuraa 的所有回复 › 第 69 页 / 共 76 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 61 62 63 64 65 66 67 68 69 70 ... 76

❮

❯

2017-09-04 12:02:22 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@ysc3839 目前没卡死了一台电脑因为队列太大内存爆了
@mert472114271 目前没有卡死了一直在运行

2017-09-04 00:15:24 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@NoAnyLove 按您说的几点
1. ClientSession 已改为一个
2. session.get timeout=60
3. response 使用 async with 打开

目前再跑明日看看会不会还卡死

2017-09-03 23:40:54 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@NoAnyLove 感谢我都试试看谢谢

2017-09-03 23:25:28 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

跑跑看有问题在此贴继续讨论

2017-09-03 23:25:12 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

另外写文件使用的 io 阻塞操作

写文件使用 aiofiles 实现异步写操作

async with aiofiles.open('download_err.txt', 'a') as f:
await f.write(new_key + '\n')

2017-09-03 23:02:01 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

我觉得好像找到问题了。当 asyncio 队列满了之后会阻塞线程。但是我这里用的 put_nowait

http://python.usyiyi.cn/translate/python_352/library/asyncio-queue.html
put_nowait(item)
将项目放入队列而不阻塞。

如果没有可用的空位，引发 QueueFull。

2017-09-03 22:18:22 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@mengskysama http 请求引起的卡死吗？

2017-09-03 21:59:56 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@mengskysama 对于单个进程而言会等待的啊

2017-09-03 21:58:30 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@mengskysama 但是是异步的啊应该会等待请求完成的啊

2017-09-03 21:55:42 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@mengskysama 是在每次 http 请求的时候加的吗？

2017-09-03 21:43:51 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@Lax 这里使用了 with 语句，应该能保证 with 语句执行完毕后已经关闭了打开的文件句柄。应该不是这个问题呀。

2017-09-03 21:36:54 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@Lax 脚本是跑在 windows 下的。。因为硬盘要用 ntfs 格式给某部门送过去

2017-09-03 21:36:14 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@Lax windows 下有这个玩意么

2017-09-03 21:29:02 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

擦。。。看错了帖子主题的代码是正确的。。

2017-09-03 21:23:04 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

更正：
```python
def is_dic(url):
"""判断 key 是否是目录根据是否有后缀名判断"""
url = url.replace('http://v0.api.upyun.com/', '')
# print(len(url.split('.')))
if len(url.split('.')) > 1:
return True
else:
return False
```

2017-09-03 21:20:02 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

@upyun

2017-09-03 21:19:39 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

在线等。。。。急

2017-09-03 21:19:26 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

难道是保存文件的时候引起的？

2017-09-03 21:16:17 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

昂这么硬的问题木有人给解答下吗

2017-09-03 21:12:28 +08:00

回复了 asuraa 创建的主题 › Python › 求助 Python 异步多线程下载又拍云图片问题

又拍云官方回复的脚本连接在此:[upyun-sdk-script]( https://github.com/monkey-wenjun/upyun-sdk-script/blob/master/download_file/download_file_with_iter.py)

1 ... 61 62 63 64 65 66 67 68 69 70 ... 76

❮

❯