V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  kuokyong  ›  全部回复第 1 页 / 共 1 页
回复总数  9
@bofei 还在补充。
@whisperer 太棒了。 我试一下联系 @lijy91
@secondwtq 是有点难度,SO 数据量有点大,还有筛选出来句子,需要找个算法排优先级。后面会找时间尝试一下。
@resist 后面会添加解释和例子
2018-09-16 16:20:16 +08:00
回复了 867810107 创建的主题 Python asyncio 怎么与 redis 队列协同?
第一:需要异步库确保 IO 是异步的 https://github.com/aio-libs/aioredis
第二控制,协程数据和其它多进程 /线程,调度方式类似。一种是提前创建固定数量协程,不断去读数据。 另外就是两个数据建个调度个协程,.create_task/ensure_future. 达到上限就停止,或者用 Semaphore
没看懂你的代码。

建议用 aiohttp client 非常简单。await 就可以。 但 python 需要升级到 3.5+
2018-09-10 17:56:06 +08:00
回复了 xiaozizayang 创建的主题 Python 基于 asyncio 的异步爬虫框架,有兴趣来看看
有兴趣可以看我的项目。https://github.com/kkyon/botflow
封装了 asyncio 细节。
Botflow is a Python Fast Data driven programming framework for Data pipeline work( Web Crawler,Machine Learning,Quantitative Trading.etc) http://docs.botflow.org/
2017-04-13 14:32:54 +08:00
回复了 jingshu 创建的主题 程序员 145 个节点数据监测, BAT 云服务哪家强?
这个评分没什么意义, 差距都在 千分之几左右. 这个三家选哪一个都不会太差. 如果只卖几台,就看那个服务方便,满足你的要求, 如果是大量采购,就看价格,商业合作关系, 专门销售代表,技术支持是否到位.
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1810 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 16:40 · PVG 00:40 · LAX 08:40 · JFK 11:40
Developed with CodeLauncher
♥ Do have faith in what you're doing.