V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  prprio  ›  全部回复第 1 页 / 共 1 页
回复总数  5
2016-07-24 14:34:33 +08:00
回复了 caspartse 创建的主题 分享创造 用 Python 写了个简单的 QQ 群爬虫
非常感谢!!!
这是个好东西啊。
@McContax

可以多种缓存策略。主要考察的是数据变化频率及更新缓存的代价是否比直接读库更大。

更新频率很低,可以做长期缓存+写删除(数据变动的时候删缓存)。
更新频率很高的,可以做生命周期很短的缓存(这个时候一定要内存缓存啊, redis , memcache ),不然文件缓存频繁 io 得不偿失。也可以只缓存数据不变的部分,比如帖子列表关联的用户信息,那么可以只缓存用户信息,帖子列表依然动态查询,然后拿 uid 去缓存里找用户信息。


总之。目标就是减少读库。尽可能的提高缓存命中率。
生命周期越短(缓存要频繁更新的)越是要考虑 io 。
生命周期越长,越考虑用文件缓存(节省内存)。
@sun1993 验证码怎么可以用文本呢。你的 /code 接口返回的是纯文本。那我先请求一下 code 接口,然后再请求一下登陆接口,不一样可以暴力破解嘛。

验证码还是生成各种变形、粘连,有干扰的图片吧,不然没意义。
看到纯文本的验证码的时候我有点懵。
抽时间改一下吧。

感觉 SQL 没有认真优化。有一些页面略慢。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1385 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 17:36 · PVG 01:36 · LAX 09:36 · JFK 12:36
Developed with CodeLauncher
♥ Do have faith in what you're doing.