1
golmic 2018-06-17 19:11:10 +08:00 via Android
如果考虑 selenium 或者 splash 的话就不要追求效率了
|
2
bestehen OP @golmic 现在就是点击的,因为如果每天都点击 就是 365 天 再加上 35 个行业,数字很大,那么 chrome 吃不消的
|
3
golmic 2018-06-17 19:18:49 +08:00 via Android
建议分析一下请求...直接请求的方式做
|
4
lhx2008 2018-06-17 19:23:53 +08:00 via Android
35 个栏目又不多,开 35 个 chrome 就 ok
|
9
xpresslink 2018-06-18 15:17:02 +08:00
你都用 selenium 了就不要问效率的问题了。
你应该会 xpath 语法吧,要效率直接上 scrapy 之类,解析每个类别的 url,直接异步发送请求,要担心的不是效率问题了,而是别把人家 web 服务器给爆了。 |
10
JCZ2MkKb5S8ZX9pq 2018-06-18 18:13:11 +08:00
一直用的 requests,昨天试了下 selenium,结果被淘宝的滑块拦下了,唉。
搭车问问,有啥老版本的 ff 可以绕过 robot 模式嘛,主力用 chrome 不想降。 |
11
bestehen OP @xpresslink 我是说 再 selenium 基础上提高效率啊。365*35 这个数字很庞大啊。还有就是 2 个 365*35
|
12
bestehen OP @JCZ2MkKb5S8ZX9pq 滑块也可以 selenium 滑动的
|
14
beforeuwait 2018-06-19 13:50:58 +08:00
能自己撸代码模拟的,为啥非要去 selenium 呢
|
15
bestehen OP @beforeuwait 企名片 你去看看,纯接口难
|
16
lt921002191 2018-06-26 07:20:16 +08:00 via Android
能获取到请求就尽量获取请求,直接发请求效率最快
|