V2EX › prasanta 的所有回复 › 第 25 页 / 共 25 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 16 17 18 19 20 21 22 23 24 25

❮

❯

2016 年 8 月 6 日

现在在公司做 django ＋ mysql 开发，平时喜欢用 scrapy 爬东西，感兴趣的网站内容，统统爬下来。你没说待遇。

2016 年 7 月 30 日

24 小时爬的话我选择 16g 内存

2016 年 7 月 30 日

我的意思是使用登录后的 cookie 直接访问目标页面就可以了。不需要再考虑登录的问题。

2016 年 7 月 30 日

我喜欢直接放到 header 的 cookie 字段里面，字符串格式。

2016 年 7 月 30 日

使用 scrapy 的话内存一定要够大！！！！

2016 年 7 月 30 日

2016 年 7 月 30 日

@Huayx9 cookie 的格式要正确，可以用 http://httpbin.org/cookie 接口来测试你的 cookie

2016 年 7 月 30 日

建议直接从浏览器中复制 cookie 放到 requests 请求的 headers 里面。这样就不用去纠结登陆的问题了。

1 ... 16 17 18 19 20 21 22 23 24 25

❮

❯