queshengyao 最近的时间轴更新
queshengyao

queshengyao

V2EX 第 250049 号会员,加入于 2017-08-21 22:52:23 +08:00
queshengyao 最近回复了
323 天前
回复了 surbomfla 创建的主题 投资 一百万如何进行简单的理财
这个位置拿出一部分定投一下创业板和沪深 300 ,风险不大了。
2018-05-15 12:38:47 +08:00
回复了 Hupuhr 创建的主题 酷工作 [上海] [虎扑体育] 寻找 PHP 开发工程师
我干我的羊!
2018-05-14 09:34:24 +08:00
回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心?
@maemual 嗯这我知道,要封爬虫有很多方式,但我是看到你之前回复说淘宝不是通过 robots 来防止百度爬虫的,所以想知道是百度没遵守 robots 协议,然后淘宝另外用了手段封禁吗?
2018-05-14 08:53:03 +08:00
回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心?
@maemual 我用 postman 试了一下,用百度爬虫的 ua 是可以拿到淘宝商品页内容的呀
2018-05-13 20:39:54 +08:00
回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心?
@maemual 请问一下淘宝是如何禁止百度爬虫的?我一直以为是百度遵守了 robots 协议
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5255 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 09:10 · PVG 17:10 · LAX 01:10 · JFK 04:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.