@dingyaguang117 比如首页提权，比如单站点收录上限，比如站点抓取配额。不过，对应也会有对应的泛域挖掘策略就是了。

爬虫的大部分规则是根据域名做的，通过泛域可以绕过这些规则

它在他的父节点（你没发出来的外层标签）的textnode中

上级路由插lan口

没用，证书和域名绑定的

@msg7086 我指的是用户侧的代理，比如小ISP搞的

@msg7086 我估计新浪不会，因为我测试是ok的，估计是有透明代理

@richiefans urllib2默认又不发gzip头。。
LZ的代码也仅仅是编码问题

html.decode('gbk', 'replace')

什么叫完整？
什么叫浏览器？
这问题太大了

@RIcter header和在url参数里面一样不安全，用https在url和header里面一样安全

果然又是你

为什么加url里不好看，加个token不是很正常吗？

活干完了，出来看看

@zhttty 你一上来说昨天研究了下xxx，然后也不把发现直接发出来，好那我自己动手。
然后我发现卫生部改名合并了，又发现源码里面其实能找到很多H7N9，但是不知道展示到哪了。

那么，OK，你昨天都研究什么去了？
你连研究对象的特性都没有研究清楚，你要得出个什么结论？
你的结论有多少说服力？
你这完全是带着结论去去找证据，呀，找到了好开心。

难道研究不应该说：
1、我访问了卫生部网站，发现已经改名合并了，首页有跳转提示。
2、直接搜索找不到H7N9，但是源码中存在，它被隐藏/在某个tab下/在边边角角/在title中被缩略。
3、这样做的原因是什么，有什么缺陷，应该如何改进。
4、啊，我还发现一个专题，这个专题在什么位置。。。。

确实天朝有很多呵呵的问题，你用一个错误的/片面的证据去证明一件错误的事情就是正确的了？

@zhttty 我不是让你打开源代码，再搜索吗？
你不是研究吗？这都没研究出来？

@zhttty 然后，你输入 www.moh.gov.cn 再看看，这你真错怪卫生部了

LZ你再研究下
除去卫生部一年没更新了，你打开源码再搜搜看

你何时见过建筑师会使搅拌机？