现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

[ilovebaicai]

1. 抓取淘宝商品月销量，使用淘宝页面的[detailskip.taobao.com]，进行抓取。
2. 有使用稳定的代理池，每隔一段时间更换。
3. 如果对爬虫请求来说，如果我请求的每次 ip 地址都不一样，还会被 ban。那这个原因是什么？是需要带 cookie 去访问，还是淘宝使用了行为分析一类的策略？
4. 帮忙一起分析下目前淘宝的反爬策略，谢谢！

目前是 12 个 ip 地址，ip 地址是 5 分钟轮流更换一次，使用随机的 user-agent，header+referer 访问，没使用 cookie。但是即使更换了 ip 地址，这个 ip 地址还是会被 ban。

使用的更换的 ip 地址，也是立马直接拒绝，不让访问，而不是访问一段时间才拒绝的。

1. 非常感谢大家的回复
2. 目前汇总的可能使用策略大概表现为：
   • 淘宝使用的行为分析的一类的反爬
   • X-Forwarded-for可能会追踪到原始IP
   • 淘宝使用了蜜罐
   • 代理ip可能较少，已全被淘宝拉黑
3. 解决方案目前未想到，需要优化代码，去尽量模拟用户真实行为去访问，抓取数据。
4. 感谢大家热心回复，谢谢！

[ilovebaicai]

目前发现 Amazon，也是这样的。使用了代理 ip 去请求，一段时间后，就会让你输入验证码。即使立即更换 ip，也不让访问。

[vus520]

估计是代理 IP 被记录了吧。

[ilovebaicai]

@vus520 这个可能性会有。但是我是使用 asdl 自建的代理池，IP 重复的概率不会很大。

[shaobin]

useragent ip cookie referer 等特征结合着来

[firefox12]

估计这些 ip 结合历史记录看 早就在黑名单了吧

[qu3290052]

1.ip 被拉黑
2，协议头长期没变

[150]

我天天浏览车托之家，也经常弹出个验证框，估计也把我当成了代理爬虫

[qwertty01]

使用的什么爬虫？
请求头 Cookie 之类的分析了吗？
动态爬虫之类的用了没？

[enenaaa]

似乎在哪里有人说过，淘宝反爬用的逻辑回归做判断。 也就是说 ip，浏览器信息，浏览行为都会是判断因素。
比如，如果一直只浏览某个页面， 那 99%是爬虫了。 所以需要模拟用户真实的浏览行为。

[ytmsdy]

ip，cookies，referer...
还有检查一下爬虫有没有进到蜜罐里面

[Jackeriss]

有可能会根据访问频率判断，也可能你访问了只有爬虫才会访问到的隐藏链接。

[zzNucker]

就换个 IP 就行了？ 你开玩笑吧。。

[LevineChen]

你登录了吧 爬一会会强制登录的.

[yuriko]

ip 更换频率？分钟级的？

[ilovebaicai]

目前是 12 个 ip 地址，ip 地址是 5 分钟轮流更换一次，使用随机的 user-agent，header+referer 访问，没使用 cookie。但是即使更换了 ip 地址，这个 ip 地址还是会被 ban。

[shaobin]

要么你换出来的 ip 已经再黑名单，要么特质太过明显

[ilovebaicai]

@shaobin 您能说下，这个请求的特质，具体点是什么？我现在使用的 header 是随机，ip 地址也是代理随机拨号的。

[wangxiaoer]

你 IP 5 6 分钟切换一次，header 随机，这就有可能在出现下面的情况：

同一个 ip 在 5 6 分钟内的访问，每次 header 都特么不一样。

你说这算不算特征？

[ilovebaicai]

@wangxiaoer 如果按照您的说法，我一个公司就一个出口 ip，如果有几十个人同时在访问淘宝，这也是算是同 ip，不同 header 访问，但是并不会被 ban。可能并不会是这个原因导致的。

[cheesea]

X-Forwarded-for ？
你都用上拨号了，ip 怎么才这么少，不是每次拨号都会变么。

[dewi]

@ilovebaicai MAC 地址你的是固定的，但是你的 header 随机，不查你查谁= =

[ilovebaicai]

@cheesea 预算问题。只有少量的 asdl 的拨号服务。所以 ip 地址更换的并不会很快，但是每次拨号会改变 ip 地址。

[ilovebaicai]

@dewi 这个确实是个问题，谢谢您！

[ilovebaicai]

@cheesea X-Forwarded-for 这个也可能是追踪到了原始 ip，谢谢您！

[find456789]

@dewi 网页得不到 mac 地址吧

[capo]

请问一下用户的 MAC 地址是可以获取的吗？

[wang12xishan]

@dewi 同问 用什么办法可以获取到 MAC 地址

[Level5]

网页得到 mac 地址？
记得谷歌也是这样。换 ip 已经没用了。有人用 py 包调 IE 浏览器模拟用户请求还是一样被 ban，觉得是不是页面 JS 获取了用户鼠标事件等判断？

[smilekung]

大概率是触发蜜罐了吧 或者是页面检测了鼠标轨迹 我碰到过 打开页面会先加载反爬 js 然后检测鼠标，不通过就不允许后续接口请求

[guotie]

mac 地址从报文中是获取不到的，路由每一跳都会更换 mac 头

[ilovebaicai]

貌似确认获取不到 mac 地址，可参考 http://www.jianshu.com/p/61b1506e4c0f。

[mazao]

除了 ie 使用 ActiveX 能获取 mac 以外，浏览器无法获取 mac 吧？不然不符合浏览器的安全协议了。 @dewi

[ilovebaicai]

@smilekung 这个是一个可能的原因，谢谢您！

[wangxiaoer]

@ilovebaicai 几十个人同时访问淘宝也不可能出现每个 ip 每个请求的 header 都随机吧。

同一个 ip header 有不同是正常的，但是没有一个相同的就是不正常了

[binux]

所以随机 UA 这东西是谁想出来的？
你不去模拟真实的用户，或者你自己都不知道真实的用户行为是怎样的，不被封才怪了。

[402645707]

淘宝 ua 我有个建议，测试发现 ie 浏览器的 ua 可以有效避免验证码

[ryang]

可以考虑用 selenium+chrome 的方式爬取呢。
目前我用公司的 ip 地址，爬 1000 条没有要求登录。猜测可能是公司人比较多，所以同一个 ip 经常会有不同的人登录或者不登录访问淘宝。
如果用代理，爬个 10 几条就需要登录，但是用密码加短信验证码的方式登录后，再爬取 1000 多条都没有限制。

[akira]

尽可能模拟真实用户提交的数据，而不是尽可能的随机

[LukeChien]

你的 IP 不是民用的吧，可以反向解析

[safeoy]

试试民用宽带，ADSL 拨号换 IP

[sgissb1]

小伙，我这么给你说。就算不用爬虫，我们普通用户上去只要逛的多一点，也常常让我输入坑爹的验证信息。

也许人家的策略比你认为的还暴力。

[wampyl]

刷单的都让在页面上停留 30s，还要下拉到最后，所以他们的策略很细的。

[EmmaSwan]

我家電信，公網 ip, 整天讓我輸入驗證碼，煩得我都不樂意買了。
京東從來不需要輸驗證碼

[EmmaSwan]

@sgissb1 關鍵是，輸入一次以後，如果不換 ip，就不應該再重複讓用戶輸入。可事實上，他會持續讓你輸入，每個商品都讓你輸一次，真的不懂怎麼個思路

[sgissb1]

@EmmaSwan 这个你也遇到了？如果是真的，我前段时间就这样，幸亏我不怎么买东西。我是大半年没有开过 TB，再打开 TB，貌似就没问题了。因为路由器常年在线，所以 IP 一直是同一个公网 ip。

[EmmaSwan]

@sgissb1 经常这样,特别是傍晚到半夜这段时间. 淘宝 /天猫 /飞猪,都这样.
没有什么真的假的,我又不是京东员工,黑淘宝作甚

[EmmaSwan]

另外, 我登录支付宝, 是 100%要求短信验证! 即便喝口水回来的功夫, 也会登录失效, 并要求再次使用短信验证码登陆. 我觉得这些人就是故意的, 强迫你使用 APP.
以前我还会用花呗买东西, 现在都不乐意用了, 因为电脑上不给你对账, 你根本不知道上个月买了什么东西, 数额对不对. 用手机来对账, 在我看来非常脑残, 不仅不能一个屏幕上开计算器, 也没有数字小键盘, 而且反复上下拖动屏幕带来的拖尾效果会让眼镜很不舒服

[sgissb1]

@EmmaSwan 小伙别急，我又没怀疑你。我只是想确定你和我是否一样的遭遇，毕竟我没有 1000w

[lxk11153]

你们说的蜜罐是啥？