V2EX › ilovebaicai 的所有回复 › 第 5 页 / 共 6 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6

❮

❯

2018-01-18 14:03:11 +08:00

回复了 slgz 创建的主题 › 程序员 › Python 连接 mysql 数据的问题请教

使用 MySQLdb，db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )试试，
或者使用 Flask-SQLAlchemy，app.config['SQLALCHEMY_DATABASE_URI']=mysql://username:password@hostname/database

2018-01-17 16:35:10 +08:00

回复了 frank065 创建的主题 › Python › 目标网站完全没有反爬机制，是否有必要设置 DOWNLOAD_DELAY？

数据量不多，DOWNLOAD_DELAY 设置久一点，加一个 user-agent。如果有条件放几个代理 ip。说不好那天就把你 ip 封了。

2018-01-15 13:16:37 +08:00

回复了 SimbaPeng 创建的主题 › 程序员 › mac 上有什么好用的 postgresql GUI 客户端？

DBeaver
https://dbeaver.jkiss.org/download/

2018-01-04 12:00:06 +08:00

回复了 Nick2VIPUser 创建的主题 › 程序员 › （请教）如何提高爬虫的效率/采集速度

抱歉，手抖，少打了个 a。

2018-01-04 11:59:04 +08:00

回复了 Nick2VIPUser 创建的主题 › 程序员 › （请教）如何提高爬虫的效率/采集速度

Scrpy+redis 是一个选择。![scrapy-redis]( https://github.com/rmax/scrapy-redis)

2017-12-26 13:48:28 +08:00

回复了 Nick2VIPUser 创建的主题 › 程序员 › （程序员/互联网行业从业者）哪个瞬间你觉得学历限制了自己的发展？

找工作，项目经验和能力都 ok，却直接被 hr 刷下去，面试都不给机会的时候，就能体会学历多重要了。

2017-12-18 15:36:19 +08:00

回复了 sangmingming 创建的主题 › Android › 小米感恩节不感恩

领了 100 卷，美滋滋。买点小东西，性价比蛮高的。

2017-12-13 22:35:45 +08:00

回复了 pheyer 创建的主题 › 程序员 › 喜欢用 app 记帐的人，看到这个有什么感觉

目前有什么好用的记账软件？随手记用了几年，最近广告异常多。

2017-12-07 13:50:16 +08:00

回复了 nonsense 创建的主题 › 程序员 › 老生常谈的一个问题，还是没找到，阅读技术类 PDF 的最佳体验是什么？

@bzzhou 同想法。淘宝有啥打印靠谱的？上次找了一家，打印的质量不行。

2017-12-04 15:53:08 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@smilekung 这个是一个可能的原因，谢谢您！

2017-12-04 15:29:33 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

貌似确认获取不到 mac 地址，可参考 http://www.jianshu.com/p/61b1506e4c0f。

2017-12-04 14:46:42 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@cheesea X-Forwarded-for 这个也可能是追踪到了原始 ip，谢谢您！

2017-12-04 14:45:56 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@dewi 这个确实是个问题，谢谢您！

2017-12-04 14:45:13 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@cheesea 预算问题。只有少量的 asdl 的拨号服务。所以 ip 地址更换的并不会很快，但是每次拨号会改变 ip 地址。

2017-12-04 14:05:11 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@wangxiaoer 如果按照您的说法，我一个公司就一个出口 ip，如果有几十个人同时在访问淘宝，这也是算是同 ip，不同 header 访问，但是并不会被 ban。可能并不会是这个原因导致的。

2017-12-04 13:48:19 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@shaobin 您能说下，这个请求的特质，具体点是什么？我现在使用的 header 是随机，ip 地址也是代理随机拨号的。

2017-12-04 13:13:26 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

目前是 12 个 ip 地址，ip 地址是 5 分钟轮流更换一次，使用随机的 user-agent，header+referer 访问，没使用 cookie。但是即使更换了 ip 地址，这个 ip 地址还是会被 ban。

2017-12-04 11:50:07 +08:00

回复了 ilovebaicai 创建的主题 › Python › 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

@vus520 这个可能性会有。但是我是使用 asdl 自建的代理池，IP 重复的概率不会很大。

1 2 3 4 5 6

❮

❯