需求是这样的: 经常开爬虫扒数据,就买了几台 VPS 当代理节点使用,爬虫工作的时候轮流切换。
分享下我现在的方案:
现在几个待解决的问题: 1 。 squid 每次只返回配置里面的第 1 个节点,可能是我配置问题? 2 。 实现 VPS 远程拨号功能,这样就可以按需拨号。可控性就高很多了,毕竟爬虫正在工作的时候, ADSL 重拨会有重新连接的开销。
不知道除了 squid 外,还有没有其它可以实现这样需求的工具
顺便贴下我的 squid 配置,大家可以直接用:
# 这上面的全部用默认的就行了
http_access allow all
....
cache_peer 8.8.8.8 parent 8888 0 no-query no-digest
never_direct allow all