通过以下 Referral 链接购买 DigitalOcean 主机，你将可以帮助 V2EX 持续发展
› DigitalOcean - SSD Cloud Servers
这是一个创建于 3334 天前的主题，其中的信息可能已经有所发展或是发生改变。
小弟现在有个 DigitalOcean 的 VPS ，放 blog 的。
看了看 DO 的条款，貌似是禁止用蜘蛛去抓网站的。
难道要用树莓派 24h 在家里挂着？
 |
1
onlyxuyang 2015-09-15 21:28:55 +08:00
买个便宜的独立 server... 另外...DigitalOcran 做 blog 是不是太奢侈了......
|
 |
2
msg7086 2015-09-15 21:31:55 +08:00
蜘蛛爬虫一般都是和灰产挂钩，人家怕你万一干什么坏事他自己要倒楣，所以一般都会禁掉。
可以找那种不管你是否违法的宽松厂商。 （比如 CC 网络的，比如欧洲小国的 |
 |
3
sefemp 2015-09-15 21:35:05 +08:00
限制你流量就行了，还管你爬虫？
|
 |
4
ianisme 2015-09-15 21:35:41 +08:00
独服
|
 |
5
Moker 2015-09-15 21:38:01 +08:00
表示 DO 开了爬虫好几个月还没被封
不过可能爬的内容不多吧。。一个是 lofter 某些 BLOG 还有 ins 之类 |
|
6
onlyxuyang 2015-09-15 21:39:38 +08:00
其实是看爬虫怎么写,一般 VPS 会监视端口数... 爬虫同时开的线程少抓取的线程少的话,服务商根本就不知道是不是爬虫，但是如果想做个高效的话，大量开线程并行抓取是不可避免的，那样端口数就会开很多，会被 vps 服务商 warning...
不过实话实说啊~ 只要做的不是很明显.... vps 服务商鬼知道你是普通程序在 run 还是爬虫啊....除非服务商闲的蛋疼追踪每一个出去的连接的对端 ip |
 |
7
wgf2008 2015-09-16 00:40:14 +08:00
正好有 2 欧的不要了，你要不要？
|
 |
8
sinxccc 2015-09-16 03:05:44 +08:00
貌似 Linode 管得很松。
|
Select Language