V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
DiffView
V2EX  ›  VPS

有哪些 VPS 能让你随便搭蜘蛛/爬虫 做抓取的?

  •  
  •   DiffView · 2015-09-15 19:36:29 +08:00 · 1170 次点击
    这是一个创建于 3362 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟现在有个 DigitalOcean 的 VPS ,放 blog 的。
    看了看 DO 的条款,貌似是禁止用蜘蛛去抓网站的。
    难道要用树莓派 24h 在家里挂着?

    11 条回复    2015-09-16 21:27:08 +08:00
    onlyxuyang
        1
    onlyxuyang  
       2015-09-15 21:28:55 +08:00
    买个便宜的独立 server... 另外...DigitalOcran 做 blog 是不是太奢侈了......
    msg7086
        2
    msg7086  
       2015-09-15 21:31:55 +08:00
    蜘蛛爬虫一般都是和灰产挂钩,人家怕你万一干什么坏事他自己要倒楣,所以一般都会禁掉。
    可以找那种不管你是否违法的宽松厂商。
    (比如 CC 网络的,比如欧洲小国的
    sefemp
        3
    sefemp  
       2015-09-15 21:35:05 +08:00
    限制你流量就行了,还管你爬虫?
    ianisme
        4
    ianisme  
       2015-09-15 21:35:41 +08:00
    独服
    Moker
        5
    Moker  
       2015-09-15 21:38:01 +08:00
    表示 DO 开了爬虫好几个月还没被封
    不过可能爬的内容不多吧。。一个是 lofter 某些 BLOG 还有 ins 之类
    onlyxuyang
        6
    onlyxuyang  
       2015-09-15 21:39:38 +08:00
    其实是看爬虫怎么写,一般 VPS 会监视端口数... 爬虫同时开的线程少抓取的线程少的话,服务商根本就不知道是不是爬虫,但是如果想做个高效的话,大量开线程并行抓取是不可避免的,那样端口数就会开很多,会被 vps 服务商 warning...

    不过实话实说啊~ 只要做的不是很明显.... vps 服务商鬼知道你是普通程序在 run 还是爬虫啊....除非服务商闲的蛋疼追踪每一个出去的连接的对端 ip
    wgf2008
        7
    wgf2008  
       2015-09-16 00:40:14 +08:00
    正好有 2 欧的不要了,你要不要?
    sinxccc
        8
    sinxccc  
       2015-09-16 03:05:44 +08:00
    貌似 Linode 管得很松。
    Bryan8
        9
    Bryan8  
       2015-09-16 17:55:07 +08:00
    @wgf2008 2 欧几钱?
    wgf2008
        10
    wgf2008  
       2015-09-16 21:23:59 +08:00
    @Bryan8 看着给吧,我也没卖过
    Bryan8
        11
    Bryan8  
       2015-09-16 21:27:08 +08:00
    @wgf2008 我也没买过,详细聊聊把 五一七二二五七三四
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5464 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 07:52 · PVG 15:52 · LAX 23:52 · JFK 02:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.