V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
GreenJoson
V2EX  ›  VPS

linux nginx 如何实现蜘蛛抓取与用户访问不同的 VPS 节点?

  •  1
     
  •   GreenJoson · 2016-10-14 22:05:58 +08:00 · 385 次点击
    这是一个创建于 2993 天前的主题,其中的信息可能已经有所发展或是发生改变。

    标题写得有点复杂,大神可能看不太懂。我详细说下!

    网站: xxxx.com ,因没有 beian,放不了国内 VPS ,用的香港 VPS 速度快,但因为香港小水管的问题,为了减轻带宽的问题,以及刚好手上有两台日本的 VPS ,想实现以下这种效果。 当让百度,谷歌,360 等蜘蛛抓取的时候,是到源站 IP 抓取,也就是香港的 VPS 。而用户访问的时候,则轮询到另两台日本的 VPS ,这样可以分散,而且用户访问的时候,不会暴露源站的 IP 。

    我知道可能会有人说 CDN ,但国内的 CDN 都是要备案的。而且我刚好手上有多余的 VPS ,就想看下怎么实现。

    目前知道的一点就是: nginx 的反向代理,还有 DNSPOD 有智能分析搜索引擎回源的功能,但有一个问题,如何做到源站 IP 上的数据更新,另外两台日本 VPS 上的数据或者静态文件也会同步呢? 后端用的是 PHP+mysql 的一般 CMS 。 linux 搭的 lnmp 一键包。 请求高手,给个思路,看下如何实现,会点 PHP 皮毛。

    4 条回复    2016-10-16 00:02:16 +08:00
    GreenJoson
        1
    GreenJoson  
    OP
       2016-10-14 22:06:34 +08:00
    沙发……在线等高手。谢谢!!
    GreenJoson
        2
    GreenJoson  
    OP
       2016-10-14 22:39:16 +08:00
    说明一下~~站点都伪静态的文件,最多的就是图片了。。。这种情况!
    yylzcom
        3
    yylzcom  
       2016-10-15 18:02:44 +08:00
    dnspod 分国别解析就好了
    yylzcom
        4
    yylzcom  
       2016-10-16 00:02:16 +08:00
    同步就用 inotify+rsync ,你这个需求简单
    不暴露源站 ip 这个意义不大
    但是我觉得不如都解析到日本好了,反正用户的访问速度都可以牺牲掉,搜索引擎那点速度所谓
    或者考虑七牛云存储静态文件的方案
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3016 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 13:52 · PVG 21:52 · LAX 05:52 · JFK 08:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.