V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
thiswind
V2EX  ›  程序员

想做一个开源镜像站,大家有什么建议吗?

  •  1
     
  •   thiswind ·
    thiswind · 2016-05-02 11:34:25 +08:00 · 8120 次点击
    这是一个创建于 3130 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想做一些开源软件的镜像给本地的程序员用,目前做了一个 Ubuntu 的 Rsync 和一个 pypi

    大家有没有什么建议呢?短期内可以见效果的话,做哪些镜像比较好呢?

    (现在有一个很小很小的数据中心可以用,3台服务器,几十个物理核,1TB+内存,10TB+存储)

    第 1 条附言  ·  2016-05-02 12:30:34 +08:00
    建议收集列表:

    - 做各种 Chrome 版本的离线安装包(谢谢: JiShuTui )
    47 条回复    2016-05-06 17:20:41 +08:00
    Comdex
        1
    Comdex  
       2016-05-02 11:41:49 +08:00
    开个虚拟机我用, O(∩_∩)O 谢谢
    donghouhe
        2
    donghouhe  
       2016-05-02 11:46:10 +08:00
    开满各种虚拟机, win , mac , linux 各版本的,提供给需要的人用
    JiShuTui
        3
    JiShuTui  
       2016-05-02 11:54:52 +08:00 via Android
    Chrome 各版本离线安装包
    thiswind
        4
    thiswind  
    OP
       2016-05-02 12:14:49 +08:00
    @JiShuTui 哦,这个是个好主意啊,谢谢,记下了:)
    thiswind
        5
    thiswind  
    OP
       2016-05-02 12:16:21 +08:00
    @donghouhe 可是资源有点少,倒是打算做一个 docker 容器托管,不知道合不合适
    thiswind
        6
    thiswind  
    OP
       2016-05-02 12:17:35 +08:00
    @Comdex 呵呵,机器不是我的,我只是代管啊。要买得起那么多资源,我就先买房子啦
    N4HS3zwwKs7wira0
        7
    N4HS3zwwKs7wira0  
       2016-05-02 12:19:24 +08:00
    无私的楼主。敲碗等:)缺国内机器用来 bt 下载 wwwww
    thiswind
        8
    thiswind  
    OP
       2016-05-02 12:23:57 +08:00
    @lianxiangru 饿,不懂诶,是啥?
    N4HS3zwwKs7wira0
        9
    N4HS3zwwKs7wira0  
       2016-05-02 12:27:27 +08:00
    @thiswind 下载啊。。。美国网络直接 bt 下载要被查水表了=。= 所以很多人都用国内机器下载,再 http 拽回去。。。
    mrhuiyu
        10
    mrhuiyu  
       2016-05-02 12:33:54 +08:00
    @lianxiangru 具体做法呢?这又三四天物理机。。。
    N4HS3zwwKs7wira0
        11
    N4HS3zwwKs7wira0  
       2016-05-02 12:37:00 +08:00
    @mrhuiyu 开个虚拟机就可以了啊。。 aria2c 后台下载呗。。
    longquanwo
        12
    longquanwo  
       2016-05-02 12:37:54 +08:00
    @mrhuiyu 确实,楼主需要评估能做多久,不然就别折腾开源镜像站,害人害己
    4679kun
        13
    4679kun  
       2016-05-02 12:38:13 +08:00 via Android
    docker 容器托管好评
    ayaseangle
        14
    ayaseangle  
       2016-05-02 12:39:30 +08:00 via Android
    这么大的存储可以清华大学镜像站全站拷贝了吧
    SCaffrey
        15
    SCaffrey  
       2016-05-02 12:49:33 +08:00
    1TB +内存 大概是花了多少钱啊……?
    thiswind
        16
    thiswind  
    OP
       2016-05-02 13:24:16 +08:00 via iPhone
    @longquanwo 可以做很多年的,应该可以做 10 年+
    thiswind
        17
    thiswind  
    OP
       2016-05-02 13:26:30 +08:00 via iPhone
    @ayaseangle 就是好多技术不熟悉,不知道具体镜像要怎么搭,现在只做了 ubuntu 的
    thiswind
        18
    thiswind  
    OP
       2016-05-02 13:27:01 +08:00 via iPhone
    @4679kun OK ,记下了:)
    thiswind
        19
    thiswind  
    OP
       2016-05-02 13:27:43 +08:00 via iPhone
    @SCaffrey 40w 左右的服务器
    longquanwo
        20
    longquanwo  
       2016-05-02 13:52:22 +08:00
    @thiswind docker 托管吧 还可以弄一点外快。跟主机壳合作
    just1
        21
    just1  
       2016-05-02 13:58:12 +08:00 via Android
    看看中科大有什么,全部拖过来
    主要带宽大吗
    whisperzzzz
        22
    whisperzzzz  
       2016-05-02 14:00:58 +08:00
    @JiShuTui 用?standalone=1 下载不好么 0 。 0
    vnady
        23
    vnady  
       2016-05-02 14:27:38 +08:00
    看其他主流官方镜像下载量最大、最频繁的源。
    ivmm
        24
    ivmm  
       2016-05-02 14:45:14 +08:00
    反代各种谷歌字体、 gravatar ,要有 https
    lostab
        25
    lostab  
       2016-05-02 14:57:34 +08:00 via Android   ❤️ 1
    openstack 可用的 windows 安装镜像,多谢楼主
    DesignerSkyline
        26
    DesignerSkyline  
       2016-05-02 14:59:12 +08:00 via iPad   ❤️ 1
    可以镜像一下排名中间的发行版,比如 sabayo 之类的。另外 opensuse 如果能全镜像就好了(包括 Open Build Service 的社区源
    DesignerSkyline
        27
    DesignerSkyline  
       2016-05-02 14:59:24 +08:00 via iPad
    plqws
        28
    plqws  
       2016-05-02 15:42:33 +08:00
    chocolatey 的 host 代理
    shenmegui
        29
    shenmegui  
       2016-05-02 18:33:11 +08:00 via Android
    office 离线包?想我当初在线安装 office 装了 4 个多小时,至今有阴影
    htfy96
        30
    htfy96  
       2016-05-02 18:45:35 +08:00 via Android
    secondwtq
        31
    secondwtq  
       2016-05-02 20:02:30 +08:00
    首先,服务器的上传和下载带宽都很重要 ...

    我一般比较喜欢用 Arch ,楼主可以考虑一下,貌似不大
    wwek
        32
    wwek  
       2016-05-02 20:49:04 +08:00
    带宽,存储
    iFlicker
        33
    iFlicker  
       2016-05-02 21:44:52 +08:00   ❤️ 1
    在维护我们校建不久的镜像站... 最大的问题是 rsync 各种失败..总是不稳定, 管理用的
    https://github.com/ideal/mirror
    VmuTargh
        34
    VmuTargh  
       2016-05-02 21:48:02 +08:00 via Android
    openwrt
    maven
    pip
    gem
    tvallday
        35
    tvallday  
       2016-05-02 21:56:22 +08:00
    rubygems
    http 和 https 的。
    dangge
        36
    dangge  
       2016-05-02 22:13:38 +08:00
    @iFlicker 我就知道你肯定要出现
    -割-
    建议提供一些小众的,非主流的镜像.
    just4fan
        37
    just4fan  
       2016-05-02 22:30:40 +08:00 via Android
    ubuntu 的 ppa
    国内每次 apt-get update 都提示索引校验失败,早就要疯了

    centos 的 remi 源什么的 我装 php5.6 时用到的
    lhbc
        38
    lhbc  
       2016-05-02 22:40:36 +08:00
    MySQL
    MariaDB
    (以上两个是官方最新版,不是各发行版带的那个)
    FreeBSD
    OpenWrt
    CentOS remi repo

    这些应该都不大,而且用户量也挺多的
    fhefh
        39
    fhefh  
       2016-05-02 22:48:09 +08:00
    Xcode
    iOS 开发文档
    strahe
        40
    strahe  
       2016-05-02 22:50:43 +08:00   ❤️ 1
    镜像其实都有的,如果真有资源,建议做一些冷门的资源镜像,并且要长时间维护才有价值。
    wssgcg1213
        41
    wssgcg1213  
       2016-05-02 23:06:03 +08:00
    npm
    ayaseangle
        42
    ayaseangle  
       2016-05-02 23:13:12 +08:00 via Android
    @thiswind 一般情况好像定时 rsync 就完了
    lslqtz
        43
    lslqtz  
       2016-05-03 05:06:09 +08:00 via iPhone
    反代缓存各种库,缓存 google chrome 各版本离线包,缓存各种 rpm 包,反代各种 yum apt-get 源。
    Cu635
        44
    Cu635  
       2016-05-03 10:20:50 +08:00   ❤️ 1
    首先,注意版权问题。官方明确说不让镜像的一定别镜像,没说允许没说不允许的尽量先联系一下他们吧;当然,上游没说不允许的你也可以先镜像再说,出了问题自己兜着……。

    其次,注意安全问题,尽量找有签名的并且一定把上游的签名(公钥)也给镜像下来。上游没有签名的话至少是 hash ,如果都没有,先让他们加上吧……

    最后,你的镜像站最好封杀迅雷的 range 下载,否则你就等着哭吧……
    Balthild
        45
    Balthild  
       2016-05-03 12:30:14 +08:00 via iPhone
    建议反代一下 pkgbuild.org 的 pacman 源
    snoopygao
        46
    snoopygao  
       2016-05-03 13:10:03 +08:00
    镜像 google 搜索!
    matsuz
        47
    matsuz  
       2016-05-06 17:20:41 +08:00 via Android   ❤️ 1
    maven maven maven
    强烈建议楼主做 maven 镜像
    国内现在几乎没有稳定可用的 maven 镜像,但是这个的需求又特别大。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4250 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 01:01 · PVG 09:01 · LAX 17:01 · JFK 20:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.