V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
git
Pro Git
Atlassian Git Tutorial
Pro Git 简体中文翻译
GitX
nealwx
V2EX  ›  git

git 有没有什么好的方法可以抓超过 10G 的 code

  •  
  •   nealwx · 2016-11-09 13:08:37 +08:00 · 4688 次点击
    这是一个创建于 2918 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前提:公司的代码托管在 xp-dev 上,主分支大概 10G 多

    国内直接抓的话速度在 20~30k/s
    
    使用代理( ss )抓的话,速度能到 2~3M/s 。
    
    但问题是, 每次透过 ss 进行 git clone 的时候,代码大概抓了 3G 多的时候,就会提示
    
    Write failed : Broken pipe
    fatal: The remote end hung up unexpectedly
    .....
    
    然后就结束了,什么都没有抓下来
    

    请问:有没有什么好一点的方法可以相对快速的将代码抓回本地,谢谢。

    34 条回复    2016-11-10 17:45:51 +08:00
    kmahyyg
        1
    kmahyyg  
       2016-11-09 13:19:21 +08:00 via Android
    先抓到 vps 再拖回来
    sobigfish
        2
    sobigfish  
       2016-11-09 13:28:06 +08:00
    10G 多...
    完全无法想象,不能分 submodule 么?
    jamesxu
        3
    jamesxu  
       2016-11-09 13:34:28 +08:00 via iPhone
    压缩拷回来
    wohenyingyu02
        4
    wohenyingyu02  
       2016-11-09 13:37:33 +08:00 via iPhone
    --depth=1 ?
    lhbc
        5
    lhbc  
       2016-11-09 13:38:07 +08:00
    git clone
    tar Jcf source.tar.xz source
    nealwx
        6
    nealwx  
    OP
       2016-11-09 13:38:37 +08:00
    @wohenyingyu02 试过,还是抓不下来
    nealwx
        7
    nealwx  
    OP
       2016-11-09 13:41:10 +08:00
    @jamesxu 可是没有操作权限
    akira
        8
    akira  
       2016-11-09 13:42:38 +08:00
    临时租个近一点的 vps ,把代码克隆下来以后压缩慢慢拉回来
    wsy2220
        9
    wsy2220  
       2016-11-09 13:42:47 +08:00
    git bundle
    pagxir
        10
    pagxir  
       2016-11-09 13:44:41 +08:00 via Android
    1 你需要的是一个稳定的网络,把代码同步完然后 git bundle create 。。。。。
    2 试试每次只 fetch 少量的 commit 。 git fetch origin commit 这么操作。
    iCyMind
        11
    iCyMind  
       2016-11-09 13:50:49 +08:00
    不要把思路局限在 git 上, 试试别的什么 Resilio sync 之类的
    iminto
        12
    iminto  
       2016-11-09 13:51:26 +08:00
    试试其他版本控制系统
    gky99
        13
    gky99  
       2016-11-09 13:54:49 +08:00 via iPhone
    ss 不适合你的需求,搭个 vpn 吧。
    走 ipv6 会更好
    tinyproxy
        14
    tinyproxy  
       2016-11-09 14:02:57 +08:00
    这么肥的仓库,最快的方式不是让你同事打包.git 文件夹拷贝给你么?
    如果你是远程工作或者你在的 site 只有你一个人干这个活当我没说。。。
    misaka19000
        15
    misaka19000  
       2016-11-09 14:38:31 +08:00
    找个在外国的人帮忙抓取一下然后打包发给你
    Tink
        16
    Tink  
       2016-11-09 14:44:43 +08:00
    是在 github 上吗? 是的话我还是建议直接下载 zip,能续传
    winglight2016
        17
    winglight2016  
       2016-11-09 17:06:25 +08:00
    可以压缩 git 库的呀, github 都有这功能
    haozibi
        18
    haozibi  
       2016-11-09 19:01:42 +08:00 via Android
    fetch 好像支持断点续传,没试过这么大的仓库
    bramblex
        19
    bramblex  
       2016-11-09 19:31:10 +08:00   ❤️ 1
    6666

    肯定绝大多数都不是代码,而是二进制文件。 /w\
    Chrisplus
        20
    Chrisplus  
       2016-11-09 20:11:50 +08:00
    直接抓
    git clone
    然后,回家睡觉
    exch4nge
        21
    exch4nge  
       2016-11-09 20:12:21 +08:00
    话说楼主不会用了 http/https 的方式吧……
    waytoexplorer
        22
    waytoexplorer  
       2016-11-09 20:25:00 +08:00 via iPhone
    先克隆到自己在国外的 vps 上,然后再打包下载
    Liutos
        23
    Liutos  
       2016-11-09 20:35:50 +08:00
    难道是游戏代码+素材
    nealwx
        24
    nealwx  
    OP
       2016-11-09 21:03:15 +08:00 via Android
    @exch4nge 不是,是 ssh 的方式
    lzhr
        25
    lzhr  
       2016-11-09 21:06:40 +08:00
    csdn 、 oschina 的可以导入 github 的项目,试试?
    nealwx
        26
    nealwx  
    OP
       2016-11-09 21:07:27 +08:00 via Android
    @Liutos @bramblex 最早的 git log 是 08 年的,全是 c/c++ 以及一些页面和图片
    exch4nge
        27
    exch4nge  
       2016-11-09 21:09:50 +08:00
    nealwx
        28
    nealwx  
    OP
       2016-11-09 21:13:29 +08:00
    @exch4nge 明天试试
    Technetiumer
        29
    Technetiumer  
       2016-11-09 21:22:42 +08:00
    这个 xp-dev 是啥?如果是百度第一个结果,注册时候不是有地区么,找个那个地区的 VPS ,先 clone 到 VPS 上。

    @lzhr oschina 和 coding 的导入基本没戏,太大了肯定失败。

    ( oschina 和 coding 不是只能导入 github 的项目,其他也可以)
    Monad
        30
    Monad  
       2016-11-09 22:19:10 +08:00
    @nealwx 这个方法可以 我当初就是用这个方法 clone 了一个 Chromium...
    itlr
        31
    itlr  
       2016-11-09 23:55:38 +08:00
    是不是把 window7 的盗版盘都 commit 进去了:)
    nexusone
        32
    nexusone  
       2016-11-10 09:52:47 +08:00 via Android
    我这有爬 github 项目的爬虫,通过 http 爬取,后台用多线程下载,一般挺快
    holy_sin
        33
    holy_sin  
       2016-11-10 10:46:31 +08:00
    真倒霉,我之前也遇到过这种情况,里面好多提交都有 *.lib ,一个文件就 100 M 大小
    ivechan
        34
    ivechan  
       2016-11-10 17:45:51 +08:00
    试过用 ipv6 下载过 chromium 源码, 20 多 G 把, 10M/s 的速度.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3231 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:23 · PVG 20:23 · LAX 04:23 · JFK 07:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.