V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
asdasdqqq
V2EX  ›  Linux

脚本算法求解,备份轮替

  •  
  •   asdasdqqq · 2021-06-17 02:11:45 +08:00 · 1926 次点击
    这是一个创建于 1248 天前的主题,其中的信息可能已经有所发展或是发生改变。
    磁盘有 30Gb 的容量,有一份数据要进行备份,假设每天备份的容量是 1Gb,备份 30 天后磁盘空间满了,在后面每天都新增备份的情况下,要进行轮替,删除旧备份
    轮替规则是最近 10 份数据每天 1 份,最近的 11-20 份数据每 2 天 1 份,最近的 21-30 份的数据每 4 天 1 份
    如何编写脚本,python 或者 shell
    12 条回复    2021-06-18 02:42:49 +08:00
    asdasdqqq
        1
    asdasdqqq  
    OP
       2021-06-17 02:24:17 +08:00
    也就是大概要保留 7 多天的历史数据
    asdasdqqq
        2
    asdasdqqq  
    OP
       2021-06-17 02:24:51 +08:00
    也就是大概要保留 70 多天的历史数据
    eason1874
        3
    eason1874  
       2021-06-17 03:01:18 +08:00   ❤️ 1
    把备份日期放到备份文件名里,比如 backup-20210617.gz ,然后循环一把梭:

    先取当天时间戳 time 减去 10 天秒数,然后循环 20 次,每次减 1 天秒数,就是从 11 天前循环到 30 天前。

    循环的代码,判断当前时间的日期有没有备份文件,没有就直接 next,如果有就指定后续间隔次数,在前 10 次是 next+1,就是间隔一次,在后 10 次是 next+3,就是间隔三次,间隔期间的日期如果有对应文件就删除。
    Ariver
        4
    Ariver  
       2021-06-17 06:43:38 +08:00 via iPhone
    压缩一下
    可以保存大概 10 倍
    junksheng
        5
    junksheng  
       2021-06-17 07:53:10 +08:00 via Android
    轮询删除加压缩,可以存很多
    snownarrow
        6
    snownarrow  
       2021-06-17 09:27:49 +08:00
    @Ariver 文档压缩才有这么高的压缩比吧,要是其他格式就难说,二进制的就直接压缩后几乎没变化
    watcher
        7
    watcher  
       2021-06-17 10:59:24 +08:00
    为啥不直接用系统的 logrotate 呢
    Ariver
        8
    Ariver  
       2021-06-17 11:00:33 +08:00
    @snownarrow sorry, 我默认他说的是日志......
    视频音频应该远大于 30g 吧
    asdasdqqq
        9
    asdasdqqq  
    OP
       2021-06-17 12:03:42 +08:00
    @watcher logrotate 只能设置每天保存或者每几天保存,不能设置近的每天保存远的每周保存这样的
    julyclyde
        10
    julyclyde  
       2021-06-17 14:06:14 +08:00
    @asdasdqqq 是吗?
    autoxbc
        11
    autoxbc  
       2021-06-17 16:04:30 +08:00   ❤️ 1
    因为刚好是 1-2-4,所有有个简单的解法;
    设 A,B,C 三个数据集,每个容量为 10 ;
    前一个溢出的,逢单抛掉,逢双压入下一级;
    asdasdqqq
        12
    asdasdqqq  
    OP
       2021-06-18 02:42:49 +08:00
    我的解法:
    1 、计算出要保留的天数 1*10+2*20+3*10 =70,如果备份日期在 70 天前的删除
    2 、从最早循环每个文件名
    如果在 30 至 70 天前的,计算出总数,大于 11 份的,循环删掉相差小于 4 天最早的;(删除后 break,每天只删除 1 份)
    如果在 10 至 30 天前的,计算出总数,大于 11 份的,循环删掉相差小于 2 天最早的;(删除后 break,每天只删除 1 份)

    一个大循环(循环文件)+3 个小循环(判断相差天数)+若干判断(备份数,大于 11 份等)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2724 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:26 · PVG 20:26 · LAX 04:26 · JFK 07:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.