• 请不要在回答技术问题时复制粘贴 AI 生成的内容
awanganddong
V2EX  ›  程序员

大表怎么进行数据归档

  •  
  •   awanganddong · Jul 6, 2020 via Android · 2110 views
    This topic created in 2134 days ago, the information mentioned may be changed or developed.
    现在表数据量大概在 1500 万左右,
    现在设计是每 7 天对旧数据进行归档,
    归档过程中还要尽可能小的影响业务。请求量最少时候在 1000qps 左右。
    6 replies    2020-07-07 10:57:24 +08:00
    sherlockwhite
        1
    sherlockwhite  
       Jul 7, 2020
    定时任务?
    xuanbg
        2
    xuanbg  
       Jul 7, 2020
    SQL 定时任务跑脚本啊,单次数据 1K 条以内基本不会影响正常业务。估算一下应该多久跑一次,留个 20%余量安排上就行。
    cubecube
        3
    cubecube  
       Jul 7, 2020 via Android
    1000qps 那么,大表一天就超过 1500w 天纳克呀。。
    cubecube
        4
    cubecube  
       Jul 7, 2020 via Android
    想成修改了,实际没那么多。归档弄成归档库得了,从库直接 select into
    awanganddong
        5
    awanganddong  
    OP
       Jul 7, 2020
    也就是我复制一份表结构做归档表,然后起 sql 把数据写到归档表,最后删除原表的数据,只保留七天内的。
    这时候存在问题就是原表数据其实还是存在的
    cyspy
        6
    cyspy  
       Jul 7, 2020
    binlog 同步过去
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   867 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 20:22 · PVG 04:22 · LAX 13:22 · JFK 16:22
    ♥ Do have faith in what you're doing.