V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Ryans
V2EX  ›  问与答

Linux 如何处理超大体积的文本文件?

  •  
  •   Ryans · 2015-07-05 22:48:08 +08:00 · 2158 次点击
    这是一个创建于 3405 天前的主题,其中的信息可能已经有所发展或是发生改变。
    例如,以 GB 为单位的文本文件,内容为纪录条目
    1)对文件里面的条目去重,仅保留不重复的内容
    2)切割文件,例如只保留最后 1/3 或 最后 1/2 体积的内容

    使用uniq sort 等系统自带命令
    2 条回复    2015-07-06 11:50:34 +08:00
    msg7086
        1
    msg7086  
       2015-07-06 05:58:07 +08:00
    切割可以 head / tail。
    去重需要 sort + uniq 要看内存有多大了吧。
    tanywei
        2
    tanywei  
       2015-07-06 11:50:34 +08:00
    python yield
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5275 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 09:24 · PVG 17:24 · LAX 02:24 · JFK 05:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.