这是一个创建于 3405 天前的主题,其中的信息可能已经有所发展或是发生改变。
例如,以 GB 为单位的文本文件,内容为纪录条目
1)对文件里面的条目去重,仅保留不重复的内容
2)切割文件,例如只保留最后 1/3 或 最后 1/2 体积的内容
使用uniq sort 等系统自带命令
2 条回复 • 2015-07-06 11:50:34 +08:00
|
|
1
msg7086 2015-07-06 05:58:07 +08:00
切割可以 head / tail。 去重需要 sort + uniq 要看内存有多大了吧。
|
|
|
2
tanywei 2015-07-06 11:50:34 +08:00
python yield
|