求助： Go 读取 2W 条记录的 CSV、EXCEL 文件，根据记录前 4 列（A B C D）去重，怎么实现效率比较高。
fatbear001 · 2019-08-08 11:42:20 +08:00 · 1929 次点击这是一个创建于 1935 天前的主题，其中的信息可能已经有所发展或是发生改变。
文件结构如下：
| A | B | C | D | E | F | G | H | I | J |
| xx | xx | xx | xx | xx | xx | xx | xx | xx | xx |
| xx | xx | xx | xx | xx | xx | xx | xx | xx | xx |
 |
1
rrfeng 2019-08-08 11:43:29 +08:00
awk '!a[$2$2$3$4]++' file.csv
自己设 -F 分隔符。 2w 条要啥效率 |
 |
2
fatbear001 OP @rrfeng 额，在 go 程序中怎么实现啊？
|
 |
3
SuperMild 2019-08-08 11:49:00 +08:00
2 万条……效率最高的就是你自己写起来最熟练最快的方法。
|
|
4
fatbear001 OP @SuperMild 现在想的是循环添加进 map 中。。
|
|
5
SuperMild 2019-08-08 11:52:55 +08:00
@fatbear001 直接写吧，很可能马上就搞定了。
|
|
6
rrfeng 2019-08-08 11:53:06 +08:00
|
 |
8
8bit 2019-08-08 12:50:32 +08:00 via Android
不先估算下重复率吗？
|
 |
9
loading 2019-08-08 13:01:32 +08:00 via Android  2
写一周，程序最后跑下来就是 1 分钟
写半天，程序最后跑下来就是 3 分钟 |
 |
10
Vegetable 2019-08-08 13:26:30 +08:00
随便写了一个基于前 4 个元素拼接字符串和 map[string]struct{}去重的例子,在只有 4 列整数时,2w 行耗时 29ms.我觉得这玩意再怎么效率低也没有纠结的必要.
还是赶紧写吧 |
 |
11
no1xsyzy 2019-08-08 15:25:02 +08:00
拜托 2w 就是 Python 效率也够的，可能拿 brainfuck 写效率都不是问题
|
 |
12
reus 2019-08-08 15:46:41 +08:00
2 万行随便写啊
|
 |
13
rockyou12 2019-08-08 15:48:05 +08:00
2w 你随便写都很快啦
|
Select Language