如何在 1s 内统计出 13 亿人口数据找出使用人数最多的十个姓名

[cage111]

请教下各位大佬这种需求可以实现吗

[mybyons]

Top-K 的问题求解 Probabilistic 问题

可以参考一下 Redis 的 Top-K Module 根据官方的测试数据 500,000 words.的世界文学 世界与和平 用时大概 1 Sec 就算出来了 这个时间包括了文件读取 和 词拆分 的时间. 如果减去这个时间 再能够优化一下 redis pipeline 还能优化一些

当然这个还差两到三个数量级的差距 那就 shard 100 个实例 最后再 merge

周末可以在云端试一下....haha....

参考 1. https://redislabs.com/blog/meet-top-k-awesome-probabilistic-addition-redisbloom/#:~:text=Redis'%20Sorted%20Set%20data%20structure,is%20initialized%20with%20the%20TOPK.

[cveoy]

只要机器够 100ms 也可以 给我来 5000 台 redis 或者 es mysql 都可以

[xieshaohu]

@cage111 查询条件和 groupby 条件都做成 orderby key

[troywinter]

我来安利一波 apache pinot，性能强过 druid，这种统计可以 200ms 内返回。