mongodb skip500w 的数据超时

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 3125 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题

collection.find({}, config.fields).skip(i * config.batch_size + 5840000 ).limit(config.batch_size).toArray

文档中没有递增的，可以区分所有数据的字段，不然可以 where+limit 做分页

同志们怎么解决这个问题？

1 条回复

gouchaoer

2016-09-15 18:02:23 +08:00 via Android

诀窍就是插入数据的时候用 count （*）的结果作为自增字段并且加上索引。。。。因为 mongo 的 count （*）复杂度为常数，自增字段可能有重复但是不影响最后遍历数据的时候用索引的区间查找