这是一个创建于 2542 天前的主题,其中的信息可能已经有所发展或是发生改变。
项目中遇到一个需求,需要将一个千万条记录级别的 mongodb 库提取部分字段转到 postgresql 中。
由于 mongodb 一直在更新,所以每隔一段时间就需要倒一次数据。所以想实现增量更新的功能。
问题是,我要如何保存上一次 python 遍历到的位置?
ps:mongodb 的_id 字段是自动生成的,其他字段无严格的递增或递减的数量关系。
 |
|
1
baichi 2018-04-14 01:27:55 +08:00
find_filter = { "_id":{"$gt": ObjectId( last_id )} }
|