Python 有什么简单办法将字典换到磁盘里操作吗

[linxy19957]

我有一个比较大的字典，这个字典的大小可能超过了机器可用的内存，我想把整个字典用 pickle 序列化，再 zlib 压缩一下，然后通过网络发送到另一台机子上，这个功能有简单一点的办法完成吗？

[keakon]

直接把原始的字典文件压缩后传过去啊，不然另一台机器加载这个字典就内存溢出了。

[krixaar]

既然是字典，存成个 sqlite 然后查询也可以吧？

[linxy19957]

@keakon 感谢回答，可能问题有点不清楚，字典是程序运行过程中不断填充的，所以没有原始的字典文件。另一台机器加载字典内存溢出的问题暂时可以不考虑，可以想象另一台机器内存很大。

[Ehco1996]

pickle

[linxy19957]

@krixaar 感谢回答，sqlite 可能是目前能想到的最好的解决办法了，但是字典是程序运行过程中不断填充、修改、合并的，用 sqlite 效率有所下降，而且也比较麻烦，如果没有其他办法的话就用它

[silencefent]

放磁盘里操作比 sqlite 效率低更多,磁盘的 io 不到内存的 1/20

[linxy19957]

@silencefent sqlite 也是基于磁盘的吧，按理说效率应该是差不多的？是有内存的 sqlite，但是数据在内存里放不下

[silencefent]

@linxy19957 但是 sqlite 可以让你决定一次取多少到内存里呀

[linxy19957]

@silencefent 我懂你的意思了，是我描述的不够，我的 value 占用空间较大，但是生成后存起来就行，是不参与运算的，运算的基本都是 key 部分

[Rheinmetal]

数据多的话就上数据库吧 缓存问题数据库引擎会给你解决的
你这个 k-v 型的上 redis ？

[lihongjie0209]

在另外的大内存机器上启动 redis, 计算还是放在这台机器

[linxy19957]

@Rheinmetal
@lihongjie0209
感谢两位，redis 也是种解决办法，最后可能在 redis 和 sqlite 之间选一个

[lance86]

把数据用 MongoDB ？处理直接在数据库里

[liprais]

为啥你不把这个对象写到数据库里.......

[joson1205]

比较好奇数据对象是临时性保存还是永久性的?