推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2348 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有一个比较大的字典，这个字典的大小可能超过了机器可用的内存，我想把整个字典用 pickle 序列化，再 zlib 压缩一下，然后通过网络发送到另一台机子上，这个功能有简单一点的办法完成吗？
 | 1 keakon 2019-07-29 16:04:27 +08:00 直接把原始的字典文件压缩后传过去啊，不然另一台机器加载这个字典就内存溢出了。 |
 | 2 krixaar 2019-07-29 16:06:11 +08:00 既然是字典，存成个 sqlite 然后查询也可以吧？ |
 | 3 linxy19957 OP @keakon 感谢回答，可能问题有点不清楚，字典是程序运行过程中不断填充的，所以没有原始的字典文件。另一台机器加载字典内存溢出的问题暂时可以不考虑，可以想象另一台机器内存很大。 |
4 Ehco1996 2019-07-29 16:13:41 +08:00 pickle |
| 5 linxy19957 OP @krixaar 感谢回答，sqlite 可能是目前能想到的最好的解决办法了，但是字典是程序运行过程中不断填充、修改、合并的，用 sqlite 效率有所下降，而且也比较麻烦，如果没有其他办法的话就用它 |
 | 6 silencefent 2019-07-29 16:22:37 +08:00 放磁盘里操作比 sqlite 效率低更多,磁盘的 io 不到内存的 1/20 |
| 7 linxy19957 OP @silencefent sqlite 也是基于磁盘的吧，按理说效率应该是差不多的？是有内存的 sqlite，但是数据在内存里放不下 |
| 8 silencefent 2019-07-29 16:31:24 +08:00 @linxy19957 但是 sqlite 可以让你决定一次取多少到内存里呀 |
| 9 linxy19957 OP @silencefent 我懂你的意思了，是我描述的不够，我的 value 占用空间较大，但是生成后存起来就行，是不参与运算的，运算的基本都是 key 部分 |
 | 10 Rheinmetal 2019-07-29 16:42:12 +08:00 数据多的话就上数据库吧 缓存问题数据库引擎会给你解决的 你这个 k-v 型的上 redis ？ |
 | 11 lihongjie0209 2019-07-29 16:49:17 +08:00 在另外的大内存机器上启动 redis, 计算还是放在这台机器 |
| 12 linxy19957 OP |
 | 13 lance86 2019-07-29 17:00:50 +08:00 把数据用 MongoDB ？处理直接在数据库里 |
 | 14 F281M6Dh8DXpD1g2 2019-07-29 17:02:09 +08:00 为啥你不把这个对象写到数据库里....... |
 | 15 joson1205 2019-07-30 17:06:13 +08:00 比较好奇数据对象是临时性保存还是永久性的? |
Select Language