V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
moose123
V2EX  ›  Python

关于多进程计算,内存飙升的问题

  •  
  •   moose123 · 2016-03-21 12:59:23 +08:00 · 3170 次点击
    这是一个创建于 3198 天前的主题,其中的信息可能已经有所发展或是发生改变。
    import sys
    import multiprocessing
    import time

    def func():
    return 1+1

    if __name__ == "__main__":
    pool = multiprocessing.Pool(processes = 3)
    for i in xrange(10000000):
    pool.apply_async(func, ())
    pool.close()
    pool.join()


    如果在 pypy test.py 执行,内存升的快些,用 python test.py 要慢些。
    我跑 1000W 次,最终将导致内存错误,想问下,上面代码对于多进程是我使用有问题吗?
    不用 multiprocess,Pool 就没这个问题。
    多谢。
    2 条回复    2016-03-21 17:31:26 +08:00
    mengzhuo
        1
    mengzhuo  
       2016-03-21 14:37:17 +08:00 via iPhone
    你都不会数数么?!
    apply async 啊!
    也就是要分配 10000000*4K 至少=38G 的栈空间
    乖乖用同步持的方式吧
    jamiesun
        2
    jamiesun  
       2016-03-21 17:31:26 +08:00
    控制频率
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2800 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:59 · PVG 19:59 · LAX 03:59 · JFK 06:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.