推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2621 天前的主题，其中的信息可能已经有所发展或是发生改变。
提供一个 API，该 API 的大概逻辑是： 从数据库中取出上千万条矩阵数据,然后和提交的矩阵进行矩阵计算，最后把符合条件的几条数据返回给调用者。
当前的方案是:服务器启动的时候，把表里的数据全部导入内存里。然后通过 numpy 库进行矩阵计算，最后把计算符合条件的结果返回调用者，目前速度可以接受。
但是，考虑到数据的增长有些问题需要考虑。
1：直接把数据读入数据库是否可以用内存数据库替代呢?
2：每天都有会新的数据入库，所以现在的方案需要每天入库完之后重新启动服务器，重新把数据读取进入内存，如果以后要做到实时更新，如何做到实时更新内存的数据？在不影响数据查询和计算的情况下。
3：如果数据再持续增长，一段时间之后内存肯定不够用，这个时候需要分布式署，目前的想法是启动的时候根据要部署的机器数量，把数据库的所有数据平均分配在这几台机器中。但是，这个方案有几个问题，a)如果某一台机器出现问题，那么如何定位出故障的机器，并且再重新启动新服务器时候，很好接替出故障的服务器（即加载的数据刚好和出故障的机器一样？）。b)如果临时添加一条新服务器（或者减少一台服务器）时，如何重新分配加载数据呢?
可能目前的方案有点戳，问题有点多,先感谢看完的朋友！
 |
1
armoni 2017-09-28 11:12:55 +08:00
我最近也在处理类似的问题
1.是可以用内存数据库代替，但数据库和 NOSQL 可以并存 2.为什么不插入到数据后，直接 append 到内存呢 3.目前在看 spark 集群方案 |
Select Language