这是一个创建于 3411 天前的主题，其中的信息可能已经有所发展或是发生改变。
我以前队列是直接在内存里，程序停了又要重头开始。。。。
所以队列应该保存在数据库当中会好一点
 |
1
demoslam 2015-07-24 06:06:56 +08:00
看需求，正常爬虫存的数据库可以随便选。inverted index的存储可能要额外考虑其他的数据库
|
 |
2
itfanr 2015-07-24 07:06:39 +08:00 via Android  2
leveldb rocksdb
|
 |
3
shoumu 2015-07-24 09:17:38 +08:00
想用什么数据库就用什么数据库，等数据库性能遇到瓶颈了还能学学数据库的东西
|
 |
4
Comdex 2015-07-24 09:53:31 +08:00
redis/mongodb
|
 |
6
mcwanderer 2015-07-24 12:01:28 +08:00
mongodb
|
 |
7
qw7692336 OP @mcwanderer
不说原因的都是耍流氓 |
 |
10
zjq426 2015-07-24 17:43:07 +08:00
爬和解析分开，爬下来的rawdata直接存文件不好吗。。。
|
 |
11
bengtuo 2015-07-24 18:39:34 +08:00
直接存文件
|
Select Language