@xdeng 可以 docker 一键安装

@chuanqirenwu tikazyq1

上代码

500

一般是 1

如果是 2，可能是针对那种一个容器里跑多个轻量级应用的情况吧

单机的话，你这个扩展起来问题会很多

几个优化点：
1. 分表（ Sharding ）
2. 不要创建索引
3. 选择其他技术方案，例如 Hive 、HBase

60 亿条数据，这种量级的数据应该更适合 Hive 或者 HBase 吧，做分布式储存不香么，单点来搞大数据你这不是给自己挖坑么

需要注册服务号，并交 300 元认证

@wiewiewie 年费确实很贵啊

@whypool 是不是很坑

@wangritian 应该是通用型的

@MooRider ipic 是啥？

现在多少人付费了？

既然都 json 了，为啥不 mongodb ？

有一些原创的东西放出来发在社区里讨论，本来是好事情，但很多人冥顽不化、固步自封、敝帚自珍，见不得一些新事物，以为自己了解的才是最好的。其实，当你用开放的心态来面对新事物，会进步得更多。

例如，之前我发了个用 Redis 套壳做 RPC，被很多人吐槽说为什么不用 gRPC 、这方案很奇葩之类的。我一笑了之。不料后来这方案成了我 6k star 开源项目的核心技术之一，而且非常稳定。

所以啊，当你没有深入了解一门新技术的时候，就要克制自己，多自我批判一下是不是自己的想法太单一了。

v2 上大佬太多，被喷正常，我之前发贴各种被喷。
后来发了一个 github 5k star 的 repo 的帖子，大家都开始支持了😂

这个从流程上规范就可以了，毕竟每个人学习都有个过程

不错，试用下，如果可以的话看如何集成到 crawlab

分布式爬虫管理平台 crawlab

https://www.crawlab.cn

有不有相关的应用场景，啥时候用 xxl-job，啥时候用 powerjob ？