@bytelee https://demo-pro.crawlab.cn

闭门造车一般是死路一条，我这边开源转付费已经几十个客户了，要多问反馈，多优化，这是很重要的

gitlab, jenkins, github actions

可能是 2 年经验比较浅，如果是大数据方向 java 功底不能差吧。另外楼主还年轻，可塑性高，可以尝试一下其他技术，没必要给自己设限，大数据本身对算法和工程要求比较高，都是苦逼的活儿

群里没啥讨论正事儿的，早就退了

比我多，开源 1 年半，收到 5 元钱

选 redis 没错，这个方案也可行，内存溢出一般是程序本身的问题，检查一下哪里写了 bug 了

上代码

用 puppeteer，直接 js 操作，比 selenium 简单很多

一个生产可用的爬虫程序包括抓取、解析、入库、定时任务、增量抓取、监控、日志、数据统计等模块，真正要实现一套完备稳定的解决方案真的不是写几个 requests+BeautifulSoup 这么简单。

如果你的爬虫程序只是为了临时性的采集一些数据，那么可能八爪鱼这种 to 小白工具就可以满足，或者简单的用 scrapy/requests 编写个简单爬虫即可。但如果爬虫是你的核心业务，例如搜索引擎、内容聚合、尽职调查等对爬虫有大量要求的应用场景，那么你可能需要考虑爬虫程序的规模性和可扩展性，例如定时任务、爬虫部署、任务调度、日志监控、结果去重，这些通常都需要自己实现一遍，比起写几个 xpath 抓取逻辑要麻烦很多，真的就是工程类问题了。不过好在我们有一些开源项目可以帮你处理这些繁琐的逻辑，例如我开发的轮子，分布式爬虫管理平台 Crawlab （ https://github.com/crawlab-team/crawlab ），可以运行任何语言和框架的管理平台，就是帮爬虫开发者维护管理生产可用的爬虫程序的。

当然，爬虫领域现在比较高阶的技术例如逆向、反爬，这些属于比较偏 hack 的方向，需要长期的经验累积，有兴趣可以自行百度。另外爬虫的道德法律规范也是比较重要的，玩得不好就容易进去了。

总而言之，爬虫从简单到复杂到生产可用是一个逐渐工程化的问题，需要的技术种类繁多，需要很多实战经验，不是调一些 API 就可以完成的。

感觉是 cast 了 nil 值变量导致的

做引体向上

repo 在哪儿？

之前用过 celery，虽然方便，但问题挺多的，后来放弃了，转 go 了

从阅读其他项目的源码开始，顺便自荐一个自己的开源项目: https://github.com/crawlab-team/crawlab

可读性