hyc5312 最近的时间轴更新 hyc5312 最近的时间轴更新 |
hyc5312🏢 软件工程师 V2EX 第 388338 号会员，加入于 2019-03-01 14:52:51 +08:00 |
https:blog.jibug.com
heyingcai
| 分享个人开源的爬虫框架 程序员 • hyc5312 • 2019-03-04 16:51:07 PM • 最后回复来自 runningman | 4 |
hyc5312 最近回复了
2020-11-19 17:31:00 +08:00 回复了 ly61 创建的主题 › Java › mbp 有什么工具可以像 windows 一样在压缩工具里面修改 jar 包？或者有什么其他的方式？ |
手动把 jar 改成 zip 后缀，然后再下个 zip 工具
2019-03-08 13:57:13 +08:00 回复了 wsgzao 创建的主题 › Python › Python 爬虫框架 Scrapy 入门与实践之爬取豆瓣电影 Top250 榜单 |
scrapy 架构很清晰，本人也基于 java 写了个爬虫框架，可以试用看看~ https://github.com/heyingcai
2019-03-07 15:09:47 +08:00 回复了 lryepoch 创建的主题 › 程序员 › 现在的爬虫还用 Java 吗 |
py 上手快，写一个简单的爬虫也很快，适合新手上路，实际上写爬虫跟编程语言没有太多的关系，选择自己熟悉的语言都可以，爬虫重心应该在于调度，网络，反爬策略，数据清洗等等问题，本人基于 java 写了个爬虫框架，https://github.com/heyingcai/cetty 欢迎来交流~
2019-03-04 14:20:31 +08:00 回复了 hyc5312 创建的主题 › 程序员 › 分享个人开源的爬虫框架 |
@maoyun234 你说得没错，第一眼看起来确实很像 webmagic，但是实际上是站在巨人的肩膀上开发的，因为爬虫的套路都是差不多的，只是底层架构不一样，感兴趣的话可以去看看底层的源码，和 webmagic 的底层源码还是有比较大的局别的哦~
Select Language