可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 0.1 版本发布
wyan453351466 · 2018-04-24 11:09:56 +08:00 · 5304 次点击这是一个创建于 2437 天前的主题，其中的信息可能已经有所发展或是发生改变。
自己写的一个爬虫框架哈，第一个版本。请大家轻喷。
不知道为什么提起爬虫很多人第一个想起来的是 Python。其实 PHP 写爬虫也可以写的很好，而且个人感觉并不比前者差啊。而且对于 PHP 作为主语言的人来说，用 PHP 写爬虫也更顺手一些。
特性:
- 极易上手，具备完善的文档和示例
- 支持多并发爬取
- 支持基于 xpath、css 选择器解析内容
- 模拟浏览器行为，如 user-agent、cookie、提交表单
- 支持断点续爬、失败重试、代理、并有完善的爬取日志
- 健壮的底层库，HTTP 客户端基于 guzzle，dom 解析基于 symfony/dom-crawler 库
Github 地址: https://github.com/wyan001/xcrawler
查看文档: https://xcrawler.yanshuju.com/docs/
微信交流群
 |
1
drug 2018-04-24 11:50:22 +08:00 via Android
膜拜言说大佬_(:з」∠)_
|
 |
2
wwek 2018-04-24 11:54:05 +08:00
支持~
选 symfony/dom-crawler 绝对是最佳 之前写过一遍博客说 写爬虫时 PHP 解析 HTML 最高效的方法那就是用 DomCrawler! |
 |
3
ben1024 2018-04-24 12:12:40 +08:00
phpspider >.<
|
 |
4
zqjilove 2018-04-24 12:23:43 +08:00
phpspider >.<
|
|
5
zqjilove 2018-04-24 12:24:32 +08:00
phpspider 用过几次，感觉还不错。简单明了。
|
 |
6
wyan453351466 OP @zqjilove phpspider 的多并发爬取好像是开了多个子进城去爬的。xcrawler 的并发爬取是利用的 php 内置的 curl multi，所以有更高的性能和更低的消耗。另一方面 xcrawler 在爬虫核心组件上直接引用了成熟的组件，所以稳定性上会有更好的表现（ Phpspider 是自己造的轮子）。还有一些其他的好处等待你阅读文档去发现🤣
|
|
7
wyan453351466 OP @wyan453351466 子进程，写错了
|
 |
8
guke1991 2018-04-24 19:21:04 +08:00
下次写爬虫试试
|
 |
9
Seth8277 2018-04-24 21:43:05 +08:00 via Android
|
|
11
wyan453351466 OP @Seth8277 手机端文档有点 bug，还没处理😂（明天解决下）
|
 |
12
jisibencom 2018-04-25 10:56:27 +08:00
不是 WEB 操作的，不会用。
|
Select Language