CatGate 是一个基于浏览器插件的数据抓取工具。做成浏览器插件无需模拟登入,能最真实的模仿用户行为和特征。
http://weibo.com/1088413295/F9P1izhY2
① CatGate 会访问这个 URL,这个 URL 应该返回一个 Json 格式的数组,每一个元素一个字符串(即网址)。点 ② 按钮即可载入数据,并可按 ③ 进行查看,会自动排重。
⑤ CatGate 抓取到数据后,会直接 POST 给这个 URL,key 为 content , 通过 $_REQUEST['content'] 即可获取抓取内容。
⑥ 默认一秒抓取一次,如果抓取失败太多,可以增加秒数。
④ 这是一个高级用法,就是 ① 这个 URL 可以不停的新增 URL,CatGate 会自动每隔一秒(可设置)去抓取并合并进来。
进入 php
目录,运行 php -S localhost:8000
即可测试。
如果你不想或不能在 Chrome 商店安装插件,可手工安装。
chrome > extentsion > load unpacked extension > ./ext
CC,保留签名、非商用。
1
demov2 2017-06-28 14:59:01 +08:00
说个小点...
之前也写了专门抓收藏的~ 那个 URL 里的 containerid = 230259 + uid ... 感谢分享~ |
2
wjm2038 2017-06-28 15:15:39 +08:00 via Android
。。。链接?
|
3
downsky 2017-06-28 15:34:55 +08:00
终于看到有插件形式的抓取了。是不是有鼠标手势触发,用于抓取固定位置的数据?
|
4
zonzin 2017-08-16 08:58:52 +08:00
视屏能清楚一点的吗?不知道怎么用?
|