推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 1961 天前的主题，其中的信息可能已经有所发展或是发生改变。
在写个爬取 url 的爬虫,原理大概是从一个起始的 url 开始爬,然后获取整个页面的链接地址,然后顺着收集到的 url 进行广泛的爬取,这里面出现 2 个问题没找到合适的办法解决.
1,会爬去到国外去
2,会爬到蜘蛛池(一种泛站程序,可以无限多的生成 N 个域名的网站类似,asd123.123.com assss.123.com 123.234.com)
目前通过判断标题是否是中文来避免是不是爬到国外的站,
还有一个就是放一个黑名单的表.存在就不爬.
但是蜘蛛池的域名实在太多了,也找不到太多规律的东西进行判断.
V 友们友什么好的建议么?
1,会爬去到国外去
2,会爬到蜘蛛池(一种泛站程序,可以无限多的生成 N 个域名的网站类似,asd123.123.com assss.123.com 123.234.com)
目前通过判断标题是否是中文来避免是不是爬到国外的站,
还有一个就是放一个黑名单的表.存在就不爬.
但是蜘蛛池的域名实在太多了,也找不到太多规律的东西进行判断.
V 友们友什么好的建议么?
 |
1
alanv2 2019-07-16 16:28:37 +08:00
制定 url 的匹配规则（正则），符合规则的 url 才爬，其他的过滤
|
 |
2
cwjokaka 2019-07-16 16:35:07 +08:00
设置一个爬取深度
|
 |
4
yumenoks OP @alanv2 开始是直接获取整个页面的链接,然后进行过滤,对 URL 的长度,后缀进行了过滤,
如果设置成 域名带有 WWW 的才保存的话,数量就很少.如果不这样设置的话就会跑到蜘蛛池里面去.所以有点尴尬. |
 |
5
ClericPy 2019-07-17 00:49:19 +08:00
国外的有域名就有 ip，有 ip 就有地域吧，一大堆速度超快的 ip 转地域的，淘宝啊搜狐啊腾讯啊
遇到爬虫陷阱爬虫蜜罐或者脏数据混淆等反爬手段，没啥好办法啊，socket 连一下试试域名存在性？控制友好频率上代理池才是正路子，就算撇开是否合法，频率太高会被当作 dos 攻击告你的 |
Select Language